كيف تقوم محركات البحث بالعثور على المحتوى الخاص بك والزحف إليه وفهرسته؟

SEO

لا أنصح العملاء في كثير من الأحيان ببناء أنظمة التجارة الإلكترونية أو إدارة المحتوى الخاصة بهم بسبب جميع خيارات التوسعة غير المرئية المطلوبة في الوقت الحاضر - تركز بشكل أساسي على البحث والتحسين الاجتماعي. لقد كتبت مقالا في كيفية اختيار CMS وما زلت أعرضه على الشركات التي أعمل معها والتي تميل فقط إلى بناء نظام إدارة المحتوى الخاص بها.

ومع ذلك ، هناك بالتأكيد حالات يكون فيها النظام الأساسي المخصص أمرًا ضروريًا. عندما يكون هذا هو الحل الأمثل ، ما زلت أدفع عملائي لبناء الميزات الضرورية لتحسين مواقعهم للبحث ووسائل التواصل الاجتماعي. هناك ثلاث ميزات أساسية ضرورية.

  • ملف robots.txt
  • خريطة الموقع XML
  • البيانات الوصفية

ما هو ملف Robots.txt؟

ملف robots.txt ملف - ال ملف robots.txt file هو ملف نصي عادي موجود في الدليل الجذر للموقع ويخبر محركات البحث بما يجب تضمينه واستبعاده من نتائج البحث. في السنوات الأخيرة ، طلبت محركات البحث أيضًا تضمين المسار إلى خريطة موقع XML داخل الملف. فيما يلي مثال عني ، والذي يسمح لجميع برامج الروبوت بالزحف إلى موقعي وتوجيههم أيضًا إلى خريطة موقع XML الخاصة بي:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

ما هو ملف XML Sitemap؟

خريطة الموقع XML - تمامًا مثل HTML للعرض في المستعرض ، تتم كتابة XML ليتم هضمها برمجيًا. خريطة موقع XML هي في الأساس جدول لكل صفحة على موقعك ومتى تم تحديثها آخر مرة. يمكن أيضًا أن تكون خرائط مواقع XML ذات تسلسل ديزي ... فهذه خريطة موقع XML يمكن أن تشير إلى أخرى. يعد هذا أمرًا رائعًا إذا كنت ترغب في تنظيم عناصر موقعك وتفكيكها بشكل منطقي (الأسئلة الشائعة والصفحات والمنتجات وما إلى ذلك) في ملفات Sitemap الخاصة بهم.

تعد ملفات Sitemap ضرورية بحيث يمكنك السماح لمحركات البحث بمعرفة المحتوى الذي قمت بإنشائه ومتى تم تحريره آخر مرة. العملية التي يستخدمها محرك البحث عند الانتقال إلى موقعك ليست فعالة بدون تنفيذ خريطة الموقع والمقتطفات.

بدون خريطة موقع XML، فأنت تخاطر بعدم اكتشاف صفحاتك أبدًا. ماذا لو كانت لديك صفحة مقصودة لمنتج جديد غير مرتبطة داخليًا أو خارجيًا. كيف يكتشفها جوجل؟ حسنًا ، ببساطة ضع ... حتى يتم العثور على رابط له ، فلن يتم اكتشافك. لحسن الحظ ، تمكّن محركات البحث أنظمة إدارة المحتوى ومنصات التجارة الإلكترونية من طرح سجادة حمراء لهم ، رغم ذلك!

  1. يكتشف Google ارتباطًا خارجيًا أو داخليًا لموقعك.
  2. يقوم Google بفهرسة الصفحة وتصنيفها وفقًا لمحتواها ومحتوى وجودة موقع رابط الإحالة.

مع خريطة موقع XML، فأنت لا تترك اكتشاف المحتوى الخاص بك أو تحديث المحتوى الخاص بك للصدفة! يحاول عدد كبير جدًا من المطورين اتباع طرق مختصرة تضر بهم أيضًا. إنهم ينشرون نفس المقتطف المنسق عبر الموقع ، ويقدمون معلومات ليست ذات صلة بمعلومات الصفحة. ينشرون خريطة موقع بنفس التواريخ في كل صفحة (أو يتم تحديثها جميعًا عند تحديث صفحة واحدة) ، مما يعطي قوائم انتظار لمحركات البحث التي يمارسونها على النظام أو لا يمكن الاعتماد عليها. أو لا يقومون باختبار اتصال محركات البحث على الإطلاق ... لذلك لا يدرك محرك البحث أنه تم نشر معلومات جديدة.

ما هي البيانات الوصفية؟ البيانات الجزئية؟ قصاصات غنية؟

يتم تمييز المقتطفات المنسقة بعناية microdata مخفي عن العارض ولكنه مرئي في الصفحة لتستخدمه محركات البحث أو مواقع التواصل الاجتماعي. يُعرف هذا باسم البيانات الوصفية. يتوافق Google مع Schema.org كمعيار لتضمين أشياء مثل الصور والعناوين والأوصاف ... بالإضافة إلى مجموعة كبيرة من المقتطفات الإعلامية الأخرى مثل السعر والكمية ومعلومات الموقع والتقييمات وما إلى ذلك. سيعمل المخطط بشكل كبير على تحسين رؤية محرك البحث الخاص بك واحتمالية نقر المستخدم عبر.

يستخدم Facebook ملف OpenGraph البروتوكول (بالطبع لا يمكن أن يكونا متماثلين) ، يحتوي Twitter حتى على مقتطف لتحديد ملفك الشخصي على Twitter. المزيد والمزيد من الأنظمة الأساسية تستخدم بيانات التعريف هذه لمعاينة الارتباطات المضمنة والمعلومات الأخرى عند نشرها.

صفحات الويب الخاصة بك لها معنى ضمني يفهمه الناس عندما يقرؤون صفحات الويب. لكن محركات البحث لديها فهم محدود لما تتم مناقشته على تلك الصفحات. من خلال إضافة علامات إضافية إلى HTML لصفحات الويب الخاصة بك - العلامات التي تقول ، "مرحبًا بمحرك البحث ، تصف هذه المعلومات هذا الفيلم المحدد أو المكان أو الشخص أو الفيديو" - يمكنك مساعدة محركات البحث والتطبيقات الأخرى على فهم المحتوى الخاص بك بشكل أفضل وعرضها بطريقة مفيدة وذات صلة. Microdata عبارة عن مجموعة من العلامات ، يتم تقديمها مع HTML5 ، والتي تتيح لك القيام بذلك.

Schema.org ، ما هي MicroData؟

بالطبع ، لا يلزم أي من هذه الأشياء ... لكنني أوصي بها بشدة. عندما تشارك رابطًا على Facebook ، على سبيل المثال ، ولا تظهر أي صورة أو عنوان أو وصف ... قلة من الأشخاص سيكونون مهتمين وينقرون بالفعل. وإذا لم تكن مقتطفات المخطط الخاصة بك في كل صفحة ، فبالطبع لا يزال بإمكانك الظهور في نتائج البحث ... ولكن قد يتفوق عليك المنافسون عند عرض معلومات إضافية.

سجل خرائط مواقع XML الخاصة بك في Search Console

من الضروري ، إذا قمت بإنشاء المحتوى الخاص بك أو نظام التجارة الإلكترونية ، أن يكون لديك نظام فرعي يقوم باختبار اتصال محركات البحث ، وينشر البيانات الجزئية ، ثم يوفر خريطة موقع XML صالحة للمحتوى أو معلومات المنتج التي سيتم العثور عليها!

بمجرد تخصيص ملف robots.txt وخرائط مواقع XML والمقتطفات المنسقة وتحسينها في جميع أنحاء موقعك ، لا تنس التسجيل في Search Console الخاصة بكل محرك بحث (المعروفة أيضًا باسم أداة مشرفي المواقع) حيث يمكنك مراقبة صحة موقعك ورؤيته موقع على محركات البحث. يمكنك حتى تحديد مسار ملف Sitemap الخاص بك إذا لم يتم سرد أي منها ومعرفة كيفية استهلاك محرك البحث له ، وما إذا كانت هناك أية مشكلات به أم لا ، وحتى كيفية تصحيحها.

قم بتدوير السجادة الحمراء لمحركات البحث ووسائل التواصل الاجتماعي وستجد ترتيب موقعك بشكل أفضل ، وتم النقر فوق المزيد من إدخالاتك على صفحات نتائج محرك البحث ، ومشاركة صفحاتك أكثر على وسائل التواصل الاجتماعي. كل ذلك يضيف!

كيف تعمل ملفات robots.txt وملفات Sitemap و MetaData معًا

يشبه الجمع بين كل هذه العناصر إلى حد كبير طرح السجادة الحمراء لموقعك. إليك عملية الزحف التي يأخذها الروبوت جنبًا إلى جنب مع كيفية فهرسة محرك البحث للمحتوى الخاص بك.

  1. يحتوي موقعك على ملف robots.txt يشير أيضًا إلى موقع ملف Sitemap بتنسيق XML.
  2. يقوم نظام إدارة المحتوى أو نظام التجارة الإلكترونية الخاص بك بتحديث خريطة موقع XML بأي صفحة وتاريخ النشر أو تحرير معلومات التاريخ.
  3. يقوم نظام إدارة المحتوى أو نظام التجارة الإلكترونية الخاص بك باختبار اتصال محركات البحث لإعلامهم بأنه قد تم تحديث موقعك. يمكنك اختبار اتصالهم مباشرة أو استخدام RPC وخدمة مثل بينغ أو ماتيتش لدفع جميع محركات البحث الرئيسية.
  4. يعود محرك البحث على الفور ، ويحترم ملف Robots.txt ، ويعثر على صفحات جديدة أو محدثة عبر خريطة الموقع ، ثم يقوم بفهرسة الصفحة.
  5. عندما تقوم بفهرسة صفحتك ، فإنها تستخدم المقتطفات الجزئية الغنية لتحسين صفحة نتائج محرك البحث.
  6. نظرًا لارتباط المواقع الأخرى ذات الصلة بالمحتوى الخاص بك ، يتم ترتيب المحتوى الخاص بك بشكل أفضل.
  7. نظرًا لأن المحتوى الخاص بك يتم مشاركته على وسائل التواصل الاجتماعي ، يمكن أن تساعد معلومات المقتطف المنسق المحددة في معاينة المحتوى الخاص بك بشكل صحيح وتوجيهه إلى ملف التعريف الاجتماعي الخاص بك.

2 تعليقات

  1. 1

    موقع الويب الخاص بي غير قادر على فهرسة محتوى جديد ، فأنا أحضر خريطة الموقع وعناوين url على مشرف الموقع ولكني ما زلت غير قادر على تحسين ذلك. هل هي مشكلة خلفية جوجل؟

ما رأيك؟

يستخدم هذا الموقع نظام Akismet لتقليل الرسائل الضارة. تعرف كيف تتم معالجة بيانات تعليقك.