كيف تقوم محركات البحث بالعثور على المحتوى الخاص بك والزحف إليه وفهرسته؟
لا أوصي العملاء في كثير من الأحيان ببناء أنظمة التجارة الإلكترونية أو إدارة المحتوى الخاصة بهم بسبب خيارات التوسعة غير المرئية المطلوبة في الوقت الحاضر - والتي تركز بشكل أساسي على البحث والتحسين الاجتماعي. لقد كتبت مقالا عن اختيار نظام إدارة المحتوىوما زلت أعرضه على الشركات التي أعمل معها والتي تميل إلى بناء نظام إدارة المحتوى الخاص بها.
كيف عمل محركات البحث؟
لنبدأ بكيفية عمل محركات البحث. إليك نظرة عامة رائعة من Google.
ومع ذلك، هناك بالتأكيد مواقف حيث يكون وجود منصة مخصصة أمرًا ضروريًا. عندما يكون هذا هو الحل الأمثل، ما زلت أدفع عملائي إلى إنشاء الميزات الضرورية لتحسين مواقعهم للبحث ووسائل التواصل الاجتماعي. ثلاث ميزات رئيسية هي ضرورة.
- ملف robots.txt
- خريطة الموقع XML
- البيانات الوصفية
ما هو ملف Robots.txt؟
ملف robots.txt ملف - ال ملف robots.txt الملف عبارة عن ملف نصي عادي في الدليل الجذر للموقع ويخبر محركات البحث بما يجب تضمينه واستبعاده من نتائج البحث. في السنوات الأخيرة، طلبت محركات البحث أيضًا تضمين المسار إلى خريطة موقع XML داخل الملف. فيما يلي مثال لي، والذي يسمح لجميع برامج الروبوت بالزحف إلى موقعي وتوجيههم أيضًا إلى خريطة موقع XML الخاصة بي:
User-agent: *
Sitemap: https://martech.zone/sitemap_index.xmlما هو ملف XML Sitemap؟
خريطة الموقع XML - مثل HTML للعرض في المتصفح، تتم كتابة XML ليتم استيعابه برمجيًا. ان XML خريطة الموقع عبارة عن جدول لكل صفحة على موقعك وتاريخ آخر تحديث لها. يمكن أيضًا أن تكون خرائط مواقع XML متسلسلة متسلسلة... أي أن ملف Sitemap بتنسيق XML يمكن أن يشير إلى ملف آخر. يعد هذا أمرًا رائعًا إذا كنت تريد تنظيم عناصر موقعك وتقسيمها بشكل منطقي (الأسئلة الشائعةوالصفحات والمنتجات وما إلى ذلك) في ملفات Sitemap الخاصة بهم.
تعتبر خرائط الموقع ضرورية للسماح لمحركات البحث بمعرفة المحتوى الذي قمت بإنشائه ومتى تم تحريره آخر مرة. لا تكون عملية محرك البحث عند الانتقال إلى موقعك فعالة بدون تنفيذ خريطة الموقع والمقتطفات.
بدون خريطة موقع XMLفإنك تخاطر بعدم اكتشاف صفحاتك أبدًا. ماذا لو كان لديك صفحة مقصودة لمنتج جديد غير مرتبطة داخليًا أو خارجيًا؟ كيف يكتشفها جوجل؟ حسنًا، حتى يتم العثور على رابط له، لن يتم اكتشافك. ولحسن الحظ، فإن محركات البحث تمكن أنظمة إدارة المحتوى ومنصات التجارة الإلكترونية من بسط السجادة الحمراء لهم!
- يكتشف Google ارتباطًا خارجيًا أو داخليًا لموقعك.
- يقوم Google بفهرسة الصفحة وتصنيفها وفقًا لمحتواها ومحتوى وجودة موقع الرابط المرجعي.
مع خريطة موقع XML، فأنت لا تترك اكتشاف المحتوى الخاص بك أو تحديثه للصدفة! يحاول العديد من المطورين اتباع طرق مختصرة تضرهم أيضًا. ويقومون بنشر نفس المقتطف المنسق عبر الموقع، مما يوفر معلومات ليست ذات صلة بمعلومات الصفحة. ينشرون خريطة موقع بنفس التواريخ في كل صفحة (أو يتم تحديثها جميعًا عند تحديث صفحة واحدة)، مما يوفر قوائم انتظار لمحركات البحث التي تتلاعب بالنظام أو أنها غير موثوقة. أو أنهم لا يقومون باختبار محركات البحث على الإطلاق... لذلك لا يدرك محرك البحث أنه قد تم نشر معلومات جديدة.
ما هي البيانات الوصفية؟ البيانات الجزئية؟ قصاصات غنية؟
يتم تمييز المقتطفات المنسقة بعناية microdata مخفية عن المشاهد ولكنها مرئية على الصفحة لتستخدمها محركات البحث أو مواقع التواصل الاجتماعي. يُعرف هذا بالبيانات الوصفية. جوجل يتوافق مع Schema.org كمعيار لتضمين أشياء مثل الصور والعناوين والأوصاف وعدد كبير من المقتطفات الإعلامية الأخرى مثل السعر والكمية ومعلومات الموقع والتقييمات وما إلى ذلك. سيعمل المخطط على تحسين رؤية محرك البحث الخاص بك بشكل كبير واحتمالية قيام المستخدم بالنقر فوقه.
يستخدم Facebook ملف OpenGraph البروتوكول (بالطبع، لا يمكن أن يكونا متماثلين)، X حتى أنه يحتوي على مقتطف لتحديد ملف تعريف X الخاص بك. تستخدم المزيد والمزيد من الأنظمة الأساسية هذه البيانات التعريفية لمعاينة الروابط المضمنة والمعلومات الأخرى عند نشرها.
صفحات الويب الخاصة بك لها معنى ضمني يفهمه الناس عندما يقرؤون صفحات الويب. لكن محركات البحث لديها فهم محدود لما تتم مناقشته على تلك الصفحات. من خلال إضافة علامات إضافية إلى HTML لصفحات الويب الخاصة بك - العلامات التي تقول ، "مرحبًا بمحرك البحث ، تصف هذه المعلومات هذا الفيلم المحدد أو المكان أو الشخص أو الفيديو" - يمكنك مساعدة محركات البحث والتطبيقات الأخرى على فهم المحتوى الخاص بك بشكل أفضل وعرضها بطريقة مفيدة وذات صلة. Microdata عبارة عن مجموعة من العلامات ، يتم تقديمها مع HTML5 ، والتي تتيح لك القيام بذلك.
Schema.org ، ما هي MicroData؟
بالطبع ، لا يلزم أي من هذه الأشياء ... لكنني أوصي بها بشدة. عندما تشارك رابطًا على Facebook ، على سبيل المثال ، ولا تظهر أي صورة أو عنوان أو وصف ... قلة من الناس سيكونون مهتمين وينقرون بالفعل. وإذا لم تكن مقتطفات المخطط الخاصة بك في كل صفحة ، فبالطبع لا يزال بإمكانك الظهور في نتائج البحث ... ولكن قد يتفوق عليك المنافسون عندما يكون لديهم معلومات إضافية معروضة.
سجل خرائط مواقع XML الخاصة بك في Search Console
إذا قمت ببناء المحتوى الخاص بك أو منصة التجارة الإلكترونية الخاصة بك، فمن الضروري أن يكون لديك نظام فرعي يقوم باختبار محركات البحث، وينشر البيانات الجزئية، ثم يوفر خريطة موقع XML صالحة للعثور على المحتوى أو معلومات المنتج!
بمجرد تخصيص ملف robots.txt وخرائط موقع XML والمقتطفات الغنية وتحسينها في جميع أنحاء موقعك، لا تنس التسجيل في كل محرك بحث البحث حدة التحكم (المعروف أيضا باسم المسؤول عن الموقع أداة) حيث يمكنك مراقبة صحة موقعك وظهوره على محركات البحث. يمكنك أيضًا تحديد مسار ملف Sitemap الخاص بك إذا لم يتم إدراجه ومعرفة كيفية استخدام محرك البحث له، وما إذا كانت هناك أية مشكلات به أم لا، وحتى كيفية تصحيحها.
قم بمد السجادة الحمراء لمحركات البحث ووسائل التواصل الاجتماعي، وستجد أن موقعك يحتل مرتبة أفضل، ويتم النقر على إدخالاتك في صفحات نتائج محرك البحث بشكل أكبر، كما تتم مشاركة صفحاتك بشكل أكبر على وسائل التواصل الاجتماعي. كل ذلك يضيف!
كيف تعمل ملفات robots.txt وملفات Sitemap و MetaData معًا
إن الجمع بين كل هذه العناصر يشبه فرد السجادة الحمراء لموقعك. إليك عملية الزحف التي يقوم بها الروبوت بالإضافة إلى كيفية فهرسة محرك البحث للمحتوى الخاص بك.
- يحتوي موقعك على ملف robots.txt يشير أيضًا إلى موقع ملف Sitemap بتنسيق XML.
- يقوم نظام إدارة المحتوى (CMS) أو نظام التجارة الإلكترونية الخاص بك بتحديث خريطة موقع XML بأي صفحة وتاريخ النشر أو معلومات تاريخ التحرير.
- يقوم نظام إدارة المحتوى (CMS) أو نظام التجارة الإلكترونية لديك بإجراء اختبار اتصال لمحركات البحث لإبلاغهم بأنه قد تم تحديث موقعك. يمكنك اختبار اتصالهم مباشرة أو استخدام RPC وخدمة مثل Ping-o-matic للدفع إلى جميع محركات البحث الرئيسية.
- يقوم محرك البحث بإرجاع ملف Robots.txt على الفور، ويحترمه، ويبحث عن صفحات جديدة أو محدثة عبر خريطة الموقع، ثم يقوم بفهرسة الصفحة.
- عند فهرسة صفحتك، فإنها تستخدم العنوان والوصف التعريفي وعناصر HTML5 والعناوين والصور والعلامات البديلة والمعلومات الأخرى لفهرسة الصفحة بشكل صحيح لعمليات البحث القابلة للتطبيق.
- عند فهرسة صفحتك، فإنها تستخدم العنوان والوصف التعريفي والبيانات الجزئية للمقتطف المنسق لتحسين صفحة نتائج محرك البحث.
- نظرًا لارتباط المواقع الأخرى ذات الصلة بالمحتوى الخاص بك ، يتم ترتيب المحتوى الخاص بك بشكل أفضل.
- أثناء مشاركة المحتوى الخاص بك على وسائل التواصل الاجتماعي، يمكن أن تساعد معلومات المقتطف الغنية المحددة في معاينة المحتوى الخاص بك بشكل صحيح وتوجيهه إلى ملفك الشخصي على وسائل التواصل الاجتماعي.
