كيفية إعادة إرسال ملف Robots.txt محدث أو جديد

الروبوتات النص

تتعامل وكالتنا استشارات البحث العضوي للعديد من بائعي SaaS في الصناعة. العميل الذي بدأنا العمل معه مؤخرًا قد قام بممارسة معيارية إلى حد ما ، حيث وضع تطبيقه على نطاق فرعي ونقل موقع الكتيب الخاص به إلى المجال الأساسي. هذه ممارسة قياسية لأنها تمكن كل من فريق الإنتاج وفريق التسويق لديك من إجراء التحديثات حسب الحاجة دون أي اعتماد على الآخر.

كخطوة أولى في تحليل صحة البحث العضوي ، سجلنا كلاً من الكتيب ومجالات التطبيق في مشرفي المواقع. هذا عندما حددنا مشكلة فورية. تم حظر جميع صفحات التطبيق من الفهرسة بواسطة محركات البحث. لقد انتقلنا إلى إدخال ملف robots.txt الخاص بهم في مشرفي المواقع وحددنا المشكلة على الفور.

أثناء التحضير للترحيل ، لم يرغب فريق التطوير الخاص بهم في فهرسة النطاق الفرعي للتطبيق عن طريق البحث ، لذا فقد منعوا الوصول إلى محركات البحث. ملف robots.txt هو ملف موجود في جذر موقعك - yourdomain.com/robots.txt - يتيح ذلك لمحرك البحث معرفة ما إذا كان يجب الزحف إلى الموقع أم لا. يمكنك كتابة قواعد للسماح بالفهرسة أو عدم السماح بها على الموقع بأكمله أو المسارات المحددة. يمكنك أيضًا إضافة سطر لتحديد ملف خريطة الموقع الخاص بك.

أفضل ملف robots.txt يحتوي الملف على الإدخال التالي الذي حال دون الزحف إلى الموقع وفهرسته في ترتيب نتائج البحث:

عامل المستخدم: * عدم السماح: /

يجب أن يكون قد كتب على النحو التالي:

وكيل المستخدم: * السماح: /

يوفر هذا الأخير إذنًا لأي محرك بحث يزحف إلى الموقع بحيث يمكنه الوصول إلى أي دليل أو ملف داخل الموقع.

عظيم ... حتى الآن بعد أن ملف robots.txt الملف مثالي ولكن كيف تعرف Google ومتى سيفحصون الموقع مرة أخرى؟ حسنًا ، يمكنك أن تطلب تمامًا من Google التحقق من ملف robots.txt الخاص بك ، لكنه ليس بديهيًا للغاية.

انتقل إلى جوجل Search Console Search Console الى الزحف> اختبار ملف robots.txt. سترى محتويات أحدث ملف robots.txt تم الزحف إليه داخل جهاز الاختبار. إذا كنت ترغب في إعادة إرسال ملف robots.txt الخاص بك ، فانقر فوق إرسال وستظهر لك نافذة منبثقة مع بعض الخيارات.

أعد إرسال ملف robots.txt

الخيار الأخير هو اطلب من Google التحديث. انقر فوق الزر إرسال الأزرق بجوار هذا الخيار ثم انتقل مرة أخرى إلى ملف الزحف> اختبار ملف robots.txt خيار القائمة لإعادة تحميل الصفحة. يجب أن تشاهد الآن ملف robots.txt المحدث مع طابع تاريخ يوضح أنه تم الزحف إليه مرة أخرى.

إذا كنت لا ترى إصدارًا محدثًا ، فيمكنك النقر فوق إرسال وتحديد عرض النسخة المحملة للانتقال إلى ملف robots.txt الفعلي الخاص بك. ستقوم العديد من الأنظمة بتخزين هذا الملف مؤقتًا. في الواقع ، يقوم IIS بإنشاء هذا الملف ديناميكيًا استنادًا إلى القواعد التي تم إدخالها من خلال واجهة المستخدم الخاصة بهم. سيتعين عليك على الأرجح تحديث القواعد وتحديث ذاكرة التخزين المؤقت لنشر ملف robots.txt جديد.

اختبار الروبوتات txt

ما رأيك؟

يستخدم هذا الموقع نظام Akismet لتقليل الرسائل الضارة. تعرف كيف تتم معالجة بيانات تعليقك.