ما هو ملف Robots.txt؟ كل ما تحتاجه لكتابة ملف Robots وإرساله وإعادة الزحف إليه لتحسين محركات البحث

لقد كتبنا مقالة شاملة عن كيف تقوم محركات البحث بالعثور على مواقع الويب الخاصة بك والزحف إليها وفهرستها. والخطوة التأسيسية في هذه العملية هي robots.txt الملف، بوابة محرك البحث للزحف إلى موقعك. يعد فهم كيفية إنشاء ملف robots.txt بشكل صحيح أمرًا ضروريًا لتحسين محرك البحث (تحسين محركات البحث).

تساعد هذه الأداة البسيطة والقوية مشرفي المواقع على التحكم في كيفية تفاعل محركات البحث مع مواقعهم على الويب. يعد فهم ملف robots.txt واستخدامه بشكل فعال أمرًا ضروريًا لضمان الفهرسة الفعالة لموقع الويب والرؤية المثلى في نتائج محرك البحث.

ما هو ملف Robots.txt؟

ملف robots.txt هو ملف نصي موجود في الدليل الجذر لموقع الويب. والغرض الأساسي منه هو توجيه برامج زحف محركات البحث حول أجزاء الموقع التي ينبغي أو لا ينبغي الزحف إليها وفهرستها. يستخدم الملف بروتوكول استبعاد الروبوتات (REP)، وهي مواقع ويب قياسية تستخدم للتواصل مع برامج زحف الويب وروبوتات الويب الأخرى.

إن REP ليس معيارًا رسميًا للإنترنت ولكنه مقبول على نطاق واسع ويدعمه محركات البحث الرئيسية. الأقرب إلى المعيار المقبول هو الوثائق الواردة من محركات البحث الرئيسية مثل Google وBing وYandex. لمزيد من المعلومات، زيارة مواصفات ملف Robots.txt من Google موصى به.

لماذا يعد ملف Robots.txt مهمًا لتحسين محركات البحث؟

1. الزحف المتحكم فيه: يسمح ملف Robots.txt لأصحاب مواقع الويب بمنع محركات البحث من الوصول إلى أقسام معينة من مواقعهم. يعد هذا مفيدًا بشكل خاص لاستبعاد المحتوى المكرر أو المناطق الخاصة أو الأقسام التي تحتوي على معلومات حساسة.
2. ميزانية الزحف المحسنة: تخصص محركات البحث ميزانية زحف لكل موقع ويب، وهو عدد الصفحات التي سيزحف إليها روبوت محرك البحث على الموقع. ومن خلال منع الأقسام غير ذات الصلة أو الأقل أهمية، يساعد ملف robots.txt على تحسين ميزانية الزحف هذه، مما يضمن الزحف إلى الصفحات الأكثر أهمية وفهرستها.
3. تحسين وقت تحميل الموقع: من خلال منع الروبوتات من الوصول إلى الموارد غير المهمة، يمكن لملف robots.txt تقليل تحميل الخادم، مما قد يؤدي إلى تحسين وقت تحميل الموقع، وهو عامل حاسم في تحسين محركات البحث.
4. منع فهرسة الصفحات غير العامة: فهو يساعد على منع فهرسة المناطق غير العامة (مثل المواقع المرحلية أو مناطق التطوير) والظهور في نتائج البحث.

الأوامر الأساسية لـ Robots.txt واستخداماتها

• السماح: يتم استخدام هذا التوجيه لتحديد الصفحات أو أقسام الموقع التي يجب على برامج الزحف الوصول إليها. على سبيل المثال، إذا كان موقع الويب يحتوي على قسم ذي صلة بشكل خاص بتحسين محركات البحث، فيمكن أن يضمن الأمر "السماح" الزحف إليه.

Allow: /public/

• عدم السماح: على عكس "السماح"، يوجه هذا الأمر روبوتات محرك البحث إلى عدم الزحف إلى أجزاء معينة من موقع الويب. يعد هذا مفيدًا للصفحات التي لا تحتوي على قيمة SEO، مثل صفحات تسجيل الدخول أو ملفات البرامج النصية.

Disallow: /private/

• أحرف البدل: يتم استخدام أحرف البدل لمطابقة الأنماط. تمثل العلامة النجمية (*) أي تسلسل من الأحرف، وتشير علامة الدولار ($) إلى نهاية عنوان URL. هذه مفيدة لتحديد نطاق واسع من عناوين URL.

Disallow: /*.pdf$

• خرائط المواقع: يساعد تضمين موقع خريطة الموقع في ملف robots.txt محركات البحث في العثور على جميع الصفحات المهمة على الموقع والزحف إليها. يعد هذا أمرًا بالغ الأهمية لتحسين محركات البحث لأنه يساعد في فهرسة الموقع بشكل أسرع وأكثر اكتمالًا.

Sitemap: https://martech.zone/sitemap_index.xml

أوامر Robots.txt الإضافية واستخداماتها

• وكيل المستخدم: حدد الزاحف الذي تنطبق عليه القاعدة. يطبق "وكيل المستخدم: *" القاعدة على جميع برامج الزحف. مثال:

User-agent: Googlebot

• علامة عدم الفهرسة: على الرغم من أنها ليست جزءًا من بروتوكول robots.txt القياسي، إلا أن بعض محركات البحث تتفهم أ منع الفهرسة التوجيه في ملف robots.txt كتعليمات بعدم فهرسة عنوان URL المحدد.

Noindex: /non-public-page/

• تأخير الزحف: يطلب هذا الأمر من برامج الزحف الانتظار لفترة زمنية محددة بين الزيارات إلى الخادم الخاص بك، وهو أمر مفيد للمواقع التي بها مشكلات في تحميل الخادم.

Crawl-delay: 10

كيفية اختبار ملف Robots.txt الخاص بك

على الرغم من أنها مدفونة فيها Google بحث حدة التحكم، توفر وحدة التحكم في البحث أداة اختبار ملف robots.txt.

يمكنك أيضًا إعادة إرسال ملف Robots.txt الخاص بك عن طريق النقر على النقاط الثلاث الموجودة على اليمين واختيار طلب إعادة الزحف.

اختبار أو إعادة إرسال ملف Robots.txt الخاص بك

هل يمكن استخدام ملف Robots.txt للتحكم في روبوتات الذكاء الاصطناعي؟

يمكن استخدام ملف robots.txt لتحديد ما إذا كان AI يمكن لبرامج الروبوت، بما في ذلك برامج زحف الويب وبرامج الروبوت الآلية الأخرى، الزحف إلى المحتوى الموجود على موقعك أو استخدامه. يرشد الملف هذه الروبوتات، ويشير إلى أجزاء موقع الويب المسموح لهم أو غير المسموح لهم بالوصول إليها. تعتمد فعالية ملف robots.txt في التحكم في سلوك روبوتات الذكاء الاصطناعي على عدة عوامل:

1. الالتزام بالبروتوكول: تحترم معظم برامج زحف محركات البحث ذات السمعة الطيبة والعديد من روبوتات الذكاء الاصطناعي الأخرى القواعد المنصوص عليها
   robots.txt. ومع ذلك، من المهم ملاحظة أن الملف عبارة عن طلب أكثر من كونه قيدًا قابلاً للتنفيذ. يمكن للروبوتات تجاهل هذه الطلبات، خاصة تلك التي تديرها كيانات أقل دقة.
2. خصوصية التعليمات: يمكنك تحديد تعليمات مختلفة لروبوتات مختلفة. على سبيل المثال، قد تسمح لروبوتات ذكاء اصطناعي محددة بالزحف إلى موقعك مع منع الآخرين. ويتم ذلك باستخدام User-agent التوجيه في robots.txt مثال الملف أعلاه. على سبيل المثال، User-agent: Googlebot سيحدد تعليمات لزاحف Google، بينما User-agent: * سوف تنطبق على جميع الروبوتات.
3. القيود: بينما robots.txt يمكنه منع الروبوتات من الزحف إلى محتوى محدد؛ لا يخفي المحتوى عنهم إذا كانوا يعرفون بالفعل URL. بالإضافة إلى ذلك، فإنه لا يوفر أي وسيلة لتقييد استخدام المحتوى بمجرد الزحف إليه. إذا كانت حماية المحتوى أو قيود استخدام محددة مطلوبة، فقد تكون هناك حاجة إلى طرق أخرى مثل حماية كلمة المرور أو آليات التحكم في الوصول الأكثر تطوراً.
4. أنواع البوتات: لا ترتبط جميع روبوتات الذكاء الاصطناعي بمحركات البحث. يتم استخدام برامج الروبوت المختلفة لأغراض مختلفة (على سبيل المثال، تجميع البيانات والتحليلات واستخراج المحتوى). يمكن أيضًا استخدام ملف robots.txt لإدارة الوصول إلى هذه الأنواع المختلفة من برامج الروبوت، طالما أنها تلتزم بـ REP.

• robots.txt يمكن أن يكون الملف أداة فعالة للإشارة إلى تفضيلاتك فيما يتعلق بالزحف إلى محتوى الموقع واستخدامه بواسطة روبوتات الذكاء الاصطناعي. ومع ذلك، فإن قدراتها تقتصر على توفير المبادئ التوجيهية بدلاً من فرض رقابة صارمة على الوصول، وتعتمد فعاليتها على امتثال الروبوتات لبروتوكول استبعاد الروبوتات.

يعد ملف robots.txt أداة صغيرة ولكنها قوية في ترسانة تحسين محركات البحث (SEO). يمكن أن يؤثر بشكل كبير على رؤية موقع الويب وأداء محرك البحث عند استخدامه بشكل صحيح. من خلال التحكم في أجزاء الموقع التي يتم الزحف إليها وفهرستها، يمكن لمشرفي المواقع التأكد من إبراز المحتوى الأكثر قيمة لديهم، مما يؤدي إلى تحسين جهود تحسين محركات البحث وأداء موقع الويب.