اختبار ملف robots.txt

توضح لك أداة اختبار ملف robots.txt إذا ما كان ملف robots.txt يمنع عن غير قصد برنامج Googlebot من الزحف إلى ملف ما أو دليل ما على موقعك، أو إذا كان يسمح لبرنامج Googlebot بالزحف إلى الملفات التي ينبغي ألا تظهر على الويب. فعند إدخال نص ملف robots.txt مقترح، فإن الأداة تقرأ هذا النص بنفس الطريقة التي يقرأه بها Googlebot، كما تسرد تأثيرات الملف وأية مشكلات تم اكتشافها.

لاختبار ملف robots.txt لأحد المواقع:

1. في الصفحة الرئيسية لأدوات مشرفي المواقع، انقر على الموقع الذي تريده.
2. ضمن·تصميم الموقع، انقر على دخول الزاحف
3. وإذا لم يكن محددًا، فانقر على علامة التبويب اختبار ملف robots.txt.
4. انسخ محتوى ملف robots.txt والصقه داخل المربع الأول.
5. في مربع عناوين URL، أدخل الموقع المراد اختباره.
6. في قائمة وكلاء المستخدم، حدد وكلاء المستخدم الذين تريدهم.

لن يتم حفظ أية تغييرات تجريها في هذه الأداة. ولحفظ أية تغييرات، يتعين عليك نسخ المحتويات ولصقها في ملف robots.txt.

وتقدم هذه الأداة النتائج لوكلاء مستخدم Google فقط (مثل Googlebot). وربما لا تفسر بعض برامج التتبع الأخرى ملف robots.txt بنفس الطريقة. على سبيل المثال، يسمح Googlebot بتعريف أشمل لبروتوكول robots.txt المعياري. حيث تفسر أوامر Allow:، وكذلك بعض تطابقات الأنماط. لذا، فبينما تبين الأداة أنها تمكنت من تفسير السطور التي تشتمل على هذه الامتدادات، ضع في حسبانك أن هذا ينطبق على Googlebot فقط، وليس بالضرورة على برامج التتبع الأخرى التي قد تزحف إلى موقعك.

شكرا جزيلا و بارك الله فيك