إنشاء ملف robots.txt باستخدام أداة إنشاء ملف robots.txt

1. في الصفحة الرئيسية لأدوات مشرفي المواقع، انقر على الموقع الذي تريده.
2. ضمن علامة التبويب·تصميم الموقع، انقر على دخول الزاحف.
3. انقر على علامة التبويب إنشاء ملف robots.txt.
4. اختر طريقة الدخول الافتراضية لبرنامج الروبوت. وننصح بالسماح لجميع برامج الروبوت، واستخدام الخطوة التالية لاستبعاد أية برامج تتبع ترغب في منعها من الدخول إلى موقعك. سيساعد هذا الأمر على تجنب مشكلات منع برامج الزحف المهمة من الدخول إلى موقعك دون قصد.
5. حدد أية قواعد إضافية. فعلى سبيل المثال، لمنع Googlebot من الزحف إلى جميع الملفات والأدلة على موقعك:
1. في القائمة إجراء، حدد عدم السماح.
2. في القائمة روبوت، انقر على Googlebot.
3. في المربع ملفات أو أدلة، اكتب /.
4. انقر على إضافة. سيتم إنشاء شفرة ملف robots.txt تلقائيًا.
6. احفظ ملف robots.txt عن طريق تنزيل الملف أو نسخ المحتويات إلى ملف نصي وحفظه كملف robots.txt. احفظ الملف في دليل أعلى مستوى لموقعك. يجب وضع ملف "robots.txt" في جذر النطاق بنفس هذا الاسم. ويُعد وضع ملف robots.txt في دليل فرعي أمرًا غير صالح، وذلك لأن برامج الزحف تبحث عن هذا الملف في جذر النطاق فقط. فعلى سبيل المثال، يعتبر [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] مكانًا صالحًا، أما [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] فليس كذلك.

وتجدر الإشارة إلى أن القواعد المحددة في ملف robots.txt هي مجرد طلبات وليست أوامر ملزمة. يلتزم Googlebot وجميع أنواع الروبوت محل الثقة بالتعليمات التي يتم سردها في ملف robots.txt. ولكن، بعض أنواع برامج الروبوت المخادعة—مثل تلك الخاصة بمرسلي الرسائل غير المرغوب فيها والبريد المهمل والروابط غير المفيدة الأخرى—قد لا تلتزم بأوامر الملف. لذا، ننصح بأن تحتفظ بالمعلومات السرية في دليل محمي بكلمة مرور على الخادم. كما يمكن أن تفسر برامج الروبوت المختلفة ملفات robots.txt بشكل مختلف، وليس بإمكان جميع برامج الروبوت تفسير كل أمر من أوامر الملف. وبينما نبذل كل ما في وسعنا لإنشاء ملفات robots.txt تصلح لجميع برامج الروبوت، لا يمكننا ضمان كيفية تفسير تلك الملفات.

للتأكد أن ملف robots.txt يعمل وفقًا لما تتوقعه، استخدم أداة اختبار ملف robots.txt في أدوات مشرفي المواقع.

شكرا جزيلا و بارك الله فيك