إنشاء ملف robots.txt يدويًا

يعتمد أبسط ملف robots.txt على قاعدتين:

* User-Agent: برنامج الروبوت الذي تنطبق عليه القاعدة التالية
* Disallow: عنوان URL الذي تريد حجبه

يتم اعتبار هذين السطرين إدخالاً واحدًا في الملف. يمكنك تضمين أي عدد تريده من الإدخالات. كما يمكنك تضمين سطور Disallow وUser-Agent متعددة في الإدخال الواحد.

كل قسم في ملف robots.txt مستقل بذاته، ولا يعتمد على الأقسام السابقة الأخرى. على سبيل المثال:

User-agent: *
Disallow: /folder1/

User-Agent: Googlebot
Disallow: /folder2/

في هذا المثال، سيتم فقط عدم السماح بزحف Googlebot إلى عناوين URL المطابقة لـ /folder2/.
وكلاء المستخدم وبرامج التتبع

وكيل المستخدم هو برنامج روبوت معين لمحرك البحث. ويندرج ضمن قاعدة بيانات برامج روبوت الويب العديد من برامج التتبع الشائعة. يمكنك تعيين إدخال لتطبيقه على برنامج تتبع محدد (بإدراج اسم برنامج التتبع) أو يمكنك تعيينه ليتم تطبيقه على جميع برامج التتبع (بإدراج علامة النجمة *). ويظهر الإدخال المطبق على جميع برامج التتبع بهذا الشكل:

User-agent: *

تستخدم Google العديد من برامج التتبع (وكلاء المستخدم) المختلفة. وبرنامج التتبع الذي نستخدمه لبحث الويب هو Googlebot. وتعمل برامج التتبع الأخرى التي نستخدمها، مثل Googlebot-Mobile وGooglebot-Image وفقًا للقواعد التي يتم إعدادها لبرنامج Googlebot، ولكن يمكنك أيضًا إعداد قواعد خاصة لهذه البرامج المحددة.
حظر وكلاء المستخدم

يعرض السطر Disallow الصفحات التي تريد حجبها. ويمكنك إدراج عنوان URL أو نمط محدد. ويجب أن يبدأ الإدخال بشرطة أمامية مائلة (/).

* لحجب الموقع بالكامل، استخدم شرطة أمامية مائلة.

Disallow: /

* لحجب دليل وكل ما يحتويه، اتبع اسم الدليل بشرطة أمامية مائلة.

Disallow: /junk-directory/

* لحجب صفحة، أدرج اسم الصفحة.

Disallow: /private_file.html

* لإزالة صورة معينة من صور Google، أضف ما يلي:

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

* لإزالة جميع الصور على موقعك من صور Google:

User-agent: Googlebot-Image
Disallow: /

* لحجب نوع معين من الملفات (على سبيل المثال، .gif)، استخدم ما يلي:

User-agent: Googlebot
Disallow: /*.gif$

* لمنع الزحف إلى صفحات موقعك مع الاستمرار في عرض إعلانات AdSense على تلك الصفحات، امنع جميع برامج التتبع باستثناء Mediapartners-Google. وبذلك لا يتم عرض الصفحات ضمن نتائج البحث، ولكن يتم السماح لبرنامج الروبوت Mediapartners-Google بتحليل الصفحات لتحديد الإعلانات التي سيتم عرضها عليها. ولا يشارك برنامج روبوت Googlebot-MediaPartners الصفحات مع غيره من وكلاء المستخدمين من Google. على سبيل المثال:

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /

يرجى ملاحظة أن الأوامر تتأثر بحالة الأحرف. على سبيل المثال، Disallow: /junk_file.asp يمنع [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] إلا أنه يسمح بـ [ندعوك للتسجيل في المنتدى أو التعريف بنفسك لمعاينة هذا الرابط] يتجاهل Googlebot المسافات الخالية (بالأخص السطور الخالية) وكذلك الأوامر غير المعروفة في ملف robots.txt.

يسمح Googlebot بإرسال ملفات Sitemap من خلال ملف robots.txt.
تطابق النمط

يراعي Googlebot (وليست جميع محركات البحث الأخرى) بعض تطابقات الأنماط.

* لمطابقة سلسلة من الرموز، استخدام علامة النجمة (*). على سبيل المثال، لمنع الدخول إلى جميع الأدلة الفرعية التي تبدأ بكلمة private:

User-agent: Googlebot
Disallow: /private*/

* لمنع الدخول إلى جميع عناوين URL التي تتضمن علامة استفهام (?) (وبتعبير أدق، أي عنوان URL يبدأ باسم نطاقك، متبوعًا بأية سلسلة، متبوعة بعلامة استفهام، متبوعة بأية سلسلة):

User-agent: Googlebot
Disallow: /*?

* لتحديد تطابق نهاية عنوان URL، استخدم الرمز $. على سبيل المثال، لحجب أية عناوين URL تنتهي بـ .xls:

User-agent: Googlebot
Disallow: /*.xls$

يمكنك استخدام هذا النوع من تطابق النمط مع الأمر Allow. على سبيل المثال، إذا كانت علامة ؟ تشير إلى معرِّف جلسة، فقد ترغب في استبعاد جميع عناوين URL التي تحتوي عليها لضمان عدم زحف Googlebot إلى صفحات مُكرَّرة. ولكن قد تكون عناوين URL التي تنتهي بعلامة ؟ إصدارًا للصفحة التي ترغب في تضمينها. ففي مثل هذه الحالة، يمكنك تعيين ملف robots.txt كما يلي:

User-agent: *
Allow: /*?$
Disallow: /*?

وسيمنع الأمر Disallow: / *? أي عنوان URL يتضمن علامة ؟ (وبتعبير أدق، سيمنع أي عنوان URL يبدأ باسم نطاقك، متبوعًا بأية سلسلة، متبوعة بعلامة استفهام، متبوعة بأية سلسلة).

وسيسمح الأمر Allow: /*?$ بأي عنوان URL ينتهي بعلامة ؟ (وبتعبير أدق، سيسمح لأي عنوان URL يبدأ باسم نطاقك، متبوعًا بسلسلة، متبوعة بعلامة ؟، بدون أية أحرف بعد علامة ؟).

شكرا جزيلا و بارك الله فيك