عادة، عندما يطلب شخص ما صفحة غير موجودة، يعرض الخادم رمز الخطأ 404 (لم يتم العثور عليها). ويُعلم رمز استجابة HTTP هذا بشكل واضح كلاً من المتصفحات ومحركات البحث بأن الصفحة غير موجودة. وكنتيجة لذلك، لن يتم الزحف إلى محتوى الصفحة (إن وُجد) أو فهرسته من خلال محركات البحث.
وبالإضافة إلى عرض رمز 404 استجابة إلى الطلب المتعلق بالصفحة غير الموجودة، سيعرض الخادم صفحة 404 كذلك. وقد يكون ذلك في شكل رسالة قياسية بالنص "لم يتم العثور على الملف" أو قد تكون صفحة مخصصة مصممة لتقديم معلومات إضافية إلى المستخدم. محتوى الصفحة غير مرتبط تمامًا باستجابة HTTP التي يعرضها الخادم. ولا يعني مجرد عرض الصفحة لرسالة 404 "لم يتم العثور على الملف" أنها بالفعل صفحة 404. فهذه الحالة تشبه زرافة تحمل ملصقًا كُتب عليه الاسم "كلب." فإن وجود كلمة "كلب" لا يعني أنها كلب بالفعل. وبالمثل، لا يعني عرض الصفحة لكلمة 404 أنها تعرض رمز الخطأ 404. يمكنك استخدام أداة الجلب مثل Googlebot (أو أية أدوات أخرى متوفرة على الويب) للتحقق مما إذا كان عنوان URL يعرض الرمز الصحيح فعليًا.
وقد يمثل عرض أي رمز بخلاف الرمزين 404 أو 410 لصفحة غير موجودة (أو إعادة توجيه المستخدمين إلى صفحة أخرى، مثل الصفحة الرئيسية، بدلاً من عرض صفحة 404) مشكلة. أولاً، يوضح ذلك لمحركات البحث أن هناك صفحة فعلية متوفرة على عنوان URL هذا. وكنتيجة لذلك، قد يتم الزحف إلى عنوان URL هذا وفهرسة محتواه. ونظرًا للوقت الذي يقضيه برنامج Googlebot في الصفحات غير الموجودة، قد لا يتم استكشاف عناوين URL المميزة بشكل سريع أو الانتقال إليها بشكل متكرر وقد تتأثر تغطية الزحف إلى موقعك (كما أنه من المحتمل أنك لا تريد أن يحتل موقعك ترتيبًا جيدًا لطلب البحث [لم يتم العثور على الملف]).
إننا ننصحك بأن تعرض دومًا رمز الاستجابة 404 (لم يتم العثور عليها) أو 410 (تمت إزالتها) ردًا على طلب الصفحة غير الموجودة. ويمكنك ترك انطباع أفضل لدى المستخدم من خلال تهيئة موقعك لعرض صفحة 404 مخصصة عند عرض رمز الاستجابة 404. على سبيل المثال، يمكنك إنشاء صفحة تتضمن قائمة بأشهر الصفحات أو رابطًا إلى الصفحة الرئيسية أو رابط ملاحظات. كما يمكنك استخدام أداة 404 المخصصة في أدوات مشرفي المواقع لإضافة مربّع بحث والمزيد من خيارات البحث في الموقع إلى موقعك. ولكن من المهم تذكر أنه لا يكفي إنشاء صفحة تعرض رسالة 404. كما يجب عرض رمز استجابة HTTP الصحيح باستخدام رمز 404 أو 410.