دليل Robots.txt: كيف تتحكّم في زحف محركات البحث

ملف Robots.txt ملف نصي بسيط يقدّم تعليمات الزحف إلى بوتات محركات البحث المدعومة وغيرها من الزواحف الآلية.

يوضع هذا الملف عادةً في جذر الموقع، مثل yourdomain.com/robots.txt، حتى تتمكّن الزواحف من فحصه قبل طلب بقية موارد الموقع.

يمكن استخدام الملف للسماح للزاحف بالوصول إلى مسارات أو مجلدات أو أقسام معيّنة من الموقع، أو لتقييد وصوله إليها.

ملف Robots.txt أداة لإدارة الزحف في المقام الأول، ولا ينبغي التعامل معه كوسيلة أمان أو كطريقة موثوقة لإزالة الصفحات من نتائج البحث.

ينبغي عادةً أن يكون ملف robots.txt متاحًا من جذر الموقع.

فمثلًا، إذا كان موقعك https://example.com فسيكون ملف robots.txt متاحًا عادةً على https://example.com/robots.txt.

ووضع الملف في مجلد آخر لا يوفّر التعليمات نفسها المخصّصة للموقع بالكامل.

كما ينبغي أن يكون الملف قابلًا للوصول دون اشتراط تسجيل دخول أو عمليات إعادة توجيه غير ضرورية.

عندما يزور زاحف مدعوم موقعًا ما، يمكنه طلب ملف robots.txt وتفسير القواعد التي تنطبق على وكيل المستخدم الخاص به.

تُجمَّع القواعد عادةً حسب وكيل المستخدم، وقد تتضمّن تعليمات Allow وDisallow.

ويمكن أن تنطبق القاعدة على كل زاحف مدعوم، أو على زاحف محدّد فقط.

ولأن الزواحف المختلفة قد تفسّر التعليمات غير المدعومة بطرق مختلفة، فابقِ الملف بسيطًا واعتمد على القواعد الموثّقة.

تحدّد تعليمة User-agent الزاحف الذي تنطبق عليه مجموعة قواعد robots.txt.

ويمكن استخدام النجمة للتعبير عن كل الزواحف المتوافقة، كما يمكن استخدام اسم زاحف محدّد عندما يجب أن تنطبق قاعدة على ذلك الزاحف وحده.

ويستطيع معظم المواقع استخدام قاعدة عامة بسيطة، ما لم يوجد سبب واضح للتعامل مع زاحف معيّن بطريقة مختلفة.

تجنّب إنشاء قواعد غير ضرورية خاصة بزواحف بعينها، لأنها تجعل مراجعة الملف أصعب.

تخبر قواعد Disallow الزواحف المدعومة بالمسارات المطابقة التي لا ينبغي زحفها.

ويمكن استخدام قواعد Allow للسماح بمسار أكثر تحديدًا داخل قسم مقيّد أصلًا، عندما يدعم الزاحف ذلك.

المسار في القاعدة مهم، فخطأ صغير قد يحجب محتوى أكثر مما هو مطلوب.

لذا راجع دائمًا أثر القواعد الواسعة قبل نشرها على موقع إنتاج.

يمكن أن يتضمّن ملف robots.txt موقع خريطة الموقع XML الخاصة بك.

وهذا يمنح الزواحف المتوافقة طريقة إضافية لاكتشاف رابط خريطة الموقع.

غير أنه ينبغي أن تبقى خريطة الموقع متاحة للعامة وأن تحتوي على روابط أساسية دقيقة.

والجدير بالذكر أن الإشارة إلى خريطة الموقع في robots.txt لا تُغني عن إرسالها عبر أدوات مشرفي المواقع في محركات البحث.

يمكن أن يؤثر ملف robots.txt في الطريقة التي توزّع بها زواحف محركات البحث وقتها على أقسام مختلفة من الموقع.

فبالنسبة لكثير من المواقع الصغيرة، تكون إدارة الزحف بسيطة لأن معظم الصفحات العامة ينبغي أن تبقى متاحة.

أما المواقع الأكبر فقد تستخدم robots.txt لتقليل زحف الروابط التقنية منخفضة القيمة أو الفلاتر أو مسارات الموارد المتكرّرة.

وأهم ما يقلق في السيو هو تجنّب الحجب العَرضي للمحتوى القيّم.

يعالج Robots.txt وnoindex مشكلتين مختلفتين، ولا ينبغي الخلط بينهما.

فملف robots.txt يتحكّم في ما إذا كان الزاحف المدعوم يستطيع الوصول إلى رابط أو مسار.

أما تعليمة noindex فتطلب عدم تضمين الصفحة في نتائج البحث، بعد أن يتمكّن محرك البحث من الوصول إلى التعليمة ومعالجتها.

وإذا كان الزحف محجوبًا في robots.txt، فقد لا يتمكّن الزاحف من رؤية تعليمة noindex الموضوعة في الصفحة نفسها.

ملف robots.txt متاح للعامة وقواعده مرئية لأي شخص يفتحه.

فهو لا يمنع أي شخص من زيارة رابط بشكل مباشر، كما أن ليس كل بوت آلي ملزَمًا باتّباع تعليمات robots.txt.

لذلك ينبغي حماية الموارد الحساسة باستخدام المصادقة والتفويض وضوابط الوصول على مستوى الخادم.

بل إن إدراج مسار خاص في robots.txt قد يجعل ذلك المسار أسهل على الآخرين في ملاحظته.

ملفات robots.txt قصيرة عادةً، لكن الأخطاء الصغيرة قد تكون لها آثار كبيرة.

وأخطر الأخطاء تتعلّق بحجب صفحات مهمة عن طريق الخطأ، أو افتراض أن قيود الزحف توفّر أمانًا أو تحكّمًا في الفهرسة.

لذا راجع الملف بعد عمليات نقل المواقع الكبيرة أو تغييرات التوجيه أو تحديثات إطار العمل.

غالبًا ما يكفي إعداد robots.txt أساسي لموقع صغير متاح للعامة.

فمثلًا، يمكنك السماح بالزحف الطبيعي مع تقييد أقسام التطبيق الداخلية والإشارة إلى خريطة الموقع XML.

وينبغي أن تطابق القواعد الدقيقة بنية الموقع الحقيقية دائمًا، بدل نسخها من نطاق آخر دون تفكير.

ينبغي أن يكون الاختبار جزءًا من كل تغيير مهم تجريه على robots.txt.

فقبل نشر قاعدة جديدة، حدّد الروابط التي ينبغي أن تبقى قابلة للزحف والروابط التي ينبغي تقييدها.

وبعد النشر، افتح ملف robots.txt مباشرة وتأكّد من أن نسخة الإنتاج تحتوي على القواعد المقصودة.

ثم راقب تقارير الزحف والفهرسة في محركات البحث بحثًا عن تغييرات غير متوقّعة بعد التحديثات الكبيرة.

يمكن لكثير من أُطر العمل الحديثة توليد robots.txt تلقائيًا، بدل الحاجة إلى ملف نصي يُصان يدويًا.

وقد يقلّل هذا من أعباء الصيانة عند تغيّر المسارات أو البيئات، لكن ينبغي مع ذلك مراجعة المخرجات المولّدة.

فمثلًا، قد يسمح موقع الإنتاج بالمحتوى العام مع تقييد مسارات الإدارة أو المصادقة أو API.

والحقيقة أن طريقة توليد robots.txt أقل أهمية من احتواء الملف العام النهائي على قواعد دقيقة.

يساعد سير العمل البسيط على تقليل خطر الحجب العَرضي للزواحف.

فابدأ بتحديد أقسام الموقع التي ينبغي أن تبقى عامة، والأقسام التقنية التي لا تحتاج فعلًا إلى الزحف.

ثم أبقِ الملف في أدنى حد ممكن، واختبر القواعد، وراجع نتيجة الإنتاج بعد النشر.

يساعد ملف robots.txt المُعدّ جيدًا على إدارة وصول الزاحف دون التدخّل في المحتوى العام المهم.

وينبغي أن يبقى الملف بسيطًا ودقيقًا ومتوافقًا مع البنية الحالية للموقع.

لذا راجع robots.txt كلما أجريت تغييرات كبيرة في التوجيه أو النقل أو الفهرسة.