مُنشئ robots.txt المجانيتحكّم في زحف محركات البحث
أنشئ ملف robots.txt مجانيًا لموقعك، وحدّد قواعد وصول الزواحف، وأضف خريطة موقع XML، واحصل على ملف robots.txt جاهز للاستخدام في محركات البحث.
قواعد الزواحف
اضبط ملف robots.txt
استخدم * لتطبيق مجموعة القواعد على جميع الزواحف المتوافقة.
مثال: / يسمح بالزحف من الجذر ما لم تقيّد قاعدة أكثر تحديدًا مسارًا معينًا.
أدخل مسارًا واحدًا في كل سطر.
استخدم الرابط المطلق الكامل لخريطة موقع XML الخاصة بك.
النتيجة المُنشأة
ملف robots.txt المُنشأ
User-agent: * Allow: /
تنبيه مهم
يتحكم robots.txt في وصول الزواحف، ولا ينبغي استخدامه لحماية معلومات سرية أو حساسة.
شارك هذه الأداة
هل وجدت هذه الأداة مفيدة؟ شاركها مع الآخرين.
إدارة الزواحف
ما الذي ينشئه مُنشئ robots.txt
يمنح ملف robots.txt الزواحف المدعومة تعليمات حول أجزاء الموقع التي يجوز لها الزحف إليها أو لا يجوز. ويوضع عادة في جذر الموقع حتى تتمكن الزواحف من معرفة القواعد قبل طلب روابط أخرى.
اختر الزاحف
يحدد الزاحف أو مجموعة الزواحف التي تنطبق عليها القواعد التالية.
السماح بمسار
يسمح بالزحف إلى مسار معين عندما تكون القاعدة منطبقة على الزاحف المحدد.
حجب الزحف
يطلب من الزواحف المتوافقة عدم الزحف إلى مسار أو مجلد محدد.
أشِر إلى خريطة موقعك
يمنح الزواحف الرابط المطلق لخريطة موقع XML.
كيف يعمل
كيف تستخدم مُنشئ robots.txt
اضبط قواعد الزواحف، وراجع النص الناتج، ثم ضع الملف النهائي في جذر موقعك.
اختر وكيل المستخدم
استخدم * لمجموعة قواعد عامة أو أدخل رمز الزاحف الذي تريد استهدافه تحديدًا.
حدّد المسارات المسموحة والمحظورة
أضف المسارات التي يُسمح للزواحف بالزحف إليها أو يُطلب منها عدم زيارتها.
أضف خريطة موقعك
يمكنك اختياريًا تضمين الرابط الكامل لخريطة موقع XML.
انشر ملف robots.txt
انسخ المحتوى الناتج واحفظه باسم robots.txt في جذر موقعك.
فرق مهم في SEO
حجب الزحف لا يعني منع الفهرسة
تنظّم قاعدة robots.txt الزحف أساسًا، ولا ينبغي اعتبارها طريقة مضمونة لإبعاد رابط عن نتائج البحث. وإذا كنت بحاجة إلى التحكم في الفهرسة، فراجع توجيهات الفهرسة المناسبة وتأكد من إمكانية وصول محركات البحث إلى الصفحة عند الحاجة إلى قراءة تلك التوجيهات.
نصائح الضبط
أفضل ممارسات robots.txt
قد تؤدي أخطاء صغيرة في robots.txt إلى تقييد وصول الزواحف إلى صفحات أو موارد كنت تنوي إبقاءها قابلة للزحف. راجع كل قاعدة بعناية قبل نشر الملف.
بعد إجراء التغييرات، تحقق من ملف robots.txt المنشور وتأكد من بقاء الصفحات والموارد العامة المهمة متاحة للزواحف التي تريد دعمها.
استخدم مسارات دقيقة
تجنّب قواعد الحجب الواسعة ما لم تكن واثقًا من أن المسار بالكامل يجب ألا يُزحف إليه.
تحقق من الصياغة
راجع مجموعات وكلاء المستخدم وقواعد المسارات قبل رفع الملف.
ضمّن خريطة موقعك
أضف رابط خريطة موقع XML عند الاقتضاء ليتمكن الزواحف من اكتشافها بسهولة.
اختبر بعد التغييرات
تأكد من بقاء الصفحات العامة المهمة قابلة للزحف بعد تحديث robots.txt.
تجنّب الأخطاء
مشكلات شائعة في robots.txt
حجب الموقع بالكامل
قد تمنع قاعدة حجب واسعة الزواحف من الوصول إلى صفحات أكثر بكثير مما هو مقصود.
حجب موارد مهمة
قد يجعل تقييد ملفات CSS أو JavaScript أو موارد أخرى عرض الصفحة أصعب على الزواحف.
استخدام robots.txt للأمان
تبقى المسارات المحجوبة متاحة للعموم إذا عرف أحدهم الرابط، لذا تحتاج البيانات الحساسة إلى تحكم حقيقي في الوصول.
واصل سير عمل SEO التقني
تحكّم في الزحف وحسّن الاكتشاف وراجع موقعك
استخدم هذه الأدوات معًا لإدارة وصول الزواحف، وتقديم قائمة منظمة بالروابط المهمة، ثم إجراء تدقيق SEO أوسع.
مُنشئ robots.txt
أنشئ قواعد وصول الزواحف وأشِر إلى خريطة موقعك من ملف robots.txt منظم بشكل صحيح.
مُنشئ خريطة موقع XML
أنشئ خريطة موقع XML تسرد الروابط المهمة وتساعد محركات البحث على اكتشاف بنية موقعك.
محلّل SEO
أجرِ تدقيق SEO أوسع بعد ضبط الزحف والاكتشاف لمراجعة الإشارات التقنية وإشارات المحتوى.