ملف robots.txt: طريقة إنشائه واختباره وحل أخطائه

ملف robots.txt هو ملف نصي يحدد المسارات التي يُسمح لزواحف محركات البحث بزيارتها أو يُطلب منها تجنبها داخل موقعك. تجده عادةً بإضافة /robots.txt إلى عنوان الموقع، وتُستخدم قواعده لتنظيم الزحف. أما منع فهرسة صفحة أو حماية محتوى خاص، فلكل منهما وسيلة مختلفة.

الإعداد المناسب يبدأ بتحديد ما تريد تحقيقه: هل تريد تقليل زحف روابط غير مفيدة، أم إزالة صفحة من البحث، أم إصلاح حظر غير مقصود؟ يوضح هذا الدليل كيف تختار الإجراء، وتكتب القواعد، ثم تتحقق من تأثيرها على روابط فعلية.

تاريخ النشر: 25 سبتمبر 2026.

محتويات الدليل

• متى تستخدم robots.txt ومتى تستخدم noindex؟
• مكان الملف ونطاق تطبيقه
• شرح الأوامر بمثال عملي
• قواعد المطابقة التي تغيّر النتيجة
• إنشاء الملف أو تعديله
• التعامل مع الملف في ووردبريس
• اختبار القواعد والملف المنشور
• تشخيص الأخطاء الشائعة

متى تستخدم robots.txt ومتى تستخدم noindex؟

الزحف هو وصول المحرك إلى صفحاتك ومواردك، والفهرسة هي معالجة المحتوى للنظر في إدراجه ضمن فهرس البحث. توضح وثائق Google عن robots.txt أن حظر الزحف لا يضمن اختفاء عنوان الصفحة؛ فقد يكتشفه Google عبر روابط أخرى ويعرضه دون زيارة محتواه.

هدفك	الوسيلة المناسبة	ما ينبغي الانتباه إليه
تقليل زحف مسارات محددة	قواعد robots.txt	حدّد المسارات المطلوبة واختبر عدم امتداد الحظر إلى صفحات مهمة.
منع فهرسة صفحة متاحة للعامة	noindex في وسم robots أو ترويسة X-Robots-Tag	يجب أن يستطيع الزاحف الوصول إلى المورد لقراءة التوجيه.
حماية ملفات أو صفحات خاصة	مصادقة وصلاحيات وصول مناسبة	الملف لا يمنع المستخدمين أو البرامج غير الملتزمة من الوصول.
تحديد النسخة المفضلة من صفحات متشابهة	إشارات تحديد الرابط الأساسي، مثل rel="canonical"	حظر الزحف ليس وسيلة لتحديد النسخة الأساسية.

لمنع فهرسة صفحة HTML، يمكن أن يتضمن قسم <head> في الصفحة التوجيه التالي. هذا مثال لكود الصفحة، ولا يُكتب داخل robots.txt:

<meta name="robots" content="noindex">

أما الموارد غير HTML، مثل PDF، فيمكن ضبط X-Robots-Tag: noindex في استجابة الخادم. تؤكد إرشادات noindex أن حجب المورد بواسطة robots.txt يمنع Google من قراءة هذا التوجيه، وأن كتابة noindex داخل ملف الروبوتات غير مدعومة.

وللمحتوى الخاص، يوضح معيار RFC 9309 أن قواعد الملف ليست نظامًا للتحكم في الوصول. كذلك توصي Google بعدم استخدامه لأغراض تحديد الروابط الأساسية؛ اختر الوسيلة بناءً على المشكلة التي تريد حلها.

هل تحتاج كل المواقع إلى تعديله؟ لا. إذا كان موقعك صغيرًا ولا توجد مسارات تحتاج إلى ضبط الزحف، فقد لا تحتاج إلى إضافة قواعد أصلًا، كما توضح مساعدة Search Console. لا تنشئ قائمة حظر لمجرد أن موقعًا آخر يستخدمها؛ ابدأ بمشكلة محددة يمكن التحقق منها.

أين يوجد ملف robots.txt، وما نطاق تطبيقه؟

افتح عنوان موقعك مع المسار التالي. النطاق example.com هنا وفي بقية الأمثلة توضيحي:

https://example.com/robots.txt

يوضع الملف باسم robots.txt في جذر المضيف، لا داخل مجلد مثل /blog/robots.txt. وتنطبق قواعده على البروتوكول والمضيف والمنفذ نفسيهما: ملف https://example.com/robots.txt لا يغطي تلقائيًا https://shop.example.com/ أو http://example.com/ أو مضيف www.example.com.

جذر الويب الذي يخدم النطاق ليس بالضرورة مجلد تثبيت نظام إدارة المحتوى. إذا كان موقعك مثبتًا داخل مجلد فرعي، راجع إعدادات الاستضافة لتحديد المكان الصحيح. وتوضح تعليمات إنشاء الملف أنه يجب أن يكون نصًا عاديًا بترميز UTF-8.

شرح أوامر robots.txt بمثال عملي

يتكون الملف من مجموعات تبدأ بتحديد الزاحف، ثم قواعد المسارات. افترض أن موقعًا يريد تقليل زحف تقارير عامة مولدة آليًا داخل /reports/، مع السماح بتقارير مختارة داخل /reports/public/. يمكن تمثيل هذا القرار هكذا:

User-agent: *
Disallow: /reports/
Allow: /reports/public/

Sitemap: https://example.com/sitemap.xml

السطر	وظيفته في المثال
User-agent: *	يحدد مجموعة عامة للزواحف التي تطبقها. قد تُختار مجموعة أكثر تخصيصًا عند وجودها.
Disallow: /reports/	يطلب عدم الزحف إلى المسارات التي تبدأ بهذه القيمة.
Allow: /reports/public/	يسمح بزحف هذا المسار الأكثر تحديدًا رغم وجود الحظر الأوسع.
Sitemap:	يذكر عنوان خريطة الموقع كاملًا. استبدله بعنوان الخريطة الفعلي عند التطبيق.

في هذا المثال المستقل، تكون نتائج المطابقة المتوقعة لـGooglebot كما يلي. هذه نتائج مستنتجة من القواعد، وليست قياسات أُجريت على موقع فعلي:

المسار على example.com	النتيجة المتوقعة	السبب
/reports/monthly.html	محظور عن الزحف	يطابق مسار الحظر.
/reports/public/annual.html	مسموح بالزحف	يطابق استثناءً أكثر تحديدًا.
/reports	مسموح بالزحف إلى هذا العنوان	لا يطابق الشرطة المائلة الأخيرة في /reports/.
/products/item-a	مسموح بالزحف	لا توجد قاعدة تمنعه.

إذا كان /reports يحوّل الزائر إلى /reports/، فافحص عنوان الوجهة أيضًا؛ لكل عنوان مطابقته. ويوضح معيار المطابقة اعتماد القاعدة الأكثر تحديدًا. وعند تعادل تعارض السماح والمنع، يختار Google السماح وفق ترتيب أولوية القواعد.

سطر خريطة الموقع يساعد على اكتشافها، ولا يمنح إذنًا يتجاوز قواعد الحظر أو يضمن فهرسة محتواها. ويمكن كتابة تعليقات بعد الرمز #، مثل توضيح سبب قاعدة، مع تجنب إدراج أي معلومات سرية.

قواعد مطابقة قد تغيّر النتيجة بالكامل

الفرق بين Disallow: الفارغ وDisallow: /

هذا المثال المستقل لا يفرض قيود زحف على Googlebot:

User-agent: Googlebot
Disallow:

قيمة Disallow الفارغة لا تضيف حظرًا، لكنها لا تلغي قاعدة حظر أخرى إذا أضفتها إلى المجموعة. أما المثال التالي فيحجب زحف Googlebot إلى الموقع كله وفق هذه القواعد؛ انتبه لأثره عند العثور عليه في موقع تريد إتاحة صفحاته للبحث:

User-agent: Googlebot
Disallow: /

الفرق هو الشرطة المائلة بعد النقطتين. ويمكن مراجعة الحالات الأساسية في أمثلة Google لقواعد robots.txt.

مجموعة Googlebot لا ترث المجموعة العامة تلقائيًا

في المثال التعليمي التالي توجد مجموعتان مستقلتان:

User-agent: *
Disallow: /search/

User-agent: Googlebot
Disallow: /test/

بالنسبة إلى Googlebot، يكون /test/page محظورًا، بينما لا تمنع هذه القواعد زحف /search/?q=phone؛ لأنه يختار مجموعته المحددة. إذا أردت أن يشمل المنع مسار البحث أيضًا، أضف قاعدته إلى المجموعة المناسبة. أما المجموعات المتكررة المطابقة للزاحف نفسه، فتُدمج قواعدها. راجع كيفية اختيار مجموعات الزواحف قبل إضافة مجموعة جديدة.

الرمزان * و$ وحساسية حالة الأحرف

داخل أنماط المسارات، يطابق * سلسلة محارف قد تكون فارغة، بينما يحدد $ نهاية العنوان. لا تمثل هذه الأنماط لغة تعبيرات منتظمة كاملة. يوضح المثال التالي مطابقة امتداد معين، دون اعتباره توصية عامة بحظر ملفات PDF:

User-agent: Googlebot
Disallow: /*.pdf$

• /files/guide.pdf: محظور عن الزحف، لأنه ينتهي بالنص المطلوب.
• /files/guide.pdf?download=1: لا تحظره هذه القاعدة، لوجود نص بعد الامتداد.
• /files/guide.PDF: لا تحظره هذه القاعدة، لاختلاف حالة أحرف المسار.

إذا حذفت $ من هذا المثال، يتسع نطاق المطابقة ليشمل وجود نص بعد .pdf. اختبر العناوين الكاملة بدل الاكتفاء باسم الملف، وفق قواعد مطابقة المسارات لدى Google. كذلك لا تعتمد على crawl-delay لإبطاء Googlebot؛ فهذا الحقل غير مدعوم لديه.

كيفية إنشاء ملف robots.txt أو تعديله خطوة بخطوة

ابدأ بالملف الموجود وبالمشكلة التي تريد حلها. عند التعديل، توصي إرشادات Google بتنزيل النسخة الحالية، وتحريرها، ثم رفع النسخة المعدلة إلى الموقع.

1. افحص الوضع الحالي: افتح /robots.txt على المضيف الصحيح، واحفظ نسخة من المحتوى. حدّد هل الملف فعلي أم مولد من نظام الموقع أو الاستضافة.
2. اكتب هدفًا محددًا للتعديل: مثل منع زحف مجموعة روابط فلترة معينة مع إبقاء صفحات المنتجات متاحة. سجّل روابط يجب أن تُحجب وأخرى يجب ألا تتأثر.
3. حرّر أقل عدد لازم من القواعد: استخدم محرر نصوص مثل Notepad أو محرر الأكواد، واحفظ الملف باسم robots.txt وترميز UTF-8. تأكد من عدم حفظه باسم robots.txt.txt.
4. اختبر المسودة: راجع المجموعة التي سيستخدمها الزاحف، ونطاق كل قاعدة، والعناوين التي تقع على حدود النمط، مثل الرابط مع الشرطة المائلة وبدونها.
5. انشر عبر الجهة التي تدير الملف: مدير ملفات الاستضافة، أو SFTP، أو أدوات المنصة. تجنب إنشاء مصدر ثانٍ للقواعد دون معرفة أيهما سيُقدَّم للزوار.
6. تحقق بعد الحفظ: افتح الملف من جديد، وقارن محتواه بالنسخة المطلوبة، ثم اختبر روابط ممثلة بالطريقة الموضحة في قسم الفحص.

في المتاجر، راجع إرشادات الزحف إلى روابط الفلاتر قبل حظر المعاملات. قد تحتاج بعض صفحات الفلاتر إلى الظهور في البحث، بينما تولّد تركيبات أخرى روابط كثيرة بلا فائدة. لا تطبق قاعدة تحظر كل عنوان يحتوي على ? قبل فهم استخدام المعاملات في موقعك.

ملف robots.txt في ووردبريس: ما الذي تعدّله فعلًا؟

في الإعداد المعتاد، يمكن لووردبريس توليد ملف robots.txt افتراضي عند عدم وجود ملف فعلي في جذر الويب. لذلك قد تراه في المتصفح دون العثور على ملف مطابق على القرص. ويمكن للإضافات تعديل المحتوى المولد؛ وتوضح دالة WordPress الخاصة بالملف وجود مرشح يسمح بتغيير ناتجه.

افحص جذر الويب الصحيح وحدد طريقة الإدارة قبل إنشاء ملف جديد. وعند الانتقال من ملف افتراضي إلى فعلي، قارن المحتوى قبل التغيير وبعده، خصوصًا الاستثناءات وسطر خريطة الموقع. لا تفترض أن الإنشاء سيحافظ تلقائيًا على كل ما كانت الإضافات تولّده.

التعديل بواسطة Yoast SEO عند استخدام الإضافة

وفق دليل Yoast الرسمي، يمكنك اتباع هذا المسار إذا كان محرر الملفات متاحًا في تثبيتك:

1. من لوحة ووردبريس، افتح Yoast SEO ثم Tools ثم File Editor.
2. إذا ظهر خيار Create robots.txt file وكنت تحتاج إلى إنشاء ملف فعلي، احتفظ أولًا بنسخة من المحتوى الذي يظهر على عنوان الملف، ثم اضغط الزر لإنشائه.
3. عدّل القواعد المقصودة واحفظ التغييرات، ثم افتح /robots.txt مرة أخرى للتحقق من النص المقدم للعامة.

قد لا يظهر المحرر بسبب إعدادات تحرير الملفات، وقد يفشل الحفظ بسبب صلاحيات الكتابة. عندها استخدم مدير ملفات الاستضافة أو SFTP بالتنسيق مع مسؤول الموقع. وتحقق من عنوان خريطة الموقع المستخدم فعلًا؛ قد يختلف بين خرائط ووردبريس الأساسية وخرائط الإضافات.

خيار منع محركات البحث من الفهرسة إعداد مختلف

في الإعدادات ← قراءة، يوجد خيار طلب عدم فهرسة الموقع. منذ WordPress 5.3 لم يعد هذا الخيار يضيف Disallow: / إلى الملف الافتراضي؛ يعتمد على توجيهات robots في HTML، ومنها noindex. هذا موضح في توثيق إعدادات القراءة وسجل تغييرات do_robots().

إذا كان الموقع عامًا وتريد فهرسته، راجع هذا الخيار وإعدادات noindex على الصفحات. أما بيئة الاختبار التي تحتوي معلومات خاصة، فاحمها بالمصادقة؛ إعداد ظهور الموقع لا يمنع دخول الزوار.

كيف تختبر ملف robots.txt قبل التعديل وبعده؟

الفحص الجيد يجيب عن ثلاثة أسئلة مختلفة: هل القواعد تعطي النتيجة المقصودة؟ هل النسخة المنشورة هي الصحيحة؟ وهل استطاع Google جلبها والوصول إلى الصفحة المطلوبة؟

اختبار المسودة والعناوين المتأثرة

جهّز عينة تشمل الصفحة الرئيسية، وصفحة مهمة، ورابطًا تريد حظره، والاستثناء الذي تريد السماح به، وأحد ملفات CSS أو JavaScript اللازمة للعرض. أضف نسخًا تختلف في المعاملات أو الشرطة المائلة إذا كانت القاعدة تتأثر بها.

اختبر العينة باستخدام محلل يطابق سلوك الزاحف المستهدف. وللمطورين، توفر Google مكتبتها المفتوحة لتحليل robots.txt ومطابقة العناوين. فحص القواعد محليًا لا يثبت أن الخادم يقدّم الملف نفسه، أو أن الصفحة ستُفهرس؛ لكل مرحلة تحققها.

فحص الملف المنشور وما جلبه Google

تكتشف زواحف Google ملف robots.txt تلقائيًا بعد نشره وإتاحته. افتح /robots.txt في نافذة خاصة دون تسجيل دخول، وتحقق من ظهور النص المطلوب، لا صفحة تسجيل دخول أو رسالة خطأ. ظهور الملف لديك خطوة أولية، ويكملها فحص نسخة Google.

افتح تقرير robots.txt في Search Console للموقع الذي تملك صلاحية إدارته. راجع حالة الجلب، ووقت آخر فحص، ثم محتوى الملف والأخطاء أو التحذيرات. التقرير يعرض الملف المنشور الذي جلبه Google؛ لا يستخدم لتحرير مسودة لم تُنشر.

يتاح التقرير لخاصية نطاق، أو خاصية بادئة URL على مستوى المضيف دون مسار فرعي، مثل https://example.com/. إذا أصلحت حجبًا مهمًا أو خطأ جلب، يمكنك اختيار Request a recrawl من خيارات الملف، وفق مساعدة التقرير. الطلب لا يضمن إعادة زحف الصفحات فورًا.

اختبار صفحة بعينها باستخدام URL Inspection

أدخل عنوان الصفحة الكامل في أداة فحص عنوان URL، ثم استخدم Test live URL بعد التعديل. ميّز نتيجة الاختبار المباشر عن بيانات آخر نسخة معروفة لدى Google، واقرأ هذه الحقول معًا:

• Crawl allowed? هل تسمح قواعد robots.txt بالزحف إلى العنوان؟
• Page fetch: هل تمكن Google من جلب الصفحة فعليًا؟
• Indexing allowed? هل اكتشف توجيهًا يمنع الفهرسة؟

انتبه: إذا حجب robots.txt الصفحة، فقد تظهر Indexing allowed? = Yes لأن Google لم يستطع رؤية noindex أصلًا. لذلك لا تعتمد على هذا الحقل منفردًا. كما أن نجاح الاختبار المباشر لا يضمن الإدراج في البحث؛ تشرح وثائق أداة فحص عنوان URL حدود ما تستطيع الأداة اختباره.

حل أخطاء ملف robots.txt بحسب ما تراه

صفحة مهمة تظهر بأنها محظورة بواسطة robots.txt

ابدأ بعنوان الصفحة الكامل وبمجموعة Googlebot، ثم حدّد قاعدة الحظر المطابقة. راجع القواعد الواسعة والاستثناءات قبل حذف أي سطر. إذا كان الحظر غير مقصود، ضيّق نطاقه أو صحح الاستثناء، واختبر الصفحة وروابط مشابهة يجب أن تظل محظورة. يمكنك الاستعانة بإرشادات إزالة حظر صفحة، ثم إعادة فحص الرابط بعد النشر.

صفحة محظورة ما زالت تظهر في نتائج البحث

هذه الحالة لا تثبت أن Google تجاهل الملف؛ قد يكون اكتشف عنوان الصفحة دون الزحف إليها. إذا كانت الصفحة عامة وهدفك منع فهرستها، طبّق noindex مع إتاحة الزحف لقراءته. وإذا كان المحتوى خاصًا، عالج صلاحيات الوصول أولًا. لا تكرر قواعد Disallow على أمل تحويلها إلى أمر إزالة من البحث.

عدّلت الملف لكن النتيجة لم تتغير

قارن ثلاث نسخ: ما حفظته، وما يظهر عند فتح العنوان العام، وما يعرضه تقرير Google. اختلاف الأولى عن الثانية يوجّهك لفحص مصدر الملف أو التخزين المؤقت لدى الاستضافة وCDN. أما اختلاف النسخة العامة عن نسخة Google، فيوجّهك إلى وقت آخر جلب وطلب إعادة الزحف عند وجود إصلاح مهم.

قد يحتفظ Google بنسخة مؤقتة، وقد تطول المدة عند تعذر تحديثها؛ لذلك لا تعالج التأخير بإضافة قواعد متناقضة. راجع طريقة إرسال التحديث وسلوك التخزين المؤقت.

الملف يعيد 404 أو يتعذر جلبه

استجابة 404 لعنوان robots.txt تعني عدم العثور على الملف، ويتعامل Google معها باعتبار عدم وجود قيود زحف منه. أما أخطاء 5xx أو الشبكة، فقد تعطل الزحف مؤقتًا، ويعتمد التعامل معها على حالة الموقع والنسخة المحفوظة. كذلك 429 استثناء من التعامل المعتاد مع أخطاء 4xx؛ يشير إلى ضغط أو طلبات كثيرة، فلا تساوِه بحالة الملف المفقود.

عند استمرار خطأ الجلب، افحص الاستضافة وقواعد الجدار الناري وإعدادات تقديم الملف بدل تعديل صياغة قواعد لا تصل إلى الزاحف أصلًا. توضح Google سلوك جلب robots.txt وأثر حالات HTTP بالتفصيل.

الصفحة متاحة لكن موارد العرض محظورة

قد تسمح بالصفحة نفسها وتحجب ملف CSS أو JavaScript تحتاجه. افحص عناوين الموارد المتأثرة، وراجع قواعد المجلدات الواسعة. في ووردبريس، تجنب نسخ حظر شامل لـ/wp-content/ أو /wp-includes/ دون فحص الموارد؛ تنبّه Google إلى أثر حجب الملفات الضرورية لفهم الصفحة وعرضها.