2026-11-09

ملف robots.txt: الشرح الكامل وأمثلة جاهزة (مع روبوتات الذكاء الاصطناعي)

ما يفعله robots.txt وما لا يفعله، وكيف تسمح أو تمنع GPTBot وPerplexityBot وGoogle-Extended دون أن تؤذي ظهورك.

بقلم خالد نمرةوقت القراءة: 7 دقيقة

الإجابة المختصرة

robots.txt ملف نصي في جذر موقعك يخبر الزواحف بالمسارات المسموح لها بزيارتها. هو يمنع الزحف لا الفهرسة: صفحة محظورة قد تظهر في جوجل بدون وصف إن وجدها عبر روابط. لمنع الظهور استخدم noindex، ولا تحظر ملفات CSS وJS التي يحتاجها جوجل لعرض الصفحة.

مثال أساسي

User-agent: * / Disallow: /cart / Disallow: /account / Sitemap: https://example.com/sitemap.xml

كل أمر في سطر مستقل داخل الملف الفعلي.

روبوتات الذكاء الاصطناعي

الاسمالجهة والغرض
GPTBotOpenAI — جمع بيانات لتدريب النماذج
OAI-SearchBotOpenAI — الظهور في نتائج بحث ChatGPT
PerplexityBotPerplexity — فهرسة للإجابات
Google-Extendedجوجل — استخدام المحتوى في Gemini، ولا يؤثر على ترتيب البحث
ClaudeBotAnthropic — جمع بيانات

قرار السماح أو المنع

إن كان هدفك أن تذكرك محركات الذكاء الاصطناعي، فلا تمنع زواحف البحث مثل OAI-SearchBot وPerplexityBot. يمكنك منع زواحف التدريب فقط إن كان لديك سبب تجاري، مع العلم أن ذلك قرار مستقل عن الظهور في البحث.

أسئلة شائعة

أين أضع ملف robots.txt؟

في جذر النطاق: example.com/robots.txt، ولكل نطاق فرعي ملفه.

هل Disallow يحذف الصفحة من جوجل؟

لا. استخدم noindex مع السماح بالزحف حتى يرى جوجل العلامة.

خدمات صدارة ذات الصلة

  • صدارة SEOصدارة SEO هي منصة صدارة (getsadara.com) للسيو العربي: تفحص موقعك، تكشف ما يمنعه من الظهور في جوجل، وتحوّل النتائج إلى خطوات عملية أسبوعية بلغة سوقك.

الصدارة قرار

أرسل رابط موقعك واحصل على تحليل أولي لظهورك في محركات البحث ومحركات الذكاء الاصطناعي.