بقلم خالد نمرةوقت القراءة: 7 دقيقة
الإجابة المختصرة
robots.txt ملف نصي في جذر موقعك يخبر الزواحف بالمسارات المسموح لها بزيارتها. هو يمنع الزحف لا الفهرسة: صفحة محظورة قد تظهر في جوجل بدون وصف إن وجدها عبر روابط. لمنع الظهور استخدم noindex، ولا تحظر ملفات CSS وJS التي يحتاجها جوجل لعرض الصفحة.
مثال أساسي
User-agent: * / Disallow: /cart / Disallow: /account / Sitemap: https://example.com/sitemap.xml
كل أمر في سطر مستقل داخل الملف الفعلي.
روبوتات الذكاء الاصطناعي
| الاسم | الجهة والغرض |
|---|---|
| GPTBot | OpenAI — جمع بيانات لتدريب النماذج |
| OAI-SearchBot | OpenAI — الظهور في نتائج بحث ChatGPT |
| PerplexityBot | Perplexity — فهرسة للإجابات |
| Google-Extended | جوجل — استخدام المحتوى في Gemini، ولا يؤثر على ترتيب البحث |
| ClaudeBot | Anthropic — جمع بيانات |
قرار السماح أو المنع
إن كان هدفك أن تذكرك محركات الذكاء الاصطناعي، فلا تمنع زواحف البحث مثل OAI-SearchBot وPerplexityBot. يمكنك منع زواحف التدريب فقط إن كان لديك سبب تجاري، مع العلم أن ذلك قرار مستقل عن الظهور في البحث.
أسئلة شائعة
أين أضع ملف robots.txt؟
في جذر النطاق: example.com/robots.txt، ولكل نطاق فرعي ملفه.
هل Disallow يحذف الصفحة من جوجل؟
لا. استخدم noindex مع السماح بالزحف حتى يرى جوجل العلامة.
خدمات صدارة ذات الصلة
- صدارة SEOصدارة SEO هي منصة صدارة (getsadara.com) للسيو العربي: تفحص موقعك، تكشف ما يمنعه من الظهور في جوجل، وتحوّل النتائج إلى خطوات عملية أسبوعية بلغة سوقك.
