مولّد ملف robots.txt
أنشئ ملف robots.txt صحيحًا يتحكم في زحف جوجل وبينج وزواحف الذكاء الاصطناعي مثل GPTBot.
GPTBot وClaudeBot وPerplexityBot وGoogle-Extended وCCBot وApplebot-Extended.
User-agent: *
Allow: /
Disallow: /admin
Disallow: /app
Disallow: /loginلماذا تهمّك هذه الأداة
ملف robots.txt هو أول ملف يطلبه أي زاحف قبل أن يقرأ صفحة واحدة من موقعك. سطر واحد خاطئ فيه يمكن أن يخفي موقعك بالكامل عن جوجل — وهذا أحد أكثر الأخطاء التقنية تكلفة وأكثرها شيوعًا بعد إطلاق المواقع الجديدة.
منذ 2023 ظهرت فئة جديدة من الزواحف: زواحف الذكاء الاصطناعي مثل GPTBot وClaudeBot وPerplexityBot وGoogle-Extended. قرار السماح لها أو منعها قرار استراتيجي: منعها يحمي محتواك من التدريب، لكنه يقلّل فرصة ذكر علامتك داخل إجابات هذه المحركات.
خطوات الاستخدام
- 1اختر السلوك العام: السماح للجميع أو منع الجميع.
- 2أضف المسارات التي تريد إخفاءها مثل لوحة التحكم أو صفحات البحث الداخلي.
- 3حدّد موقفك من زواحف الذكاء الاصطناعي.
- 4انسخ الملف وارفعه في جذر موقعك على المسار /robots.txt.
أسئلة شائعة
هل robots.txt يمنع ظهور الصفحة في جوجل؟
لا بالضرورة. منع الزحف يمنع جوجل من قراءة محتوى الصفحة، لكن الصفحة قد تظل تظهر في النتائج بدون وصف إذا كانت هناك روابط تشير إليها. لإخفاء صفحة فعليًا استخدم وسم noindex واترك الزحف مسموحًا حتى يتمكن جوجل من رؤية الوسم.
هل يجب إضافة سطر Sitemap؟
إضافته مفيدة لكنها ليست ضرورية، لأن الزواحف تجد الخريطة تلقائيًا على المسار المعتاد /sitemap.xml. أضفه فقط عندما تكون خريطتك على مسار غير معتاد.
الخطوة التالية
هل تظهر علامتك في إجابات ChatGPT وGemini؟
الأدوات هنا تصلح تفاصيل صفحة واحدة. صدارة تفحص موقعك كاملًا، تسأل محركات الذكاء الاصطناعي أسئلة عملائك الحقيقية، وتخبرك هل تظهر أنت أم منافسك — مع درجة ظهور وخطة تنفيذ.
ابدأ الفحص المجاني