User-agent group 1
Rules
Disallow
Disallow
Disallow
Disallow
مُولِّد robots.txt
أنشئ ملف robots.txt صالحاً لمحركات البحث وزواحف AI ودلائل المواقع.
- 100% خاص
- فوري
- مجاني
Quick presets
User-agent groups
Sitemap URLs
Sitemap lines appear at the bottom of the generated file.
Live preview
User-agent:: * Disallow: /admin/ Disallow: /api/ Disallow: /private/ Disallow: /tmp/
URL path tester
Enter a path to see whether each user-agent group would allow or block it with your current rules.
- *Blocked
كيفية استخدام هذه الأداة
1
اختر إعداداً مسبقاً
ابدأ من Allow All أو Block All أو Block AI Crawlers أو Standard أو WordPress أو E-commerce.
2
اضبط القواعد
أضف مجموعات user-agent ومسارات Allow وDisallow وcrawl-delay وعناوين sitemap.
3
انسخ أو حمّل
استخدم المعاينة المباشرة، ثم انسخ إلى الحافظة أو حمّل robots.txt لجذر الموقع.
Why this matters
يوجّه robots.txt الزواحف نحو الصفحات العامة وبعيداً عن الإدارة والدفع والبيئات التجريبية.
خطأ Disallow: / قد يخفي الموقع بالكامل — الإعدادات المسبقة والتحذيرات تقلل هذا الخطر.
إدراج URL لـ sitemap يساعد محركات البحث على اكتشاف المحتوى الجديد أو المحدّث أسرع.
حظر زواحف AI (GPTBot وGoogle-Extended وغيرها) خيار متزايد لحماية استخدام المحتوى في التدريب.
قواعد واضحة تدعم SEO التقني والخصوصية والتحكم في ميزانية الزحف دون تغييرات على الخادم.
هل تحتاج دعماً في SEO التقني؟
استخدم هذه الأداة المجانية لإنشاء ملف robots.txt نظيف، أو تعاون مع Neurixmedia لتحسين التحكم في الزحف والفهرسة وSEO التقني.
الأسئلة الشائعة
Yes. All Neurixmedia website utility tools are free to use with no signup required for core functionality.