User-agent group 1
Rules
Disallow
Disallow
Disallow
Disallow
Générateur robots.txt
Créez un fichier robots.txt valide pour les moteurs de recherche, les crawlers AI et les annuaires.
- 100 % privé
- Instantané
- Gratuit
Quick presets
User-agent groups
Sitemap URLs
Sitemap lines appear at the bottom of the generated file.
Live preview
User-agent:: * Disallow: /admin/ Disallow: /api/ Disallow: /private/ Disallow: /tmp/
URL path tester
Enter a path to see whether each user-agent group would allow or block it with your current rules.
- *Blocked
Comment utiliser cet outil
1
Choisir un préréglage
Démarrez avec Autoriser tout, Bloquer tout, Bloquer les robots IA, Standard, WordPress ou E-commerce.
2
Ajuster les règles
Ajoutez des groupes user-agent, des chemins Allow et Disallow, crawl-delay et des URL sitemap.
3
Copier ou télécharger
Utilisez l'aperçu en direct, puis copiez dans le presse-papiers ou téléchargez robots.txt pour la racine du site.
Why this matters
robots.txt oriente les crawlers vers les pages publiques et loin des zones admin, paiement et staging.
Un Disallow: / erroné peut masquer tout le site — les préréglages et alertes réduisent ce risque.
Lister l'URL sitemap aide les moteurs à découvrir le contenu nouveau ou mis à jour plus vite.
Bloquer les crawlers AI (GPTBot, Google-Extended, etc.) est un choix croissant pour protéger l'usage d'entraînement du contenu.
Des règles claires soutiennent le SEO technique, la confidentialité et le budget d'exploration sans changement serveur.
Besoin d'un accompagnement SEO technique ?
Utilisez cet outil gratuit pour créer un fichier robots.txt propre, ou faites appel à Neurixmedia pour améliorer le contrôle d'exploration, l'indexation et le SEO technique.
Questions fréquentes
Yes. All Neurixmedia website utility tools are free to use with no signup required for core functionality.