User-agent group 1
Rules
Disallow
Disallow
Disallow
Disallow
Generador robots.txt
Cree un archivo robots.txt válido para buscadores, crawlers de AI y directorios web.
- 100 % privado
- Instantáneo
- Gratis
Quick presets
User-agent groups
Sitemap URLs
Sitemap lines appear at the bottom of the generated file.
Live preview
User-agent:: * Disallow: /admin/ Disallow: /api/ Disallow: /private/ Disallow: /tmp/
URL path tester
Enter a path to see whether each user-agent group would allow or block it with your current rules.
- *Blocked
Cómo usar esta herramienta
1
Elegir un preset
Empiece con Allow All, Block All, Block AI Crawlers, Standard, WordPress o E-commerce.
2
Ajustar reglas
Añada grupos user-agent, rutas Allow y Disallow, crawl-delay y URLs de sitemap.
3
Copiar o descargar
Use la vista previa en vivo, luego copie al portapapeles o descargue robots.txt para la raíz del sitio.
Why this matters
robots.txt guía crawlers hacia páginas públicas y alejados de admin, checkout y staging.
Un Disallow: / erróneo puede ocultar todo el sitio — presets y avisos reducen ese riesgo.
Listar la URL del sitemap ayuda a los buscadores a descubrir contenido nuevo o actualizado más rápido.
Bloquear crawlers de AI (GPTBot, Google-Extended, etc.) es una opción creciente para proteger el uso de entrenamiento del contenido.
Reglas claras apoyan SEO técnico, privacidad y control del presupuesto de rastreo sin cambios en el servidor.
¿Necesita soporte SEO técnico?
Use esta herramienta gratuita para crear un archivo robots.txt limpio, o trabaje con Neurixmedia para mejorar el control de rastreo, la indexación y el SEO técnico.
Preguntas frecuentes
Yes. All Neurixmedia website utility tools are free to use with no signup required for core functionality.