User-agent group 1
Rules
Disallow
Disallow
Disallow
Disallow
robots.txt 生成器
为搜索引擎、AI 爬虫和网站目录创建有效的 robots.txt 文件。
- 100% 私密
- 即时
- 免费
Quick presets
User-agent groups
Sitemap URLs
Sitemap lines appear at the bottom of the generated file.
Live preview
User-agent:: * Disallow: /admin/ Disallow: /api/ Disallow: /private/ Disallow: /tmp/
URL path tester
Enter a path to see whether each user-agent group would allow or block it with your current rules.
- *Blocked
如何使用此工具
1
选择预设
从 Allow All、Block All、Block AI Crawlers、Standard、WordPress 或 E-commerce 开始。
2
调整爬取规则
添加 user-agent 组、Allow 和 Disallow 路径、crawl-delay 和 sitemap URL。
3
复制或下载
使用实时预览，然后复制到剪贴板或下载 robots.txt 放到网站根目录。
Why this matters
robots.txt 引导爬虫访问公开页面，远离管理、结账和 staging 路径。
错误的 Disallow: / 可能让整个网站无法被搜索 — 预设和警告可降低此风险。
列出 sitemap URL 有助于搜索引擎更快发现新内容和更新。
屏蔽 AI 爬虫（GPTBot、Google-Extended 等）是保护训练用途的日益常见的选择。
清晰的爬取规则支持技术 SEO、隐私和爬取预算控制，无需更改服务器。
需要技术 SEO 支持？
使用此免费工具创建规范的 robots.txt 文件，或与 Neurixmedia 合作改进爬取控制、索引和技术 SEO。
常见问题
Yes. All Neurixmedia website utility tools are free to use with no signup required for core functionality.