免费 Robots.txt 生成器掌控搜索引擎抓取
为网站创建免费的 robots.txt 文件，设置爬虫访问规则，添加 XML 网站地图，并生成可直接使用的 robots.txt 文件。
爬虫规则
配置你的 robots.txt
使用 * 可将该组规则应用于所有兼容的爬虫。
示例：/ 表示允许从根目录开始抓取，除非有更具体的规则限制某个路径。
每行填写一个路径。
请使用 XML 网站地图的完整绝对 URL。
生成结果
生成的 robots.txt
User-agent: * Allow: /
重要提示
robots.txt 控制的是爬虫访问权限，不应被用来保护机密或敏感信息。
分享这个工具
觉得这个工具好用？分享给更多人。
爬虫管理
Robots.txt 生成器会生成什么
robots.txt 文件会告知支持的网页爬虫，网站的哪些区域可以抓取、哪些不可以。它通常放在网站根目录，让爬虫在请求其他 URL 之前先了解这些规则。
指定爬虫
定义后续规则适用于哪一个爬虫或哪一组爬虫。
允许访问路径
当规则适用于所选爬虫时，允许抓取指定路径。
阻止抓取
请求兼容的爬虫不要抓取指定路径或目录。
引用你的网站地图
向爬虫提供 XML 网站地图的绝对 URL。
使用方法
如何使用 Robots.txt 生成器
配置爬虫规则，检查生成的文本，再把最终文件放到网站根目录。
选择 user-agent
使用 * 表示通用规则组，或填写你想专门针对的爬虫标识。
设置允许和禁止的路径
添加允许爬虫抓取的路径，或要求爬虫不要抓取的路径。
添加网站地图
可选择填入 XML 网站地图的完整 URL。
发布 robots.txt
复制生成的内容，并以 robots.txt 为文件名保存到网站根目录。
重要的 SEO 区分
阻止抓取并不等于阻止收录
robots.txt 规则主要控制抓取，不能视为让 URL 不出现在搜索结果中的可靠方法。如果需要控制收录，请检查相应的收录指令，并确保搜索引擎在需要读取这些指令时能够访问该页面。
配置建议
Robots.txt 最佳实践
robots.txt 的小失误就可能限制爬虫访问你原本希望被抓取的页面或资源。发布文件前请逐条检查规则。
修改后请检查线上 robots.txt 文件，确认重要的公开页面和资源仍可被你希望支持的爬虫访问。
使用精确路径
除非确定整个路径都不应被抓取，否则避免使用大范围禁止规则。
检查语法
上传文件前，检查 user-agent 分组和路径规则。
包含网站地图
在合适的情况下加入 XML 网站地图 URL，方便爬虫发现。
改动后测试
更新 robots.txt 后，确认重要的公开页面仍然可以被抓取。
避免常见错误
Robots.txt 常见问题
屏蔽整个网站
范围过大的禁止规则可能让爬虫无法访问远超预期的页面。
屏蔽重要资源
限制 CSS、JavaScript 等资源会让爬虫更难正确渲染页面。
用 robots.txt 做安全防护
只要有人知道 URL，被禁止的路径依然可以公开访问，敏感数据需要真正的访问控制。
继续你的技术 SEO 流程
掌控抓取、提升发现效率并审查网站
把这些工具配合使用：管理爬虫访问权限，提供结构化的重要 URL 列表，然后开展更全面的 SEO 审查。
Robots.txt 生成器
在结构正确的 robots.txt 文件中设置爬虫访问规则并引用网站地图。
XML 网站地图生成器
创建 XML 网站地图，列出重要 URL，帮助搜索引擎发现网站结构。
SEO 分析器
配置好抓取和发现后，开展更全面的 SEO 审查，检查技术与内容信号。