检查搜索访问条件· 免费工具
Robots.txt 检查器
用公开网址或粘贴的 robots.txt 测试 Googlebot、Bingbot 及 AI 爬虫规则，查看匹配指令和行号。
正在确认登录状态…
工具怎样工作
用检查器读取公开的 robots.txt，或分析粘贴的规则，并匹配爬虫组与网址路径。规则允许访问，不能证明爬虫来访、防火墙放行或页面已被收录。
方法复核日期2026-10-17· 版本 1.0，首次公开发布。
使用结果前请留意
没有 robots.txt 会阻止 Google 吗？
返回 404 时，Google 会视为没有此文件，因此不受该文件的抓取限制。其他访问和收录控制仍可能生效。
允许 AI 爬虫就一定会获得引用吗？
无法保证。访问、收录和被选为引用来源是不同环节。