搜索访问
检查爬虫规则文件对 AI 爬虫的设置
把爬虫规则和网站响应、搜索收录、AI 引用分开检查。了解网站缺少爬虫规则文件意味着什么，以及怎样测试一个具体路径。
作者 Starry Research Labs · 发布并审阅于
检查爬虫规则文件能告诉你什么？
爬虫规则文件（robots.txt）是放在网站根目录的一份公开说明，告诉各个爬虫哪些路径可以抓取。检查它，能知道对某个爬虫和某个网址路径，哪些已发布的规则会生效。它能帮你找出一条范围太宽的禁止抓取规则，或者一条更具体的例外。它看不出爬虫有没有来过你的网站。
我们的检查器会显示最终生效的那条指令和它所在的行号。你可以在发布前粘贴规则草稿来测试，也可以在改动后读取公开的文件。把测试用的具体路径和结果一起保存。
爬虫规则文件返回 404，会挡住抓取吗？
爬虫规则文件返回 404 状态码（表示文件不存在）时，Google 会当作没有这个文件，不会因此限制任何抓取。页面本身仍可能设了不让收录的限制、需要登录才能访问，或者被网站托管服务的规则挡住。
服务器出错要另外诊断。如果文件无法正常读取，检查器应当报告这次失败的响应，不能凭空给出允许或禁止的结论。
AI 爬虫的名字为什么重要？
名字不同的爬虫可能负责不同的工作，也可能适用不同的规则。要拿实际的爬虫名称去对照文件测试。举个例子，针对 GPTBot（OpenAI 的一个爬虫）写的规则，不能拿来衡量 ChatGPT 有没有提到你的公司。
用我们的爬虫对比功能查看每条规则的结果。如果需要证明爬虫确实访问过，再去查托管设置和经过验证的请求日志。把请求的身份标识写成爬虫的名字再发出去，并不能证明这个请求来自那个爬虫。
改动之后要保存什么？
保存规则文件、测试的网址路径、爬虫名称和时间。部署上线后，再跑一次公开检查。如果某个页面仍然没有出现在搜索结果里，接下来去查它的服务器响应、规范网址和收录指令。
如果关心 AI 能不能发现你，做完这项技术检查后，再收集真实的 AI 回答样本。爬虫访问结果和实际看到的引用，分两栏记录。
资料来源
本指南参考的外部资料经过审阅，外部资料多为英文原文。示例和工具流程由我们自己完成。上线检查记录的是我们对自己网站的公开观察，不涉及排名或引用方面的结论。