实例演示
爬虫规则允许抓取，页面却返回 403
一个受控示例，说明爬虫规则和网页访问为什么要分开检查，并附一套可以重复的前后对比测试。
作者 Starry Research Labs · 发布并审阅于
测试设置
这是 2026 年 10 月 17 日在我们的检查器测试中运行的一个受控示例。它用的是模拟的服务器响应和专门留作示例的域名。这个示例既非客户案例，也没有测量 Google 爬虫（Googlebot）的真实请求。
示例里的爬虫规则文件只有两行。User-agent 一行填 *，表示适用于所有爬虫。Disallow 一行填 /private，表示禁止抓取这个路径。测试的路径是 /，规则判断结果是允许。另做一次页面响应测试时，同一个公开网址返回 403 状态码，表示拒绝访问。网站检查器给出部分访问诊断，不会从这个被拒绝的页面凭空编出标题、规范网址或通过的结果。
为什么两个结果都可能正确
爬虫规则文件发布的是抓取说明。防火墙、登录要求或者页面所在的服务器，仍然可以拒绝一次网页请求。规则显示允许，只能说明文件里怎么写，说明不了这个页面能被读取。
我们的检查器以 StarryResearchLabs-Checker 的名字表明身份。它的请求没有经过 Google、OpenAI 或其他爬虫运营方的身份验证。所以一次拒绝能说明我们的检查器能否访问，不能确定经过验证的爬虫会受到怎样的对待。
怎样排查你自己的网站
先对具体的网址路径运行爬虫规则检查器，再对首页运行网站检查。保存返回的状态码、测试的网址和检查时间。如果页面被拒绝，先查相关的托管日志和防火墙日志，再决定要不要改规则。
让公开页面返回预期的网页内容，然后重新检查一次。先确认响应已经变了，再去解读页面信息。即使检查成功，也不能证明页面已经被收录或者被引用。
资料来源
本指南参考的外部资料经过审阅，外部资料多为英文原文。示例和工具流程由我们自己完成。上线检查记录的是我们对自己网站的公开观察，不涉及排名或引用方面的结论。