實例演示
爬蟲規則允許抓取，頁面卻返回 403
一個受控示例，說明爬蟲規則和網頁訪問為什麼要分開檢查，並附一套可以重複的前後對比測試。
作者 Starry Research Labs · 發布並審閱於
測試設置
這是 2026 年 10 月 17 日在我們的檢查器測試中運行的一個受控示例。它用的是模擬的伺服器回應和專門留作示例的域名。這個示例既非客戶案例，也沒有測量 Google 爬蟲（Googlebot）的真實請求。
示例裡的爬蟲規則檔案只有兩行。User-agent 一行填 *，表示適用於所有爬蟲。Disallow 一行填 /private，表示禁止抓取這個路徑。測試的路徑是 /，規則判斷結果是允許。另做一次頁面回應測試時，同一個公開網址返回 403 狀態碼，表示拒絕訪問。網站檢查器給出部分訪問診斷，不會從這個被拒絕的頁面憑空編出標題、規範網址或通過的結果。
為什麼兩個結果都可能正確
爬蟲規則檔案發布的是抓取說明。防火牆、登入要求或者頁面所在的伺服器，仍然可以拒絕一次網頁請求。規則顯示允許，只能說明檔案裡怎麼寫，說明不了這個頁面能被讀取。
我們的檢查器以 StarryResearchLabs-Checker 的名字表明身份。它的請求沒有經過 Google、OpenAI 或其他爬蟲營運方的身份驗證。所以一次拒絕能說明我們的檢查器能否訪問，不能確定經過驗證的爬蟲會受到怎樣的對待。
怎樣排查你自己的網站
先對具體的網址路徑運行爬蟲規則檢查器，再對首頁運行網站檢查。儲存返回的狀態碼、測試的網址和檢查時間。如果頁面被拒絕，先查相關的託管日誌和防火牆日誌，再決定要不要改規則。
讓公開頁面返回預期的網頁內容，然後重新檢查一次。先確認回應已經變了，再去解讀頁面資訊。即使檢查成功，也不能證明頁面已經被收錄或者被引用。
資料來源
本指南參考的外部資料經過審閱，外部資料多為英文原文。示例和工具流程由我們自己完成。上線檢查記錄的是我們對自己網站的公開觀察，不涉及排名或引用方面的結論。