搜尋訪問
檢查爬蟲規則檔案對 AI 爬蟲的設置
把爬蟲規則和網站回應、搜尋收錄、AI 引用分開檢查。瞭解網站缺少爬蟲規則檔案意味著什麼，以及怎樣測試一個具體路徑。
作者 Starry Research Labs · 發布並審閱於
檢查爬蟲規則檔案能告訴你什麼？
爬蟲規則檔案（robots.txt）是放在網站根目錄的一份公開說明，告訴各個爬蟲哪些路徑可以抓取。檢查它，能知道對某個爬蟲和某個網址路徑，哪些已發布的規則會生效。它能幫你找出一條範圍太寬的禁止抓取規則，或者一條更具體的例外。它看不出爬蟲有沒有來過你的網站。
我們的檢查器會顯示最終生效的那條指令和它所在的行號。你可以在發布前貼上規則草稿來測試，也可以在改動後讀取公開的檔案。把測試用的具體路徑和結果一起儲存。
爬蟲規則檔案返回 404，會擋住抓取嗎？
爬蟲規則檔案返回 404 狀態碼（表示檔案不存在）時，Google 會當作沒有這個檔案，不會因此限制任何抓取。頁面本身仍可能設了不讓收錄的限制、需要登入才能訪問，或者被網站託管服務的規則擋住。
伺服器出錯要另外診斷。如果檔案無法正常讀取，檢查器應當報告這次失敗的回應，不能憑空給出允許或禁止的結論。
AI 爬蟲的名字為什麼重要？
名字不同的爬蟲可能負責不同的工作，也可能適用不同的規則。要拿實際的爬蟲名稱去對照檔案測試。舉個例子，針對 GPTBot（OpenAI 的一個爬蟲）寫的規則，不能拿來衡量 ChatGPT 有沒有提到你的公司。
用我們的爬蟲對比功能查看每條規則的結果。如果需要證明爬蟲確實訪問過，再去查託管設置和經過驗證的請求日誌。把請求的身份標識寫成爬蟲的名字再發出去，並不能證明這個請求來自那個爬蟲。
改動之後要儲存什麼？
儲存規則檔案、測試的網址路徑、爬蟲名稱和時間。部署上線後，再跑一次公開檢查。如果某個頁面仍然沒有出現在搜尋結果裡，接下來去查它的伺服器回應、規範網址和收錄指令。
如果關心 AI 能不能發現你，做完這項技術檢查後，再收集真實的 AI 回答樣本。爬蟲訪問結果和實際看到的引用，分兩欄記錄。
資料來源
本指南參考的外部資料經過審閱，外部資料多為英文原文。示例和工具流程由我們自己完成。上線檢查記錄的是我們對自己網站的公開觀察，不涉及排名或引用方面的結論。