跳到正文
Starry Research Labs

檢查搜尋訪問條件· 免費工具

Robots.txt 檢查器

用公開網址或貼上的 robots.txt 測試 Googlebot、Bingbot 及 AI 爬蟲規則,查看匹配指令和行號。

正在確認登入狀態…

工具怎樣工作

用檢查器讀取公開的 robots.txt,或分析貼上的規則,並匹配爬蟲組與網址路徑。規則允許訪問,不能證明爬蟲來訪、防火牆放行或頁面已被收錄。

方法複核日期2026-10-17· 版本 1.0,首次公開發布。

使用結果前請留意

沒有 robots.txt 會阻止 Google 嗎?

返回 404 時,Google 會視為沒有此文件,因此不受該文件的抓取限制。其他訪問和收錄控制仍可能生效。

允許 AI 爬蟲就一定會獲得引用嗎?

無法保證。訪問、收錄和被選為引用來源是不同環節。