robots.txt 怎麼寫?封鎖規則、常見錯誤與 AI 爬蟲設定

robots.txt 怎麼寫?封鎖規則、常見錯誤與 AI 爬蟲設定|文開花 Wenbloom

robots.txt 是放在網站根目錄的純文字檔,用來告訴爬蟲哪些網址可以或不可以抓取。你可以用它管理搜尋引擎與 AI 爬蟲的存取範圍,但它不是密碼,也不能保證頁面不會出現在搜尋結果。開始編輯前,先確認你要控制的是「爬取」還是「收錄」。

先分清楚爬取與收錄

爬取是爬蟲向網站要求頁面內容;收錄則是搜尋引擎把頁面資訊整理進索引,作為日後顯示搜尋結果的依據。robots.txt 管的是前者。Google Search Central 說明,禁止爬取的網址仍可能因外部連結而被找到,搜尋結果可能只顯示網址而沒有摘要。

如果頁面不應公開,請用登入權限或伺服器端存取控制。若頁面可公開,但你希望搜尋引擎不要收錄,應讓爬蟲能讀取頁面,再依搜尋引擎支援的方式使用 noindex。若先用 robots.txt 擋住,爬蟲就讀不到頁面中的 noindex 指示。

網站需要穩定的新文章?

想持續更新網站,又沒有時間每篇從頭準備?文開花替你安排選題、撰稿與檢查。先看示範內容,再判斷適不適合你的生意。

看看文開花怎麼做 →

這個差異會影響你怎麼下規則:想減少爬蟲讀取篩選頁或測試目錄,可以評估 robots.txt;想保護客戶資料或未公開文件,就不能只靠它。

檔案要放在正確位置

robots.txt 要放在網站主機的根目錄,常見網址形式是 https://你的網域/robots.txt。它的規則只適用於相同的協定、主機名稱與連接埠;如果網站同時有 www 與非 www 網址,或另有子網域,每個主機都要確認自己提供的檔案。

用瀏覽器開啟該網址,應看到純文字內容,而不是網站首頁、登入畫面或錯誤頁。若網站由內容管理系統託管,robots.txt 可能由系統產生,或要在管理介面設定;先確認目前檔案由哪個環節維護,避免手動上傳後又被系統覆蓋。

在修改前,把現有內容另存一份。檔案是一組按爬蟲分組的規則,常用欄位包括 User-agent、Disallow、Allow。空白行方便閱讀,井字號可寫註解;註解不會成為爬取規則。

如果同一網站有測試站、正式站和不同子網域,逐一檢查它們的 robots.txt。正式站允許抓取,不代表測試站的規則也相同;反過來,測試站封鎖整站的設定若被複製到正式站,搜尋引擎可能就無法讀取正式頁面。每次換主機或改網址結構,也要再看新主機提供的檔案。

檔案可以用文字編輯器建立,存成 UTF-8 純文字並命名為 robots.txt。不要在檔案前後加上網頁標籤,也不要把規則貼進文章內容期待爬蟲會讀取。若你使用主機面板或網站外掛管理它,最後仍要從公開網址確認實際輸出的版本。

讀懂三個基本欄位

  • User-agent:指定後面的規則適用哪一個爬蟲。* 表示通用群組。
  • Disallow:要求指定爬蟲不要抓取符合路徑的網址。
  • Allow:在較大範圍被禁止時,開放符合路徑的例外。

例如,下列寫法讓通用爬蟲避開 /private/,但保留其中公開說明頁的抓取:

User-agent: *
Disallow: /private/
Allow: /private/about.html

路徑從網域根目錄開始,大小寫要和實際網址一致。像 Disallow: /tmp 會涵蓋以這段路徑開頭的網址,包含 /tmp-file;若只打算限制目錄,結尾斜線可以讓意圖更清楚。Google 對衝突規則會採用較具體的路徑;同等具體時,採較寬鬆的規則。其他爬蟲的解讀可能不同,所以不要把複雜例外堆成難以核對的規則。

在 Google 的 robots.txt 規格中,星號(*)可代表任意字串,美元符號($)可標示網址結尾。例如 Disallow: /*?sort= 可用來匹配包含指定查詢參數的路徑;但查詢參數的排列可能不同,不能只憑一個樣本就假設所有變體都被涵蓋。先查看網站實際產生的網址,再挑選一組有代表性的路徑測試。

每個 User-agent 群組從一行或多行 User-agent 開始,後續規則屬於該組,直到下一組出現。若要讓兩種爬蟲共用相同規則,可以在同一組重複列出 User-agent;若其中一種需要例外,分成不同群組會比較容易檢查。沒有符合專屬群組的爬蟲,才會參考通用的星號群組。

依目標整理規則

寫規則前,先列出要保留與要限制的網址路徑。不要從「整站封鎖」開始再慢慢補例外;少一條 Allow,就可能連需要抓取的頁面或版面資源一起擋住。Google 需要讀取頁面所需的圖片、樣式或腳本時,封鎖這些資源可能妨礙它理解頁面。

例如你要限制內部搜尋結果頁,可以先確認這些網址的共同路徑,再寫成一條 Disallow,並用實際網址逐一測試是否誤傷商品分類、文章或重要資源。路徑規則不是頁面權限設定;它只是給遵守規則的爬蟲看的存取提示。

篩選和排序網址是常見的盤點情境:同一個列表頁可能因篩選條件產生不同網址。先確認哪些版本仍有獨立內容價值、哪些只是重複組合,再決定是否限制爬取。若整段路徑都被擋,搜尋引擎也讀不到該區域其他有用頁面;可先縮小到明確的參數或路徑,再查看抓取報告。

購物車、登入後頁面或內部搜尋頁可能不需要搜尋引擎反覆抓取,但每個網站的網址設計不同。不要直接把 /account/、/search/ 之類的字串當成通用答案;先用實際頁面網址確認路徑涵蓋範圍。robots.txt 也不會替頁面解除密碼或使用者權限,私有頁面仍須由網站本身限制存取。

若只想告訴搜尋引擎網站地圖位置,可在檔案中加入完整 sitemap 網址。Sitemap 是提供可抓取網址線索,不能取代頁面連結,也不代表其中網址一定會被爬取或收錄。需要提交網站地圖時,可參考本站的 Sitemap 新手教學;檢查爬蟲活動則可延伸閱讀 網站爬蟲紀錄怎麼看。

網站需要穩定的新文章?

想持續更新網站,又沒有時間每篇從頭準備?文開花替你安排選題、撰稿與檢查。先看示範內容,再判斷適不適合你的生意。

看看文開花怎麼做 →

AI 爬蟲規則要按用途分開

AI 爬蟲的 user-agent 是各家辨識爬蟲用途的文字代碼。OpenAI 官方文件列出 GPTBot 作為可能用於模型訓練資料蒐集的爬蟲,並以 OAI-SearchBot 管理 ChatGPT 搜尋功能的爬取;Google 文件則說明 Google-Extended 是 robots.txt 控制用的產品代碼,不是另一種獨立 HTTP user-agent。

這些名稱代表的用途不同。若你想調整 AI 搜尋可見度或訓練資料使用,先讀該服務的官方爬蟲說明,再決定要不要限制特定代碼。不要只看到「AI bot」就一律封鎖,否則可能把搜尋服務和其他用途混在一起。

依 RFC 9309 的通用格式,特定爬蟲可以有自己的群組,例如:

User-agent: GPTBot
Disallow: /private/

User-agent: OAI-SearchBot
Allow: /

實際可用名稱與每個代碼的作用,應直接核對爬蟲營運者的最新說明。OpenAI 官方也說明,ChatGPT-User 用於使用者要求 ChatGPT 開啟網頁等行為,並非一般自動爬取;不能把它和搜尋爬蟲視為同一個控制項。

撰寫 AI 爬蟲規則時,先回答你希望控制的用途:搜尋結果呈現、模型訓練資料,或使用者觸發的頁面讀取。接著逐家核對官方名稱和作用,再決定是否建立獨立群組。某個代碼若不在官方文件中,就不要猜測拼法或把近似名稱加進去,因為名稱不匹配時規則不會套用到預期的爬蟲。

不同服務可能更新爬蟲名稱或用途說明。已經寫入檔案的規則不會替你判斷未來新增的代碼;把爬蟲來源文件與規則放在同一份維護紀錄中,調整時能快速確認原先設定的理由。若網站要區分搜尋爬取和訓練用途,先讀清楚服務方提供的控制範圍,不要把一個控制項推論成另一個用途也已禁止。

上線前逐項測試

  1. 確認檔案位於正確主機的根目錄,並能以公開網址讀取。
  2. 檢查每個 User-agent 群組的規則是否放在該群組下,避免漏掉空行後的歸屬判斷。
  3. 列出要封鎖與要保留的代表網址,逐條檢查 Allow、Disallow 的實際匹配結果。
  4. 確認重要頁面與必要資源沒有被意外封鎖,再把檔案部署到正式站。
  5. 部署後重新開啟 robots.txt,確認線上內容和預期一致,並查看搜尋引擎提供的網址檢查或 robots 測試工具。

修改後不要只看編輯器裡的版本。快取、外掛或主機設定可能讓訪客讀到不同內容。若網站突然無法被搜尋引擎抓取,先確認 robots.txt 是否能正常回應、是否有整站封鎖規則,再查看相關網址的檢查結果。本站另一篇 Google 搜不到網站的排查方式,可協助你分辨抓取問題與收錄問題。

測試時可把網址分成三組:應該允許的首頁與重要內容、應該限制的目錄或參數、最容易被誤擋的例外頁。每組至少挑實際存在的代表網址,檢查規則匹配結果。若頁面包含重要 CSS、JavaScript 或圖片,也確認爬蟲能讀取它們;只看 HTML 網址通過,不代表頁面所需資源都可存取。

上線後觀察網址檢查結果與伺服器請求紀錄,能幫你確認爬蟲是否讀到新檔案,以及哪些路徑被規則擋下。若結果和預期不一致,先核對請求的主機名稱、檔案內容與路徑大小寫,再調整規則。一次只改一類規則並保留舊版,較容易找出錯誤來源。

容易造成誤判的寫法

  • 以為 Disallow 等於不收錄:它限制爬取,不等於移除已知網址。要控制索引或保護內容,需使用相符的方法。
  • 把私人路徑列出來:robots.txt 是公開檔案,禁止路徑本身也會被看見。敏感內容要用存取控制。
  • 把 Sitemap 寫成相對路徑:Sitemap 欄位應填可直接開啟的完整網址,並確認目標檔案存在。
  • 照抄別人的封鎖清單:不同網站的網址結構不同,照搬規則可能擋住自己要公開的內容。
  • 假設所有爬蟲都遵守:robots.txt 是爬蟲可遵循的規則,不是登入驗證或防火牆;要限制未授權存取,應在伺服器端處理。

小型網站可以先保持規則簡單,只限制已確認不需要抓取的路徑。每次改動都記下原因、預期影響與測試網址;日後要復原時,才知道哪條規則對應哪個需求。

常見問題

沒有 robots.txt 檔案,搜尋引擎就不會抓我的網站嗎?

不會。沒有規則檔時,搜尋引擎仍可能透過連結或網站地圖發現可公開的網址;robots.txt 是控制爬取的工具,不是網站被發現的必要條件。

改完 robots.txt 後,搜尋結果會立刻消失嗎?

不會立刻保證消失。robots.txt 不負責清除已存在的索引,更新後爬蟲也要重新讀取規則;若目標是移除結果,請使用搜尋引擎的移除流程並設定適合的索引控制方式。

robots.txt 可以禁止其他網站連結我的頁面嗎?

不可以。它針對爬蟲抓取網站內容提出規則,無法阻止其他網站建立連結,也不能替代登入限制或伺服器存取控制。

網站需要穩定的新文章?

想持續更新網站,又沒有時間每篇從頭準備?文開花替你安排選題、撰稿與檢查。先看示範內容,再判斷適不適合你的生意。

看看文開花怎麼做 →