spot_img

AI爬蟲要不要擋?GPTBot、Google-Extended設定影響一次看

快訊摘要

  • 【分三類】AI 公司的爬蟲大致分成訓練用、搜尋用、使用者觸發三類,各有不同名稱,可以在 robots.txt 分開設定
  • 【擋了會怎樣】擋訓練用爬蟲不影響搜尋;擋搜尋用爬蟲,官網可能不會出現在該家 AI 的搜尋答案
  • 【先檢查】robots.txt 是自願遵守,CDN 或防火牆也可能誤擋,Google 提醒兩邊都要允許爬取
品牌官網對AI爬蟲的robots.txt設定方式
品牌官網對AI爬蟲的robots.txt設定方式。(圖/報新聞製圖)

報新聞/數位聲譽

品牌官網要不要擋 AI 爬蟲,很多公司是看到「AI 拿網站內容去訓練」的新聞後才開始想。實際上,各家 AI 公司的爬蟲不只一種:有的抓資料訓練模型,有的替 AI 搜尋建立索引,有的是使用者在對話裡叫 AI 去讀某個網頁。OpenAI 的爬蟲說明寫明,封鎖 OAI-SearchBot 的網站不會顯示在 ChatGPT 的搜尋答案中;Google 搜尋中心則說明,Google-Extended 不影響網站是否收錄在 Google 搜尋,也不是排名訊號。本篇是「平台檢舉申訴指南」系列,逐家整理官方文件,說明每個爬蟲名稱的用途、擋了的影響,以及 robots.txt 怎麼寫。

先分清楚:三種 AI 爬蟲

  • 訓練用:抓取網頁內容,可能用於訓練生成式 AI 模型。例如 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot。
  • 搜尋用:替 AI 的搜尋功能建立索引,讓網站能出現在答案裡並附上連結。例如 OAI-SearchBot、Claude-SearchBot、PerplexityBot。
  • 使用者觸發:使用者在對話中提問或貼上網址,AI 才去讀取該網頁,不是自動巡網。例如 ChatGPT-User、Claude-User、Perplexity-User。

三類的影響不同。擋訓練用爬蟲,處理的是「內容會不會被拿去訓練」;擋搜尋用和使用者觸發的爬蟲,處理的是「AI 回答時讀不讀得到你的官網」。品牌想讓 AI 講對自己,後兩類的設定比較直接相關。

各家爬蟲的用途與封鎖影響

主要AI公司爬蟲的用途與封鎖影響
主要AI公司爬蟲的用途與封鎖影響。(圖/報新聞製圖,資料來源OpenAI、Google、Anthropic、Perplexity、Apple官方文件)

一、OpenAI。依 OpenAI 官方說明,GPTBot 用來抓取可能用於訓練生成式 AI 基礎模型的內容,禁止 GPTBot 表示網站內容不應用於訓練。OAI-SearchBot 用於讓網站出現在 ChatGPT 的搜尋功能;被排除的網站不會顯示在 ChatGPT 搜尋答案中,但仍可能以導覽連結出現。ChatGPT-User 不做自動巡網,是使用者在 ChatGPT 裡的操作觸發,OpenAI 表示這類動作由使用者發起,robots.txt 規則可能不適用,它也不用來決定內容能否出現在搜尋中。OpenAI 另說明,搜尋結果在 robots.txt 更新後約需 24 小時調整。

二、Google。Googlebot 是 Google 搜尋使用的爬蟲。Google 說明,擋 Googlebot 會影響 Google 搜尋(含 Discover 與所有搜尋功能),以及圖片、影片、新聞等產品;但擋了不代表網址不會出現在搜尋結果。Google-Extended 不是另一隻爬蟲,沒有獨立的 HTTP 使用者代理字串,只是 robots.txt 裡的控制名稱,用來決定 Google 抓到的內容能不能用於訓練未來的 Gemini 模型,以及用於 Vertex AI 的 Gemini API 與基礎資料(grounding)。Google 寫明,Google-Extended 不影響網站是否收錄在 Google 搜尋,也不是搜尋排名訊號。

那 AI 摘要(AI Overviews)和 AI 模式呢?Google 的AI 功能說明頁寫到,網頁要能被收錄、且符合在搜尋中顯示摘要的條件,才可能出現在這兩個功能,沒有額外的技術要求。說明頁把 Google-Extended 歸在「Google 其他系統」的訓練與基礎資料控制;搜尋裡的 AI 功能,仍是由 Googlebot 的 robots.txt 規則,以及 nosnippet、data-nosnippet、max-snippet、noindex 等設定管理。

三、Anthropic。依 Anthropic 說明中心,ClaudeBot 收集的內容可能用於模型訓練,禁止它表示網站日後的內容應排除在訓練資料外。Claude-SearchBot 用來提升搜尋結果品質,禁止後系統不會為搜尋建立你網站的索引;Claude-User 在使用者向 Claude 提問時讀取網站,禁止後系統無法在回應使用者時取用你的內容。Anthropic 提醒,停用後兩者可能降低網站在使用者搜尋中的能見度。Anthropic 表示三者都遵守 robots.txt,也支援非標準的 Crawl-delay 設定。

四、Perplexity。依 Perplexity 文件,PerplexityBot 用來在 Perplexity 搜尋結果中呈現並連結網站,不用於抓取 AI 基礎模型的內容,官方建議在 robots.txt 允許它。Perplexity-User 支援使用者在 Perplexity 內的操作,因為是使用者要求讀取,通常不遵守 robots.txt 規則。Perplexity 表示,設定變更最多可能要 24 小時才生效。

五、Apple 與 Meta。Apple 說明,Applebot 抓取的資料用於搜尋等功能,也可能用於訓練 Apple 的基礎模型;Applebot-Extended 不抓網頁,只用來決定 Applebot 抓到的資料怎麼用。禁止 Applebot-Extended 的網頁仍可出現在搜尋結果,也不列入搜尋排名考量。Meta 的開發者文件列出 Meta-ExternalAgent(用於訓練基礎 AI 模型等用途)、meta-webindexer(提升 Meta AI 搜尋結果品質,允許它有助 Meta AI 在回答中引用並連結你的內容),以及 Meta-ExternalFetcher(依使用者要求讀取單一連結,可能略過 robots.txt)。

robots.txt 怎麼寫

robots.txt 放在網站根目錄,例如 https://你的網域/robots.txt。以下只示範語法,名稱依各家官方文件,實際設定請先和網站管理者確認。

例一:不讓內容被拿去訓練,但保留搜尋與使用者讀取

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

沒寫到的 OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot 等,預設仍可抓取。

例二:只開放部分頁面給訓練用爬蟲

User-agent: GPTBot
Allow: /about/
Allow: /faq/
Disallow: /

Google 文件的 Google-Extended 範例也是同樣寫法:先用 Allow 開放特定路徑,再用 Disallow 擋其他路徑。

例三:放慢 ClaudeBot 抓取速度

User-agent: ClaudeBot
Crawl-delay: 1

Crawl-delay 不是通用標準,這個範例出自 Anthropic 說明,其他爬蟲不一定支援。

設定前要知道的限制

品牌官網設定AI爬蟲前的檢查步驟
品牌官網設定AI爬蟲前的檢查步驟。(圖/報新聞製圖,資料來源Google搜尋中心、Anthropic、OpenAI、Perplexity官方文件)
  • robots.txt 是自願遵守:Google 說明,robots.txt 主要用來管理爬蟲流量,無法強制爬蟲的行為,守規矩的爬蟲會遵守,其他爬蟲不一定;它也不是讓網頁不出現在 Google 的方法。
  • 使用者觸發的讀取不一定受限:OpenAI、Perplexity、Meta 都寫明,使用者發起的讀取可能不適用或略過 robots.txt。
  • CDN 與防火牆可能誤擋:Google 的 AI 功能說明頁把「確認 robots.txt 以及 CDN、主機服務都允許爬取」列為建議做法。robots.txt 允許了,但 CDN 或防火牆的機器人防護規則若擋下爬蟲,爬蟲實際上仍進不來,要到 CDN 後台查看規則與阻擋紀錄。
  • 不要只靠封鎖 IP:Anthropic 表示,封鎖 IP 可能讓爬蟲讀不到 robots.txt,無法確實表達退出的意思,退出要透過修改 robots.txt。
  • 改了要等:OpenAI 與 Perplexity 都說明,robots.txt 更新後約需 24 小時反映。

品牌官網的建議做法

想讓 AI 描述品牌時有官方資料可讀,可以考慮至少讓搜尋用爬蟲抓到官網的「關於我們」、產品或服務介紹、常見問答等頁面;不想讓內容被拿去訓練,可以另外擋訓練用的名稱,兩件事分開設定。

  • 先盤點現況:打開自家的 robots.txt,看有沒有一行 User-agent: * 加 Disallow: / 把所有爬蟲都擋掉,或是外包廠商加了不清楚用途的規則。
  • 關鍵資訊寫成文字:公司名稱、地址、成立時間、產品規格等,用網頁文字寫清楚,不要只放在圖片或 PDF 裡。
  • 設定後實測:等一兩天,用各家 AI 工具問自己的品牌,看答案引用的是不是官網。查法可參考〈ChatGPT怎麼描述你的品牌?自己動手查AI的方法〉。

開放爬取不代表 AI 一定會引用官網,也不保證描述正確。AI 答案還會參考媒體報導、第三方網站與評論。AI 講錯品牌資訊時的修正方法,可參考〈AI講錯你的品牌資訊?從官網到知識面板的修正方法〉;台灣品牌在 AI 答案裡的實際樣貌,可參考報新聞 MEGA AI 的實測〈10個台灣品牌在AI答案裡長怎樣?〉。

常見問答

Q:擋了 GPTBot,官網還會出現在 ChatGPT 搜尋嗎?

A:依 OpenAI 說明,GPTBot 和 OAI-SearchBot 分開設定。擋 GPTBot 表示內容不應用於訓練;決定會不會出現在 ChatGPT 搜尋答案的是 OAI-SearchBot。

Q:擋 Google-Extended 會影響 Google 搜尋或 AI 摘要嗎?

A:Google 寫明,Google-Extended 不影響網站收錄在 Google 搜尋,也不是排名訊號。搜尋裡的 AI 功能由 Googlebot 的 robots.txt 與 nosnippet 等設定管理;Google-Extended 管的是 Gemini 模型訓練與 Vertex AI 等其他系統的基礎資料。

Q:robots.txt 設了,AI 就一定不會讀我的網站嗎?

A:不一定。Google 說明 robots.txt 無法強制爬蟲行為;OpenAI、Perplexity、Meta 也表示,使用者發起的讀取可能不適用或略過 robots.txt。

Q:robots.txt 明明允許,AI 爬蟲還是進不來,可能是什麼原因?

A:可以檢查 CDN、防火牆或主機的機器人防護有沒有擋下這些爬蟲。Google 建議確認 robots.txt 與 CDN、主機服務都允許爬取。

資訊出處

  • OpenAI,Overview of OpenAI Crawlers(2026-11-16 查閱)
  • Google 搜尋中心,Google 常見爬蟲(Google-Extended)、Googlebot、robots.txt 簡介、AI features and your website
  • Anthropic 說明中心,ClaudeBot 等爬蟲與網站擁有者封鎖方式說明
  • Perplexity,Perplexity Crawlers
  • Apple,About Applebot
  • Meta for Developers,Meta Web Crawlers

圖片來源:報新聞製圖

關於 MEGA AI:本文由報新聞公關部〈MEGA AI 數位聲譽顧問〉整理。MEGA AI 為報新聞自家服務,本文未推薦特定業者。

本文由《報新聞 MEGA NEWS》依各公司官方文件整理,僅供一般參考;爬蟲名稱、用途與生效時間可能調整,以 OpenAI、Google、Anthropic、Perplexity、Apple、Meta 官方最新說明為準。修改 robots.txt 或 CDN 設定前,請與網站管理者確認。