spot_img

AI能見度報告說「提升10%」準嗎?問幾題、問幾次才算數

快訊摘要

  • 【現象】AI 的回答每次都可能不同,能見度報告上的漲跌,有一部分只是運氣
  • 【數字】監測業者研究指出,同一題要問約 100 次,誤差才縮到正負 10 個百分點
  • 【做法】看報告先問題數、重複次數、題組是否固定,並要求附上誤差範圍
AI能見度報告上的變動,可能只是抽樣誤差
AI能見度報告上的變動,可能只是抽樣誤差。(圖/報新聞製圖)

報新聞/數位聲譽

「這個月 AI 能見度提升 10%。」看到報告上的數字往上走,很難不高興。但 AI 的回答本來就會變。OpenAI 的開發者文件說明,模型輸出預設不是固定的,每次請求的結果可能不同;Google 搜尋中心的AI 功能說明也寫到,AI 模式與 AI 摘要可能使用不同的模型與技術,顯示的回應和連結會有差異。同一個問題問兩次,品牌一次有出現、一次沒出現,是常見的事。所以報告上的變動,可能是真的進步,也可能只是剛好。本篇是「聲譽服務買方指南」系列,用白話說明抽樣誤差,以及要問幾題、問幾次,數字才有參考價值。

AI 能見度怎麼算?像拋一枚不公平的硬幣

AI 能見度通常是拿一組問題去問 AI,再統計品牌出現的比例。例如問 100 次、品牌出現 40 次,能見度就是 40%。

AI 能見度監測業者 Peec AI 在 2026 年 9 月 29 日發表的研究〈The key to prompt tracking〉,把每一題比喻成一枚「不公平的硬幣」:每問一次就像拋一次,正面是品牌有被提到,反面是沒被提到。每一題正面朝上的機率不一樣,要拋很多次,才看得出這枚硬幣的真實機率。

拋硬幣可以幫助理解。一枚正常的硬幣拋 10 次,出現 5 次正面,看起來是 50%。但依二項分布計算,在 95% 信心水準下,這枚硬幣的真實機率可能落在 19% 到 81% 之間(報新聞試算)。拋 100 次、出現 50 次正面,範圍縮小到 40% 到 60%。次數越多,範圍越窄,這個範圍就是「誤差」。

Peec AI 的研究也提供簡單的估算公式:誤差約等於 1.96 ×√(能見度 ×(1-能見度)÷ 次數)。照這個公式,能見度在 50% 左右的題目,要問約 100 次,誤差才會縮到正負 10 個百分點;要縮到正負 5 個百分點,需要將近 400 次。想讓誤差減半,次數要變成 4 倍。

問幾次才準:重複次數和誤差對照

同一題重複問幾次,誤差範圍大約多大
同一題重複問幾次,誤差範圍大約多大。(圖/報新聞製圖,資料來源AI能見度監測業者Peec AI公開公式、報新聞試算)

上表是用同一個公式試算的結果。如果報告上某一題只問了 10 次,測到 50%,真實的能見度可能低到 2 成、也可能高到 8 成,這時說「提升 10%」沒有太多意義。

研究也指出,題目類型會影響誤差。直接寫出品牌名的「品牌題」,例如「某品牌的電動車適合家庭嗎?」,AI 幾乎每次都會提到該品牌,結果穩定;沒寫品牌名的「非品牌題」,例如「四口之家適合哪款電動車?」,結果就容易搖擺。依 Peec AI 資料庫,約 40% 的非品牌題能見度落在 10% 到 90% 之間,品牌題只有約 10%。搖擺的題目,需要問更多次才看得準。

非品牌題是最常被拿來宣傳「AI 會主動推薦你」的題型,剛好也是最容易被運氣影響的題目。挑選題組時,品牌題和非品牌題應該分開計算,不要混成一個數字。

「提升10%」是真的嗎?用一個例子試算

假設品牌能見度從 40% 變成 50%,差了 10 個百分點。報新聞用二項分布的統計檢定試算,結果取決於前後各問了幾次:

  • 前後各 20 次(例如 20 題各問 1 次):40% 的真實範圍約 19% 到 64%,50% 約 27% 到 73%,兩段範圍大部分重疊,不能排除只是運氣。
  • 前後各 100 次:範圍縮小了,但在 95% 信心水準下,仍不能排除是運氣。
  • 前後各 400 次:這時 10 個百分點的差距,才可以說不太可能只是運氣。

同樣是「提升 10 個百分點」,問 20 次和問 400 次,可信度差很多。報告如果沒寫次數,委託方就無法判斷。另外,「提升 10%」也可能是相對提升,例如從 40% 變成 44%。

先加題數,還是先加次數?

Peec AI 的研究比較了兩種安排,每月同樣花 1,500 次查詢、只看一個 AI 工具,題組中 20% 是品牌題、80% 是非品牌題:

  • 50 題、每天各問 1 次:單日能見度的誤差約正負 10.5 個百分點,整個月平均約正負 6.1 個百分點。
  • 10 題、每天各問 5 次:單日誤差約正負 15.8 個百分點,整個月約正負 13.2 個百分點,是前一種的 2 倍多。

原因是題組本身也是抽樣。消費者每天問 AI 的問題很多,報告追蹤的只是其中一小部分,挑哪些題目,就會影響平均數字。研究的結論是,想知道品牌整體能見度,先增加題數,比重複問同一題有效。

不過研究也指出,如果是比較「同一組題目」前後有沒有變化,看的是總查詢次數。所以題組要固定:比較兩段期間時,只能比兩段期間都有追蹤的題目,中途換題、加題,前後數字就不能直接比。

多大的變動才算真的?

以每天 50 次查詢的安排為例,Peec AI 試算:單日變動小於 12.4 個百分點,可能只是運氣;看一週(350 次)時,超過 4.7 個百分點的變動,才算真的變化;看一個月(1,500 次),門檻降到 2.3 個百分點。

研究開頭舉了一個例子:能見度昨天 46%、今天 41%、明天又回到 45%,什麼都沒改,數字卻上下跳。依其試算,這樣的跳動在單日資料中出現的機率約 11%,放到一週約 0.56%,放到一個月約 140 萬分之一。也就是說,單日的漲跌常常是雜訊,看趨勢要拉長時間。

自己動手問 AI 時也一樣。問一次看到品牌沒出現,不代表 AI 從來不提;問一次有出現,也不代表一定會推薦。自己查 AI 的方法,可參考〈ChatGPT怎麼描述你的品牌?自己動手查AI的方法〉。

這份研究的限制

這份研究由 Peec AI 的研究助理撰寫,資料來自該公司資料庫,約 1.2 億則 AI 對話,期間是 2026 年 2 月到 8 月,涵蓋 ChatGPT、Google AI 模式、AI 摘要、Gemini、Perplexity、Copilot、Grok、Claude 等 8 個 AI 工具。文中沒有說明題組內容與語言範圍,題組也未公開,台灣中文的情況不一定相同。

Peec AI 本身販售 AI 能見度監測服務,「題數越多越準」的結論,也有利於業者推銷追蹤更多題目的方案。本篇只採用其公開的統計方法與數字當作國外對照;誤差公式本身是一般統計方法,可以自行驗算。

看報告前的檢查清單

看AI能見度報告的檢查清單
看AI能見度報告的檢查清單。(圖/報新聞製圖,資料來源Peec AI研究、OpenAI開發者文件、Google搜尋中心)

收到 AI 能見度報告時,可以逐項確認:

  • 題數:總共測了幾題?品牌題、非品牌題各幾題,是否分開計算?
  • 每題重複次數:每題每天問幾次?整段期間總共問了幾次?
  • 題組是否固定:前後比較用的是不是同一組題目?中途有沒有換題?
  • 有沒有誤差範圍:報告上的百分比,有沒有附上正負幾個百分點?
  • 比較期是否等長:基準期和比較期長度、查詢次數是否相同?
  • 單日波動不當趨勢:一天的漲跌,不要拿來證明成效,至少看週或月的平均。

測試的 AI 工具、地區、語言、登入狀態等條件,也會影響結果。委託聲譽服務的一般注意事項,可參考〈找聲譽管理公司前先問這8個問題〉;報新聞 MEGA AI 實測時公開的日期、工具與題目,可參考〈10個台灣品牌在AI答案裡長怎樣?〉。

常見問答

Q:為什麼同一個問題問 AI,答案每次不一樣?

A:OpenAI 開發者文件說明,模型輸出預設不是固定的,每次請求的結果可能不同;Google 也說明,AI 模式與 AI 摘要可能使用不同模型與技術,顯示的回應和連結會有差異。

Q:同一題要問幾次,能見度才算準?

A:依 Peec AI 研究使用的公式,能見度在 50% 左右的題目,問約 100 次,誤差約正負 10 個百分點;將近 400 次,才約正負 5 個百分點。

Q:預算有限,該多測幾題還是每題多問幾次?

A:Peec AI 的試算指出,同樣每月 1,500 次查詢,50 題各問 1 次的月誤差約正負 6.1 個百分點,10 題各問 5 次約正負 13.2 個百分點。想知道整體能見度,先增加題數。

Q:報告上的能見度一天掉了 5 個百分點,要緊張嗎?

A:不一定。依 Peec AI 試算,每天 50 次查詢時,單日變動小於 12.4 個百分點都可能只是運氣。先看週或月的平均,並確認題組沒有更換。

資訊出處

  • AI 能見度監測業者 Peec AI,The key to prompt tracking(2026-09-29)
  • OpenAI 開發者文件,Advanced usage:Reproducible outputs
  • Google 搜尋中心,AI 功能與你的網站
  • 報新聞依二項分布精確信賴區間與 Fisher 精確檢定試算(2026-11-18)

圖片來源:報新聞製圖

關於 MEGA AI:本文由報新聞公關部〈MEGA AI 數位聲譽顧問〉整理。MEGA AI 為報新聞自家服務,本文未推薦特定業者。報新聞透過 MEGA AI 提供聲譽管理服務,與本文討論的服務類型相關,特此揭露。

本文由《報新聞 MEGA NEWS》依業者公開研究、平台官方說明與一般統計方法整理,文中能見度變化例子為說明用的假設數字;Peec AI 研究為業者自行發表,題組未公開,數字僅供國外對照,不代表台灣情況。