A/B 測試不是把兩個版本同時上線，再看哪個數字比較大；它是先提出一個可反駁的假設，只改一個主要變因，將受眾或流量分成可比較的組別，再用事先選好的指標判讀差異。廣告可用平台的實驗功能，網頁則要先固定轉換定義、分流方式與分析期間，最後才決定保留哪個版本。
A/B 測試到底在測什麼？
A 版是控制組，B 版是變體組。你可以測廣告標題、主視覺、落地頁首屏或表單欄位，但每一輪先鎖定一個主要變因。例如「把表單第一句從功能描述改成結果描述，會讓完成送出的比例提高」就是可檢驗的假設；「B 版看起來比較吸睛」則不是。
測試前要先寫下三件事：要改什麼、成功看哪個指標、什麼結果才採用。主要指標只能服務同一個商業問題。若目標是表單名單，完成送出應是主指標，點擊率只能拿來解釋前段行為，不能因為點擊率漂亮就跳過後段品質。Google Ads 官方指南也要求在測試開始前選好衡量指標。
網站需要穩定的新文章？
想持續更新網站，又沒有時間每篇從頭準備？文開花替你安排選題、撰稿與檢查。先看示範內容，再判斷適不適合你的生意。
看看文開花怎麼做 →Google Ads 官方把「Experiments」作為建立、管理與最佳化實驗的功能，並提醒測試時一次改一個變數、事先選定一或兩個衡量指標。這可作為廣告測試的直接做法；套用到網頁測試時，仍要依網站的分流與追蹤設計調整。Google Ads 官方實驗指南
開始前先把比較條件鎖住
先確認兩組面對的是同一個目標、相同的流量來源設定與相同的轉換事件。廣告測試若 A 組只投手機、B 組卻包含桌機，結果混進裝置差異；網頁測試若 A 組看舊版追蹤事件、B 組看新版事件，差異來自量測，不是頁面。
接著決定單位。網站可用使用者、工作階段或落地頁瀏覽作分母；廣告可看曝光、點擊或轉換。若分母定義不同，轉換率不能直接比較。
Google Analytics 將指標定義為資料的量化表達，Google Ads 也把轉換定義成對業務有價值的動作；兩邊的事件、歸因與統計口徑不必然相同。Google Analytics 指標說明、Google Ads 轉換說明
不要在測試途中換文案、改受眾、調出價或重做追蹤。若業務上必須改，請把改動記錄在測試表，並將改動前後視為不同階段；否則最後只知道數字變了，不知道是哪個改動造成變化。Google Ads 官方指南也提醒，測試中的基準活動變更會讓歸因變得困難。
如果流量來源、裝置比例或促銷條件正在改變，先記錄變動再決定是否開測。至少列出來源渠道、裝置占比、活動檔期與變更日期，才能判斷外部條件是否與版本差異同時出現。
樣本數怎麼想？不要背一個門檻
在網站或廣告的 A/B 測試中，樣本數不能只背一個固定門檻。它取決於基準轉換率、希望辨識的最小差異、可接受的誤判風險、流量分配，以及主要指標是比例、金額還是時間。NIST 的比例樣本數說明要求先指定基準比例、要偵測的差異、顯著水準與檢定力。
實務上先用歷史資料估計基準，再把「至少要有多大的改善才值得改版」寫成最小可接受差異。把這兩個條件交給樣本數計算工具或統計人員，得到測試規模與預估期間；不要看到一組暫時領先，就把它當成答案。
流量不足時有兩個選擇：延長收集，或把問題改成只驗證較大的差異。不要用加碼預算硬把噪音變成結論，也不要為了湊樣本把不同季節、活動檔期或受眾混在一起而不做註記。
若網站每天只有少量完成事件，先從漏斗中最接近業務價值、又能穩定記錄的事件開始。不要把曝光或點擊直接當成最終成功，否則樣本看似增加，結果可能無法代表最終商業結果。
若測試的是高單價或長決策週期服務，短期表單數不一定能代表成交品質。可以把合格名單、預約完成或後續成交列為觀察指標，但要在設計階段說清楚資料如何回填。
有些問題不適合直接做 A/B 測試，例如頁面正在修復追蹤、兩組流量無法公平分配，或業務規則要求所有人立刻看到同一個版本。這時先修量測與流程，避免把不可比較的資料包裝成實驗。
測試也不是一次性的選美。A 勝出後，可以把它當新基準再測下一個假設；若沒有版本達標，保留失敗原因同樣有用，因為它能縮小下一輪要問的問題。
Google Ads 與 Meta 的功能怎麼用？
Google Ads 的功能名稱是「Experiments」。官方說明指出，實驗可以將原始活動與實驗活動的流量或預算分開比較；完成評估後，可選擇把設定套回原始活動，或另建獨立活動。Google Ads Experiments 說明
實作時先寫假設，再從 Experiments 選擇對應類型，確認測試變更只落在你要驗證的設定。若測試的是出價或活動結構，報告也要把設定差異寫清楚，不能只留下最後的轉換成本。
Meta 的官方教育內容使用「A/B Testing」這個功能名稱，並把它放在測試與學習的脈絡中；Meta 也將 A/B 測試描述為比較廣告元件或變因的方式。Meta Blueprint 測試與素材衡量課程、Meta A/B testing 說明
若問題是「哪個素材、受眾或投放設定帶來較好結果」，先在 Meta Ads Manager 中確認可用的 A/B 測試選項，再設定主要成功指標。把受眾、素材與投放設定分開記錄，避免多個變因互相混淆。
執行時依序完成四件事：複製可比較的基準、只替換假設中的變因、設定主要指標、保存實驗設定與結果紀錄。平台名稱與介面會更新，因此以功能名與判斷原則作為報告主軸。
結果要看差異，不只看勝負
先看兩組的原始分母、轉換數與轉換率，再看相對提升或下降。若 B 組由 2% 變成 2.4%，在以 2% 為基準時，2.4% − 2.0% = 0.4 個百分點，0.4 ÷ 2.0 = 20%；因此可同時報告絕對差與相對差，但要標明計算基準。Google Analytics 指標說明可作為比率與百分比的定義參考。
統計顯著性回答的是：在「其實沒有差異」的假設下，現在看到的差距有多難出現。NIST 將 p 值列為假設檢定中描述證據的量化方式，也說明信賴區間可用來對照假設檢定；它不是「B 版一定比較好」的機率。NIST p 值說明、NIST 信賴區間說明
因此判讀至少分兩層：第一層看差異是否有足夠證據，不把隨機波動當成效果；第二層看差異是否大到值得承擔改版、製作與機會成本。顯著但很小的改善，不一定值得全面切換；未達顯著也不等於兩版完全相同，只表示這次資料還不足以排除無差異的解釋。
網站需要穩定的新文章？
想持續更新網站，又沒有時間每篇從頭準備？文開花替你安排選題、撰稿與檢查。先看示範內容，再判斷適不適合你的生意。
看看文開花怎麼做 →常見的誤判
| 誤判 | 問題在哪裡 | 修正做法 |
|---|---|---|
| 看到 B 暫時領先就停 | 尚未完成原先設定的觀察規則，結果容易被早期波動帶走。 | 事前寫停測條件，除非追蹤或業務出現明確故障，否則照計畫收集。 |
| 一次改標題、圖片、出價 | 結果無法歸因，下一輪也不知道該保留哪個變因。 | 拆成不同輪次；若必須測組合，假設就明寫成「整組方案」而不是單一元素。 |
| 只看點擊率 | 前段互動可能增加，後段轉換品質卻下降。 | 用一個主指標決策，再用漏斗前後指標找原因。 |
| 忽略分母與歸因 | 不同平台或報表的數字看似矛盾，其實計算口徑不同。 | 結果表列出事件定義、分母、歸因期間與資料期間。 |
一套可以重複的執行順序
第一步，從業務問題開始：是要增加有效名單、降低每次轉換成本，還是改善購買完成率？第二步，寫出 A、B 只差在哪裡，並指定主指標與輔助指標。第三步，確認追蹤事件、分流與受眾一致；廣告測試再確認預算條件一致。
第四步，根據基準率與最小可接受差異估算所需資料量，訂好觀察期與停測規則。第五步，測試期間只記錄必要變更，不用每天因為排名變動就改設定。第六步，結束後同時回報原始量、比例差、區間或檢定結果，以及是否達到商業門檻。
報告不要只截平台的勝負標籤。把版本、起訖日期、流量條件、轉換定義、主指標結果與限制寫在同一頁，下一輪才知道要複製哪個條件、修正哪個假設。
若你正在整理廣告事件，可先看站內的 Google Ads 轉換追蹤教學；若要把指標放入報表，再參考 Looker Studio 行銷報表教學。這些設定先穩定，A/B 測試才是在比較素材或頁面，而不是比較量測系統。
結論：先讓測試可解釋，再追求贏家
A/B 測試的價值不在於每一輪都找到勝者，而在於把「我覺得這版比較好」變成可重複檢驗的決策。先固定問題、變因、分母與指標，再用樣本數與統計判讀控制誤判；最後把統計證據與商業門檻放在一起，才知道結果能不能採用。
最後更新：2026-09。平台功能與介面列入季更檢查，重新執行前請優先查看 Google Ads 與 Meta 官方說明。
常見問題
小型網站沒有大量流量，還能做 A/B 測試嗎？
可以，但要把問題縮小到能辨認的差異，並接受測試需要更長時間或只能先驗證較大的效果。不要把短時間的領先當成穩定結論。
是否要等到統計顯著，才能採用新版本嗎？
不一定；採用決策還要看效果大小、改版成本與失敗風險。統計結果負責描述證據強度，商業門檻負責決定是否值得行動。
廣告 A/B 測試可以同時測素材和受眾嗎？
可以把它設計成「素材加受眾的整組方案」，但不能再把結果解讀成只有素材造成差異。若想知道單一因素，請拆成不同輪次。
為什麼廣告平台與 GA4 的轉換數字不同？
常見原因是事件定義、歸因方式、資料處理與分母不同。先把兩邊的轉換名稱、歸因期間與報表期間列在同一張表，再判斷差異是否合理。
網站需要穩定的新文章？
想持續更新網站，又沒有時間每篇從頭準備？文開花替你安排選題、撰稿與檢查。先看示範內容，再判斷適不適合你的生意。
看看文開花怎麼做 →