24 小時內誰在爬你的網站:Bing 303 次、Google 只有 120 次的爬蟲紀錄

我們操盤的一個客戶站接了 Cloudflare,可以看到過去 24 小時實際被誰抓取。我們把資料拉出來看了一次,結果不是原本以為的樣子。

過去 24 小時,這個站被搜尋引擎與 AI 的爬蟲送出了 773 次允許的請求,前幾名分別是:

  • Bing(Copilot 用的就是這個索引):303 次
  • Common Crawl(AI 訓練用,不會帶流量給你):140 次
  • Google:120 次
  • OpenAI(ChatGPT 的搜尋與讀取):83 次
  • Perplexity:45 次
  • Anthropic(Claude):43 次
  • Apple:39 次
Cloudflare AI Crawl Control 過去24小時爬蟲組成
圖:本站(客戶站,匿名)Cloudflare AI Crawl Control,過去 24 小時的爬蟲組成(Cloudflare 截圖,統計期間為過去 24 小時)。圖上總請求為允許的請求 773 次、未成功的請求 238 次;上面各家的次數是「允許的請求」欄位。這張圖能支持「這段時間各爬蟲的抓取次數比較」,不能直接當成訪客數或流量機會的比例。

Google 大約只佔一成五

用允許的請求當分母,Google 120 次 ÷ 773 次,大約 15.5%。抓最兇的是 Bing,不是 Google;而 ChatGPT、Perplexity、Claude、Apple 這四家加起來,也比 Google 還多。這足以支持「值得同時觀察其他搜尋與 AI 入口」,但請求次數不是獨立訪客數,也不是流量機會或市場占比,不能直接推論「只看 Google 會漏看九成流量」。

順帶一提,Common Crawl 那 140 次是拿去訓練 AI 模型用的,不會帶任何流量進來。

我們另外一個站的爬蟲組成跟這個完全不一樣——排在前面的是另一批爬蟲,Bing 反而排得很後面。但 Google 一樣是第三名,占比也差不多。兩個性質完全不同的站,同一個方向的觀察:真正在抓網站的角色,早就不是只有 Google 一個了。

Bing 比 Google 早起量

這件事跟成效數據也對得上。同一個客戶站、同一段期間,Bing 的曲線明顯比 Google 早抬升——以曲線明顯抬升的月份為準,見下圖。累計下來,Google 帶進 2,041 次點擊、7.26 萬次曝光,點閱率 2.8%;Bing 帶進約 4,500 次點擊、6.17 萬次曝光,點閱率 7.3%。曝光比 Google 少,點擊卻是兩倍多。

GSC 全期成效:2041點擊 7.26萬曝光 CTR2.8%
圖:本站(同一客戶站)Google Search Console 全期成效,2,041 次點擊、7.26 萬次曝光、點閱率 2.8%(GSC 截圖,統計區間為自訂日期,完整起訖日見圖)。分母為 GSC 回報的全期曝光數。這張圖能支持「Google 曲線起量較晚」,不能單獨證明起量原因。
Bing Webmaster 全期:4500點擊 6.17萬曝光 CTR7.3%
圖:本站(同一客戶站)Bing 網站管理員工具同一段時間的成效,約 4,500 次點擊、6.17 萬次曝光、點閱率 7.3%(Bing 截圖,統計區間為自訂日期,完整起訖日見圖;Bing 圖面顯示為約數,非精確匯出數字)。這張圖能支持「Bing 曲線起量較早、點閱率較高」,不能單獨證明兩份報表統計區間完全對齊。

兩套獨立的資料——爬蟲紀錄跟後台成效——指向同一個方向:只做 Google 的 SEO,可能漏掉一個正在成長的入口。

另有觀察到的 AI 引用紀錄

Bing Webmaster Tools AI Performance:近 3 個月引用 4.6K 次、平均每日被引用 6 頁
圖:自家站(非客戶站)的 Bing 站長工具 AI Performance 報表,來源 Microsoft Copilots and Partners,期間為報表上的 3 個月(約 5 月中到 8 月中)。引用 4.6K 次、平均每天 6 個頁面被引用。分母是 AI 答案引用次數,不是點擊;能支持「內容有被 AI 拿去當答案來源」,不能推論帶來多少訪客或訂單。

這是我們自己一個站近 3 個月的 AI 引用紀錄:被 Microsoft Copilot 系列引用約 4,600 次,平均每天有 6 個頁面被引用。要先說清楚:引用次數不等於點擊,也不等於訂單——它算的是內容被 AI 拿去當答案來源的次數,屬於能見度的資料,不是流量的資料。

更新至 2026-09-12

把同一個客戶站的資料拉到最新,全期累計來到:Google 5,158 次點擊、181,357 次曝光、點閱率 2.84%;Bing 5,837 次點擊、81,476 次曝光。整體方向沒變——Bing 曝光雖然少了一半以上,點擊數卻反過來超過 Google。

從逐月數字看,兩邊起量的時間點也對上了:Bing 從 3 月開始明顯拉升(132→678 次點擊),Google 則是 6 月才開始起量(19→345 次點擊),起量之後 Google 才逐漸追上、8 月一度反超 Bing。

客戶站 Google 與 Bing 逐月點擊,2026-01 至 2026-09
圖:客戶站(同一站,匿名)Google 與 Bing 逐月點擊,2026-01-12~2026-09-12(Search Console 與 Bing 站長工具 API)。篩選:搜尋類型網路。分母:點擊次數。能支持:兩邊起量時間點不同、Bing 較早、Google 較晚且幅度較大。不能推論:兩份報表的統計方法完全相同、可以逐日對齊比較。

注意 9 月只統計到 12 日,不是完整月份,所以曲線最後一段往下掉是統計截止造成的,不代表流量下滑。

再拉一次同一個客戶站近 24 小時的機器人請求,這次改用 Cloudflare 的「驗證機器人」分類(跟本文開頭「AI Crawl Control」的分類方式不同,兩組數字的統計口徑不一樣,不能拿來相減或直接比大小,只能各自看各自的排序):Bingbot 466 次、PerplexityBot 78 次、Googlebot 69 次、Applebot 43 次、ClaudeBot 22 次、GPTBot 與 CCBot 皆為 0 次;同一個 24 小時窗口,站上總請求數是 13,628 次(含一般訪客,不是全部都是機器人)。

客戶站近 24 小時各驗證機器人請求數長條圖
圖:客戶站(同一站)近 24 小時各驗證機器人請求數,2026-09-10T18:13~2026-09-11T18:13(UTC)(Cloudflare GraphQL Analytics API,維度 userAgent+回應狀態)。篩選:僅列出的 7 個驗證機器人 User-Agent。分母:近 24 小時總請求數 13,628(含一般訪客)。能支持:這個時間窗口內,Bing 的驗證機器人請求次數最多,GPTBot、CCBot 這個窗口內為 0。不能推論:機器人排序等於流量或訂單機會,也不能跟本文開頭「AI Crawl Control」的分類數字直接相減比較——兩次用的分類方式不同。

AI 引用的現況(2026-09-12 截圖)

Bing 站長工具的 AI Performance 沒有 API,所以直接截圖。自家站近 3 個月被引用約 4,500 次、平均每天 6 個頁面被引用,跟 7 月那張幾乎一樣;客戶站近 3 個月約 5,500 次、平均每天 20 個頁面。一樣要提醒:這是「被 AI 拿去當答案來源」的次數,不是點擊,也不是訂單。

自家站 Bing AI Performance:近 3 個月引用 4.5K 次、平均每日被引用 6 頁
圖:自家站,Bing 站長工具 AI Performance,來源 Microsoft Copilots and Partners,區間「3 M」(約 6 月中到 9 月中),截圖 2026-09-12。分母是 AI 答案引用次數。能支持「內容持續被 AI 引用」,不能推論訪客或成交。
客戶站 Bing AI Performance:近 3 個月引用 5.5K 次、平均每日被引用 20 頁
圖:客戶站,同一報表同一區間,截圖 2026-09-12。平均每天有 20 個不同頁面被引用,站上文章數比自家站多是主因之一。能支持「引用頁數隨內容量上升」,不能推論帶來多少流量。

這就是為什麼我們兩邊都做

我們替客戶的站做 Google 與 Bing 雙邊驗證與提交,文章上架時用 IndexNow 主動通知搜尋引擎,不用等它自己回來爬。請求次數不等於訪客數,也不等於流量機會;但多數人做 SEO 只盯著 Google 看,等於完全漏掉這個正在成長的入口。

想知道自己的站最近被誰抓過,如果站台有接 Cloudflare,可以在機器人分析裡看到完整的爬蟲組成紀錄;Bing 網站管理員工具的 AI Performance 報表看的是 AI 答案引用,不是抓取紀錄,兩者不要混用。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *