Cloudflare 新推 AI 爬蟲付費市集，可阻擋未授權訪問、預設封鎖，並透過 Pay Per Crawl 平台授權與收費。
隨著AI大模型快速崛起，訓練過程中對網路公開內容的龐大需求，也讓網站經營者對自身內容權益更加重視。針對這樣的趨勢，Cloudflare日前宣布推出「按次爬取付費」 (Pay per Crawl)的市集服務，讓網站所有者可依自身意願，決定是否授權AI爬蟲抓取內容，甚至透過每次爬取設定費率，開啟內容經營的新商業模式。
Cloudflare表示，這項服務已經進入Beta測試階段，參與市集的AI公司與網站發布商雙方都需透過Cloudflare帳號進行身分驗證及授權設定。未來AI爬蟲若要取得內容，將不再是「默默抓取」，而是要透過支付費用才能獲得合法授權。
而Cloudflare將扮演中介角色，協助雙方完成交易流程，並且將收益分配給內容提供者。
更重要的是，Cloudflare也同步宣布從即日起新註冊、透過Cloudflare保護的網站，預設都會全面封鎖AI爬蟲，除非網站擁有者主動開放授權權限，否則任何AI訓練爬蟲均不得存取內容。這項調整，明顯針對近年來未經授權大量抓取網站內容的AI公司，包括Google、OpenAI、Anthropic等，給予內容創作者更多自主權。
目前包括康泰納仕 (Condé Nast)、《時代》、《大西洋月刊》、《財星》及美聯社等大型媒體，已經率先與Cloudflare簽約，使其網站服務預設封鎖AI爬蟲存取內容。這也反映出傳統出版業者在AI時代下積極尋求守住內容價值方式，並且開闢全新收益來源。
Cloudflare執行長Matthew Prince指出，按次收費市集的潛力，不只侷限於新聞出版產業，更可能隨著未來「代理型AI」 (Agentic AI)普及，成為訓練模型、即時回應等用途的重要資料來源。
從Cloudflare公布的數據顯示，目前Google每貢獻一次搜尋推薦流量，便會爬取14次網頁內容，但OpenAI的爬取次數則達到1700 次，Anthropic更高達73000次，雙方流量與內容抓取數明顯失衡，市場顯然存在重新調整分潤的空間。
有趣的是，Cloudflare更透露未來不排除透過穩定幣或自有數位貨幣處理這些交易，讓跨國交易變得更有效率。不過目前市集尚未啟用任何數位貨幣機制，仍以傳統結算方式為主。
整體而言，Cloudflare此舉不僅是技術層面的升級，更可能為AI世代的網站經營者打開新的商業想像空間，從「被動提供內容」轉向「主動設定授權與收費標準」，進一步重塑網路內容經濟的價值分配邏輯。
