# 影片筆記：谷歌完了？9月15日全網封鎖Google！20年免費通行證正式作廢，網路世界大地震！🚨


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 全文快速校讀發現待確認修正

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：⚠️ 全文快速校讀：已套用暫定修正，請確認（segment=1 已先套用暫定修正：Google bot可能第一次在大片互联网 → Googlebot可能第一次在大片互联网；segment=2 已先套用暫定修正：门口收到一张明确的拒绝通知 → 門口收到一張明確的拒絕通知）
- 待修正：逐字稿可先使用，但有待校正清單（segment=393 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=1 rapid_semantic_review: 上下文提到「全球1/5的網站」，故「大片」可能指範圍廣。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結
Cloudflare 於 2026 年 9 月 15 日實施新的機器人預設規則，強制將「搜索」、「AI 訓練」與「代理（Agent）」用途拆分，若網站拒絕 AI 訓練用途，混合機器人（如 Googlebot）可能被整體攔截，這標誌著互聯網從「免費抓取」轉向「按用途授權與結算」的轉折點。

## 核心重點
1.  **規則變更核心**：Cloudflare 的新預設規則針對同時承擔「搜索」與「AI 訓練/代理」用途的混合機器人實施更嚴格攔截。若網站允許搜索但拒絕訓練，該混合機器人仍可能被擋。
2.  **舊有協議崩裂**：過去依賴 `robots.txt` 的非強制性互信模式已失效。AI 時代下，模型直接讀取內容生成答案，導致網站失去點擊與廣告庫存，流量差失衡。
3.  **基礎設施話語權之爭**：
    *   **谷歌**：掌握流量分發器（約 88% 外部推薦流量）。
    *   **Cloudflare**：轉型為「人工智能互聯網的權限層與結算層」，在網路層返回 403 錯誤，控制機器人進入內容的入口。
4.  **產業影響**：SEO 從爭排名轉向決定內容是否進入 AI 答案；公開網頁不稀缺，稀缺的是「可放心使用、帶時間戳、能追溯來源」的數據；低質量頁面價值降低，獨家內容議價能力增強。

## 詳細大綱

### 一、 事件核心：Cloudflare 的新預設規則
*   **生效時間**：2026 年 9 月 15 日。
*   **規則細節**：
    *   新域名若頁面帶有廣告，預設攔截「訓練型」與「代理型」機器人。
    *   「搜索型」機器人仍可進入。
    *   現有免費客戶若未修改設置，將受新預設值影響。
*   **混合機器人困境**：
    *   若同一機器人同時承擔搜索與 AI 訓練，Cloudflare 將按「最嚴格用途」處理。
    *   受影響對象包括 Googlebot、Bing bot 和 Apple bot。

### 二、 舊互聯網的交易模式與崩裂
*   **舊有協議（搜索時代）**：
    *   網站允許 Googlebot 進入 -> 谷歌建立索引 -> 用戶搜索點擊 -> 網站獲得流量與廣告收入。
    *   依賴 `robots.txt` 作為「告示牌」，非強制性鎖門。
    *   雙方互信：爬虫拿走內容，最終送回讀者。
*   **新現狀（人工智能時代）**：
    *   模型直接讀取文章並生成答案，用戶無需進入原網站。
    *   **流量差失衡**：AI 爬虫抓取數千次僅換來極少真人點擊；傳統搜索每十幾次抓取換來一次訪問。
    *   **數據支撐**：2026 年 6 月數據顯示，Cloudflare 網絡中超過一半機器人請求為 AI 訓練用途，超三成六為混合用途，非人類流量已超過真人流量。
    *   **後果**：網站失去點擊與廣告庫存，內容生產資金循環被破壞。

### 三、 技術分離的嘗試與矛盾
*   **Cloudflare 的分類標準**：
    1.  **Search**：為搜索索引抓取網頁。
    2.  **Training**：內容用於訓練或改進模型。
    3.  **Agent**：代表用戶完成即時任務（如比較商品、查詢行程）。
*   **平台現狀對比**：
    *   **OpenAI / Anthropic**：已區分 `Claude bot`（訓練）、`Claude search bot`（搜索）與 `Claude user`（用戶觸發）。
    *   **亞馬遜**：區分 `Amazon bot`、`Amazon search bot` 與 `Amazon user`。
    *   **蘋果**：提供 `apple bot EXTENDED` 表達對生成式 AI 訓練的限制，但政策標籤與網路身份分離機制仍複雜。
    *   **微軟**：`Bing bot` 承擔搜索，但索引接進 Copilot 等 AI 產品，用途無法被外部驗證。
    *   **谷歌**：掌握最大搜索入口，`Googlebot` 更像內部控制標記，網站難以將傳統搜索與 AI 摘要完全切分。

### 四、 衝突本質：基礎設施話語權之爭
*   **谷歌的籌碼**：流量分發器。貢獻主要平台約 88% 的外部推薦流量，網站若退出索引將失去生存入口。
*   **Cloudflare 的籌碼**：網關（門禁）。
    *   拒絕發生在網路層，返回 403 錯誤，連頁面正文都碰不到。
    *   目標：從安全/加速服務商轉型為「人工智能互聯網的權限層與結算層」。
    *   未來願景：控制機器進入內容的入口，驗證身份、用途分類及結算費用。
*   **出版商的夾縫處境**：
    *   一邊決定是否被看見（谷歌），一邊決定機器人能否進入（Cloudflare）。
    *   若所有機器皆視為掠奪者並收費，可能導致開放網絡退化成需逐門付費的封閉莊園。

### 五、 未來四種可能結果
1.  **谷歌拆分身份**：提供明確的獨立爬虫身份，搜索正常，AI 訓練有獨立開關（對開放網絡傷害最小）。
2.  **網站妥協**：大量站長為保住搜索流量，主動關閉 Cloudflare 的預設限制，實際攔截的 Googlebot 不多。
3.  **雙方僵持**：搜索收錄局部混亂，大型媒體可承受，依賴長尾搜索的小站最先受傷。
4.  **監管與訴訟**：爭議集中在機器人身份誤導、訓練授權必要性、搜索摘要是否合理使用，導致網頁權限碎片化。

### 六、 對產業的深遠影響
*   **SEO 的重新定義**：從爭排名轉向決定內容是否進入 AI 答案、允許程度及引用條件。
*   **數據稀缺性轉變**：公開網頁不稀缺，稀缺的是「可放心使用、帶時間戳、能追溯來源」的數據。
*   **代理互聯網的經濟模型**：
    *   代理（Agent）不瀏覽廣告，只讀取結構化內容完成目標。
    *   若網站依賴人類廣告模式，機器流量越大成本越高。
    *   Cloudflare 試圖將機器訪問變成可定價商品（收費公路）。
*   **最終篩選**：
    *   低質量拼貼、批量改寫頁面價值降低。
    *   擁有獨家報導、專業數據庫、真實經驗的網站議價能力增強。
    *   封锁只是談判開始，稀缺性決定最終價格。

## 工具 / 模型 / 名詞整理

*   **平台/公司**：
    *   Google (谷歌)
    *   Cloudflare
    *   OpenAI
    *   Anthropic
    *   亞馬遜 (Amazon)
    *   蘋果 (Apple)
    *   微軟 (Microsoft)
*   **機器人/爬蟲標識**：
    *   Googlebot
    *   Bing bot
    *   Apple bot
    *   Claude bot
    *   Claude search bot
    *   Claude user
    *   Amazon bot
    *   Amazon search bot
    *   Amazon user
    *   Google bot EXTENDED (註：原文提及此名稱，疑為特定標記或功能名稱)
    *   Apple bot EXTENDED
*   **技術/協議/產品**：
    *   Robots TXT (robots.txt)
    *   403 錯誤 (HTTP 403)
    *   Gemini (谷歌 AI 模型/系統)
    *   Copilot (微軟 AI 產品)
    *   Search Console (Google Search Console)
    *   YouTube
    *   安卓 (Android)

## 操作流程整理

1.  **網站設置檢查**：網站管理員檢查 Cloudflare 設置，確認是否為免費客戶及是否修改過預設值。
2.  **機器人身份識別**：Cloudflare 識別進入網站的機器人身份（如 Googlebot, Bing bot 等）。
3.  **用途分類判斷**：
    *   判斷機器人是否為「混合機器人」（同時承擔搜索與 AI 訓練/代理）。
    *   若為混合機器人，檢查網站是否允許「訓練」用途。
4.  **執行攔截或放行**：
    *   若網站拒絕訓練用途，而機器人同時承擔訓練，Cloudflare 按「最嚴格用途」處理，可能返回 403 錯誤攔截該機器人。
    *   若網站允許所有用途或僅為純搜索機器人，則放行。
5.  **結果反饋**：
    *   被攔截：機器人無法獲取頁面內容。
    *   被放行：機器人獲取內容，網站可能失去傳統搜索流量但獲得 AI 相關收益（若未來有結算機制）。

## 值得注意的限制或風險

1.  **日期時效性**：影片提及的生效日期為 **2026 年 9 月 15 日**，需確認此為未來預測情境還是當前實際執行日期。
2.  **數據來源未驗證**：影片中提到的「2026 年 6 月數據」及「谷歌貢獻主要平台約 88% 的外部推薦流量」為 Cloudflare 統計，未提供具體統計範圍與時間，僅記錄為影片所述。
3.  **技術名詞準確性**：`Google bot EXTENDED` 與 `apple bot EXTENDED` 是否為官方正式產品名稱或標記，存在辨識疑點，可能為聽寫錯誤或非標準稱呼。
4.  **網站妥協風險**：若大量站長為保住搜索流量而主動關閉 Cloudflare 的預設限制，可能導致實際攔截效果有限，無法達到 Cloudflare 預期轉化為「結算層」的目標。
5.  **小站生存危機**：在雙方僵持或監管訴訟期間，依賴長尾搜索的小站可能最先受傷，面臨生存危機。

## 逐字稿辨識疑點

*   **Google bot EXTENDED / apple bot EXTENDED**：逐字稿中提到「谷歌確實提供 Google EXTENDED」及「apple bot EXTENDED」。通常 `robots.txt` 中的標記為 `Googlebot-Image` 或 `Googlebot-News` 等，或指 `Googlebot` 的特定擴展標識。原文寫作「Google EXTENDED」及「apple bot EXTENDED」，未明確說明是否為官方正式產品名稱或口誤，保留原樣。需查證是否為官方文件中的正式標記名稱，或為聽寫錯誤（如是否指 `Googlebot-Extended` 或其他變體）。
*   **2026年9月15日**：逐字稿多次提及此日期為規則生效日或當前時間點（如「2026年9月15日...Cloudflare將調整...」）。若當前實際時間早於此日期，則為影片預測或未來情境設定；若為當前時間，則為即時新聞。筆記中保留此日期作為事件核心時間點，但需留意時效性。
*   **88% 流量佔比**：原文稱「它貢獻的外部推薦流量約占主要平台总量的八成八」。此數據為 Cloudflare 統計，未提供具體統計範圍與時間，僅記錄為「Cloudflare 的統計」。
*   **rapid_semantic_review 提示**：segment 393 提示「rapid_semantic_review — 全文速讀上下文判斷；尚未回聽或交叉比對」；segment 1 提示「上下文提到「全球1/5的網站」，故「大片」可能指範圍廣」；segment 2 提示「Cloudflare是向網站發送通知或執行攔截，網站是接收方」。這些提示表明部分內容可能需進一步回聽確認，但目前筆記已根據分段筆記整理，若與逐字稿有出入，以逐字稿為準並列入疑點。

## 可延伸追問

1.  Cloudflare 具體如何技術上區分「搜索」與「AI 訓練」的請求？是否通過 User-Agent 或請求頭部特徵？
2.  若谷歌拆分身份，具體的技術實現方案是什麼？如何確保拆分後的機器人不會被誤判？
3.  Cloudflare 的「結算層」願景具體如何收費？由誰支付？是機器人發送方還是網站接收方？
4.  監管機構可能從哪些法律角度介入此爭議？例如「合理使用」原則在 AI 訓練中的適用性。
5.  對於小型網站，在當前規則下有哪些具體的應對策略或技術設置建議？