逐字稿文字預覽
2026年9月15日 Googlebot可能第一次在大片互联网 門口收到一張明確的拒絕通知 不是因为谷歌搜索被关闭 也不是普通用户突然打不开网站 真正要到期的是谷歌20多年 几乎免费使用的一张通行证 进入网站 搬走内容 拿去建立搜索索引 同时又把同一批内容 送进人工智能系统 通知来自Cloudflare 他站在网站和访问者之间 替客户提供加速安全防护 流量管理和机器人识别 全球超过1/5的网站使用他的网络 最热门的网站里占比更高 它不拥有这些网站 却守着数量惊人的入口 从9月15日开始 Cloudflare将调整机器人的默认规则 新的域名 如果页面带有广告 训练型爬虫和代理型 爬虫会被默认拦截 搜索型爬虫仍然可以进入 现有免费客户如果 一直没有改过相关设置 也会受到新默认值影响 网站主人仍然能够自行放行 Cloudflare沒有替整個 做永久決定 让谷歌难受的是另一条规则 同一个机器人如果同时 承担搜索和人工智能训练 Cloudflare会按照最严格的用途处理 网站允许搜索却拒绝训练 这个混合机器人照样可能被挡住 Google bot Bing bot和apple bot都 被点名放进这个尴尬位置 所以互联网封禁谷歌 是一句很猛的标题 也只说对了一半 用户不会因此失去谷歌 网站不会从浏览器里消失 谷歌也没有被某个政府赶出网络 被挑战的是一项 长期默认成立的权利 科技平台只要自称搜索爬虫 就能把搜索摘要模型训练和 其他机器用途绑在同一辆车上 网站只能整车放行或者整车拦下 Cloudflare现在要求平台 把车里的东西分开 这件事看起来只是机器人管理 背后却是开放互联网 20多年来最重要的一次账本重算 谁有权读取网页 读取之后可以拿去做什么 内容创造者能不能 拒绝其中一种用途 又不牺牲搜索曝光 过去被技术默认值盖住的问题 如今全变成了真金白银的谈判 要理解冲突为什么在今天爆发 先要看旧互联网的 交易是怎样运转的 网站允许Google BOT进入 谷歌把页面收进索引 用户搜索时看到标题和摘要 点击链接回到网站 网站获得访问量 再通过广告订阅商品或捐赠赚钱 谷歌拿走搜索入口和广告利润 网站拿到读者 双方都觉得自己占了便宜 这套交换才维持了20多年 robots TXT就是这段关系留下的老规矩 网站可以在一个文本文件里 告诉机器人哪些目录允许读取 哪些区域不欢迎访问 它更像门口贴的一张告示 不是上锁的铁门 守规矩的爬虫会遵守 不守规矩的照样可以绕过去 网站发现异常后 还要自己识别IP 更新防火墙 再处理误伤 搜索时代 这种冗余制度勉强够用 爬虫拿走内容 最终还会送来读者 人工智能时代把交换打断了 模型可以读取整篇文章 再把答案直接放在 搜索页聊天框或智能代理里 用户得到结论 不必进入内容网站 内容仍然被消耗 访问量却留在平台手里 这笔流量差已经大到无法忽略 Cloudflare觀察到的抓取與 比例嚴重失衡 在一些统计时段里 传统搜索每抓取十几次 还能送来一次访问 部分人工智能公司的爬虫 却要抓取数千甚至数万次 才可能带回一个真人 不同月份 网站类型和机器人会得出不同数字 但方向没有争议 机器读取增长的比人类点击快得多 到2026年6月 Cloudflare网络中的机器人请求超过 一半被识别为人工智能训练用途 超过三成六属于混合用途 整个网络里 非人类流量也已经超过真人流量 这些比例会随日期和过滤条件变化 不能直接套给整个互联网 趋势已经够清楚 网页越来越多地被机器消费 人类打开页面的份额正在收缩 这会直接破坏内容生产的资金循环 一篇调查报道可能需要几个月采访 一份技术评测要购买设备 一家小型论坛要支付 服务器和管理成本 过去搜索带来的读者可以 帮助这些网站回收投入 现在平台从文章里抽走答案 再把用户留在自己的界面 网站失去点击 广告库存缩水 订阅转化下降 最后只能减少采编 关闭评论区 或者干脆停更 谷歌当然会说 搜索和人工智能摘要 仍然能够给网站带来流量 而且高质量链接比过去更有价值 这种说法不能全部否定 谷歌至今仍然是 互联网最强的流量分法器 按照Cloudflare的统计 它贡献的外部推荐流量约 占主要平台总量的八成八 许多网站一旦退出谷歌索引 失去的会是一条生存入口 也正因为谷歌太重要 网站过去几乎没有真正的选择 允许Google bot内容可能进入传统搜索 也可能进入搜索中的人工智能功能 拒绝Google bot 搜索排名页面更新和新 内容发现都会受影响 谷歌确实提供Google EXTENDED 让网站表达不愿将内容用于部分 生成式人工智能训练和相关用途 但网络上并不存在一只名为googlebot 能被防火墙单独识别的机器人 它更像谷歌内部读取权限 时参考的一项控制标记 谷歌官方也写的很清楚 是否出现在Google搜索以及 搜索中的人工智能功能 仍然由googlebot相关控制决定 换句话说 网站可以限制一部分模型用途 却很难把传统搜索AI摘要和所有 后续处理切成完全独立的开关 这正是Cloudflare抓住的矛盾 他把机器人分成三类 第一类是search 也就是为搜索索引抓取网页 第二类是training 内容会被用来训练或改进模型 第三类是agent 机器人代表用户完成即时任务 例如比较商品查询 行程读取某个页面 三种用途都需要网页 却创造完全不同的价值 也应该获得不同授权 如果一家平台坚持用 同一个身份完成多种任务 Cloudflare就不替它猜测 哪一次访问更无辜 客户只要拒绝其中最敏感的用途 整只混合爬虫就可能被挡在外面 技术上很粗 谈判上却非常有效 它把拆分成本推回平台 想保住搜索入口 就提供一个用途清楚 能够单独识别的机器人 Openai Anthropic和亚马逊已经展示了 另一种做法Anthropic把训练搜索 和用户触发的访问分别交给 Claude bot Claude search bot和Claude user 亚马逊也区分Amazon bot Amazon search bot与Amazon user 网站能够允许代理替真实用户读取 同时拒绝批量训练 选择仍不完美 至少不再只有全开和全关 苹果的情况比完全没有分开更复杂 它已经提供apple bot EXTENDED 用来表达对生成式 人工智能用途的限制 因此苹果并非毫无分离机制 问题仍在于政策标签与网路 身份能不能让基础设施在 每一次请求到来时准确判断用途 Cloudflare要求的是可执行的技术分离 不只是一段平台承诺 微软也面临类似压力 Bing bot承担搜索抓取 微软又把必应索引接进copilot 和更广泛的人工智能产品 网站主人看到的是同一批抓取 却不一定知道内容 最后出现在哪个答案 被哪项服务调用 只要用途无法被外部验证 信任就会不断缩水 谷歌为什么成为最 醒目的目标并不难理解 它掌握最大的搜索入口 获得的网页访问权限也 远高于纯人工智能公司 Cloudflare 估算 谷歌可以接触的信息量大约 是领先人工智能公司的两倍 谷歌同时拥有搜索广告 浏览器移动系统云服务和Gemini 单看每个产品都有合理用途 放在一起却构成一条 别人很难复制的数据管道 网站把门打开 是因为害怕从搜索里消失 谷歌进入之后 得到的不只是建立10条 蓝色链接所需的文字 还可能得到更新频率 站点结构图片 商品信息 用户意图和实时变化 当这些数据被送进 人工智能回答系统 谷歌就能把更多需求 留在自己的页面完成 于是出现一个很讽刺的循环 网站为了获得谷歌流量而开放内容 谷歌用这些内容生成更完整的答案 更完整的答案减少用户点击 网站因此更加依赖剩下的谷歌流量 每走一圈 网站的谈判能力就弱一点 Cloudflare想在这个 循环里插入一道闸门 它的工具和robots TXT最大的差别是 拒绝可以直接发生在网络层 机器人发起请求 Cloudflare根据身份行为用途分类 和客户规则判断是否放行 被拒绝的请求会拿到403 连页面正文都碰不到 告示牌变成了门禁系统 这不代表门禁不会认错 机器人可以伪装身份 合法服务也会更换IP 代理请求和训练抓取有时 很难从单次网路行为中分辨 Cloudflare需要依赖以验证机器人签名 机制长期流量特征和平台合作 分类错了网站可能误伤搜索收录 放过伪装者 规则又会沦为摆设 9月15日之后 最先出现的现实问题 很可能是一批网站的搜索更新变慢 谷歌不会突然消失 如果站长选择阻止训练 却没有意识到Google bot 被归为混合用途 新文章可能迟迟不进入索引 旧页面也不能及时更新 电商库存活动时间新闻修正和 价格变化都可能留在旧版本 大型网站会迅速调整设置 小型网站却未必知道 流量下降来自哪一个开关 这也是谷歌最有力的反击筹码 它不必公开威胁任何人 只要维持现有架构 网站就要在允许可能的人工智能 用途和保住搜索发现之间做选择 对于靠搜索生存的小站 这根本不是平等谈判 Cloudflare则可以说 平台完全有能力拆分机器人 谷歌拥有世界顶尖的网路基础设施 創建獨立標示並非技術奇機 它迟迟不拆 恰恰说明混合身份 本身具有战略价值 只要搜索与人工智能绑在一起 网站拒绝人工智能的 代价就会高得惊人 这里没有一方完全无辜 出版商要求控制内容 理由充分 但机器每读取一次就收费 也会把事情推向另一个麻烦 搜索引擎 无障碍工具研究项目网页存档 和用户代理都依赖自动访问 如果网站把所有机器都视为掠夺者 开放网路会退化成一片 需要逐门付费的封闭庄园 小型人工智能公司付不起许可费 最后反而只有谷歌微软和 Openai买得起全网通行证 谷歌强调开放网络 同样有自己的算盘 所谓开放 长期意味着网站免费开放 平台集中索引 再由平台决定谁得到流量 谷歌为基础设施反垃圾和 搜索质量投入了巨额成本 这是真的 它通过广告和入口 优势获得更大回报 也是真的 开放不能只要求内容生产者开放 却允许分发平台把自己的算法 训练用途和收入 结构全部关在黑箱里 Cloudflare高举你的内容 你的规则 背后当然有商业目的 它正在把自己从安全和 加速服务商推向人工智能 互联网的权限层与结算层 先帮助网站识别和封锁爬虫 再提供按次付费授权和交易工具 未来每一次机器读取 都可能经过它的规则 这条路线一旦成功 Cloudflare会得到比带宽 收入更值钱的东西 谁在读取什么 为哪种任务读取 内容值多少钱 交易又该怎样结算 这些信息都会经过它 过去谷歌控制发现入口 未来Cloudflare想控制 机器进入内容的入口 所以这场冲突表面是网站对谷歌 台下却是两个基础设施 巨头争夺规则制定权 谷歌的筹码是流量 Cloudflare的筹码是门禁 出版商提供内容 却被夹在两套系统中间 一边决定有没有人看见它 另一边决定机器人能不能进来 谁会先让步 更可能发生的情况是 机器人身份被迫重新设计 没有谁需要公开认输 谷歌可以把传统搜索AI答案检索 模型训练和用户代理拆成不同身份 在承诺不同的数据保留与使用规则 这样网站能继续接受搜索 同时拒绝训练 技术上可行 商业上却会让谷歌 失去一部分捆绑优势 也会让外界第一次更清楚的看见 每种用途到底消耗了多少网页 截至2026年8月23日 没有权威公开信息证明谷歌 微软或苹果已经完成这种拆分 9月15日的规则也尚未正式生效 任何谷歌已經被1/5 互联网全面封锁的说法 都把未来时态偷换成了现在时态 但倒计时本身已经产生作用 网站开始检查自己的机器人规则 平台开始面对客户询问 广告商也要考虑搜索收录变化 基础设施规则往往在正式 生效前就开始改变行为 所有人都在提前避免最坏结果 接下来可能出现四种结果 第一种谷歌在最后时刻提供 更明确的爬虫身份 搜索继续正常 人工智能训练得到独立开关 这是对开放网路伤害最小的方案 也是网站最想看到的结果 第二种大量站长主动关闭 Cloudflare的默认限制 原因很简单 搜索流量比内容控制更紧迫 这样一来 新规则声势很大 真正被长期拦截的Google BOT却不多 谷歌会证明自己的 分发权仍然压过网站联盟 第三种双方僵持 搜索收录出现局部混乱 大型媒体有技术团队和品牌流量 可以承受一段时间 依赖长尾搜索的小站最先受伤 号称保护内容的政策 最后可能先淘汰溢价 能力最弱的创作者 第四种冲突进入监管和诉讼 争议会集中在机器人身份是否误导 训练是否需要授权 搜索摘要是否属于合理使用 以及基础设施平台能不能 代替网站执行统一规则 法律不会很快给出全球统一答案 地区差异反而可能让 网页权限变得更碎片化 无论哪一种发生 旧互联网那笔模糊交易都回不去了 过去一个机器人访问网页 大家默认它是为了帮助人找到网页 现在同一次访问可能为搜索建索引 为聊天机器人生成答案 为模型更新知识 也可能让代理替用户完成购买 读取动作看起来一样 经济结果完全不同 继续用一个爬虫概念覆盖所有用途 就像允许一张记者证同时充当仓库 钥匙复制许可证和永久训练合同 内容授权必须变得更细 网站需要知道访问者是谁 正在完成哪种任务 数据会保留多久 会不会用于训练 是否给出链接 以及有没有补偿 平台也需要稳定机器可读的规则 不能面对每个网站签 一份完全不同的合同 眼下缺的是一套全 行业能验证的权限协议 继续增加封锁按钮 解决不了全部问题 这套协议很难建立 因为各方想要的东西冲突太大 出版商希望每次商业利用都能计价 人工智能公司希望 尽可能降低数据成本 搜索引擎不想公开内部用途 用户希望代理什么都能读 却不想每问一个问题都 支付十几个网站的费用 基础设施公司希望成为可信中介 同时又想从中介位置赚钱 Cloudflare的新默认值只是把矛盾 从会议室搬到了网络入口 对普通网站经营者来说 最危险的是根本 不知道自己选了什么 9月15日前后 站长要分别检查 搜索训练和代理规则 再觀察Google Search Console中 的抓取与收录变化 没有广告的页面 使用付费Cloudflare方案的网站 主动修改过设置的客户 试用情况也可能不同 看到一个标题就 一键封锁所有机器人 很容易先伤到自己 对内容创作者来说 SEO也要被重新理解 未来不止要争搜索排名 还要决定是否允许 内容进入人工智能答案 允许到什么程度 以及怎样要求引用和回访 完全拒绝可能失去分发 完全开放可能被答案引擎吸走价值 内容策略会从怎样被抓取 变成用什么条件被机器使用 对谷歌来说 这次压力比一次普通 反垄断调查更具体 监管可以拖几年 网络规则到日期就会执行 Cloudflare也不需要证明谷歌违
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：3.3 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：40.2 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.3 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.3 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.4 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：112.2 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.3 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.4 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
目前待解決問題與初步改善方向
- ⚠️ 全文快速校讀：已套用暫定修正，請確認
segment=1 已先套用暫定修正：Google bot可能第一次在大片互联网 → Googlebot可能第一次在大片互联网；segment=2 已先套用暫定修正：门口收到一张明确的拒绝通知 → 門口收到一張明確的拒絕通知；segment=31 已先套用暫定修正：Cloudflare没有替整个 → Cloudflare沒有替整個；segment=32 已先套用暫定修正：互联网做永久决定 → 做永久決定；segment=393 待確認：「任何谷歌已經被1/5」語意不通，結合上下文「任何...說法」，應為「任何『谷歌已被1/5互聯網全面封锁』的說法」。原句缺失關鍵名詞，根據上下文推測修正。；暫定：任何谷歌已經被1/5；segment=1 待確認：「大片互联网」語意不明，可能是「大片互聯網」或「大量網站」的誤譯或口語表達，需確認原意是否指「廣大的互聯網範圍」。；暫定：Googlebot可能第一次在大片互聯網；segment=2 待確認：原句「Google bot可能第一次在大片互联网門口收到...」主語是Googlebot，但邏輯上收到通知的是網站。修正版調整了主語，需確認是否為意圖。；暫定：網站門口收到一張明確的拒絕通知
- 逐字稿可先使用，但有待校正清單
segment=393 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=1 rapid_semantic_review: 上下文提到「全球1/5的網站」，故「大片」可能指範圍廣。；segment=2 rapid_semantic_review: Cloudflare是向網站發送通知或執行攔截，網站是接收方。
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。