2026年9月15日
Googlebot可能第一次在大片互联网
門口收到一張明確的拒絕通知
不是因为谷歌搜索被关闭
也不是普通用户突然打不开网站
真正要到期的是谷歌20多年
几乎免费使用的一张通行证
进入网站
搬走内容
拿去建立搜索索引
同时又把同一批内容
送进人工智能系统
通知来自Cloudflare
他站在网站和访问者之间
替客户提供加速安全防护
流量管理和机器人识别
全球超过1/5的网站使用他的网络
最热门的网站里占比更高
它不拥有这些网站
却守着数量惊人的入口
从9月15日开始
Cloudflare将调整机器人的默认规则
新的域名
如果页面带有广告
训练型爬虫和代理型
爬虫会被默认拦截
搜索型爬虫仍然可以进入
现有免费客户如果
一直没有改过相关设置
也会受到新默认值影响
网站主人仍然能够自行放行
Cloudflare沒有替整個
做永久決定
让谷歌难受的是另一条规则
同一个机器人如果同时
承担搜索和人工智能训练
Cloudflare会按照最严格的用途处理
网站允许搜索却拒绝训练
这个混合机器人照样可能被挡住
Google bot Bing bot和apple bot都
被点名放进这个尴尬位置
所以互联网封禁谷歌
是一句很猛的标题
也只说对了一半
用户不会因此失去谷歌
网站不会从浏览器里消失
谷歌也没有被某个政府赶出网络
被挑战的是一项
长期默认成立的权利
科技平台只要自称搜索爬虫
就能把搜索摘要模型训练和
其他机器用途绑在同一辆车上
网站只能整车放行或者整车拦下
Cloudflare现在要求平台
把车里的东西分开
这件事看起来只是机器人管理
背后却是开放互联网
20多年来最重要的一次账本重算
谁有权读取网页
读取之后可以拿去做什么
内容创造者能不能
拒绝其中一种用途
又不牺牲搜索曝光
过去被技术默认值盖住的问题
如今全变成了真金白银的谈判
要理解冲突为什么在今天爆发
先要看旧互联网的
交易是怎样运转的
网站允许Google BOT进入
谷歌把页面收进索引
用户搜索时看到标题和摘要
点击链接回到网站
网站获得访问量
再通过广告订阅商品或捐赠赚钱
谷歌拿走搜索入口和广告利润
网站拿到读者
双方都觉得自己占了便宜
这套交换才维持了20多年
robots TXT就是这段关系留下的老规矩
网站可以在一个文本文件里
告诉机器人哪些目录允许读取
哪些区域不欢迎访问
它更像门口贴的一张告示
不是上锁的铁门
守规矩的爬虫会遵守
不守规矩的照样可以绕过去
网站发现异常后
还要自己识别IP
更新防火墙
再处理误伤
搜索时代
这种冗余制度勉强够用
爬虫拿走内容
最终还会送来读者
人工智能时代把交换打断了
模型可以读取整篇文章
再把答案直接放在
搜索页聊天框或智能代理里
用户得到结论
不必进入内容网站
内容仍然被消耗
访问量却留在平台手里
这笔流量差已经大到无法忽略
Cloudflare觀察到的抓取與
比例嚴重失衡
在一些统计时段里
传统搜索每抓取十几次
还能送来一次访问
部分人工智能公司的爬虫
却要抓取数千甚至数万次
才可能带回一个真人
不同月份
网站类型和机器人会得出不同数字
但方向没有争议
机器读取增长的比人类点击快得多
到2026年6月
Cloudflare网络中的机器人请求超过
一半被识别为人工智能训练用途
超过三成六属于混合用途
整个网络里
非人类流量也已经超过真人流量
这些比例会随日期和过滤条件变化
不能直接套给整个互联网
趋势已经够清楚
网页越来越多地被机器消费
人类打开页面的份额正在收缩
这会直接破坏内容生产的资金循环
一篇调查报道可能需要几个月采访
一份技术评测要购买设备
一家小型论坛要支付
服务器和管理成本
过去搜索带来的读者可以
帮助这些网站回收投入
现在平台从文章里抽走答案
再把用户留在自己的界面
网站失去点击
广告库存缩水
订阅转化下降
最后只能减少采编
关闭评论区
或者干脆停更
谷歌当然会说
搜索和人工智能摘要
仍然能够给网站带来流量
而且高质量链接比过去更有价值
这种说法不能全部否定
谷歌至今仍然是
互联网最强的流量分法器
按照Cloudflare的统计
它贡献的外部推荐流量约
占主要平台总量的八成八
许多网站一旦退出谷歌索引
失去的会是一条生存入口
也正因为谷歌太重要
网站过去几乎没有真正的选择
允许Google bot内容可能进入传统搜索
也可能进入搜索中的人工智能功能
拒绝Google bot
搜索排名页面更新和新
内容发现都会受影响
谷歌确实提供Google EXTENDED
让网站表达不愿将内容用于部分
生成式人工智能训练和相关用途
但网络上并不存在一只名为googlebot
能被防火墙单独识别的机器人
它更像谷歌内部读取权限
时参考的一项控制标记
谷歌官方也写的很清楚
是否出现在Google搜索以及
搜索中的人工智能功能
仍然由googlebot相关控制决定
换句话说
网站可以限制一部分模型用途
却很难把传统搜索AI摘要和所有
后续处理切成完全独立的开关
这正是Cloudflare抓住的矛盾
他把机器人分成三类
第一类是search
也就是为搜索索引抓取网页
第二类是training
内容会被用来训练或改进模型
第三类是agent
机器人代表用户完成即时任务
例如比较商品查询
行程读取某个页面
三种用途都需要网页
却创造完全不同的价值
也应该获得不同授权
如果一家平台坚持用
同一个身份完成多种任务
Cloudflare就不替它猜测
哪一次访问更无辜
客户只要拒绝其中最敏感的用途
整只混合爬虫就可能被挡在外面
技术上很粗
谈判上却非常有效
它把拆分成本推回平台
想保住搜索入口
就提供一个用途清楚
能够单独识别的机器人
Openai Anthropic和亚马逊已经展示了
另一种做法Anthropic把训练搜索
和用户触发的访问分别交给
Claude bot Claude search bot和Claude user
亚马逊也区分Amazon bot
Amazon search bot与Amazon user
网站能够允许代理替真实用户读取
同时拒绝批量训练
选择仍不完美
至少不再只有全开和全关
苹果的情况比完全没有分开更复杂
它已经提供apple bot EXTENDED
用来表达对生成式
人工智能用途的限制
因此苹果并非毫无分离机制
问题仍在于政策标签与网路
身份能不能让基础设施在
每一次请求到来时准确判断用途
Cloudflare要求的是可执行的技术分离
不只是一段平台承诺
微软也面临类似压力
Bing bot承担搜索抓取
微软又把必应索引接进copilot
和更广泛的人工智能产品
网站主人看到的是同一批抓取
却不一定知道内容
最后出现在哪个答案
被哪项服务调用
只要用途无法被外部验证
信任就会不断缩水
谷歌为什么成为最
醒目的目标并不难理解
它掌握最大的搜索入口
获得的网页访问权限也
远高于纯人工智能公司
Cloudflare
估算
谷歌可以接触的信息量大约
是领先人工智能公司的两倍
谷歌同时拥有搜索广告
浏览器移动系统云服务和Gemini
单看每个产品都有合理用途
放在一起却构成一条
别人很难复制的数据管道
网站把门打开
是因为害怕从搜索里消失
谷歌进入之后
得到的不只是建立10条
蓝色链接所需的文字
还可能得到更新频率
站点结构图片
商品信息
用户意图和实时变化
当这些数据被送进
人工智能回答系统
谷歌就能把更多需求
留在自己的页面完成
于是出现一个很讽刺的循环
网站为了获得谷歌流量而开放内容
谷歌用这些内容生成更完整的答案
更完整的答案减少用户点击
网站因此更加依赖剩下的谷歌流量
每走一圈
网站的谈判能力就弱一点
Cloudflare想在这个
循环里插入一道闸门
它的工具和robots TXT最大的差别是
拒绝可以直接发生在网络层
机器人发起请求
Cloudflare根据身份行为用途分类
和客户规则判断是否放行
被拒绝的请求会拿到403
连页面正文都碰不到
告示牌变成了门禁系统
这不代表门禁不会认错
机器人可以伪装身份
合法服务也会更换IP
代理请求和训练抓取有时
很难从单次网路行为中分辨
Cloudflare需要依赖以验证机器人签名
机制长期流量特征和平台合作
分类错了网站可能误伤搜索收录
放过伪装者
规则又会沦为摆设
9月15日之后
最先出现的现实问题
很可能是一批网站的搜索更新变慢
谷歌不会突然消失
如果站长选择阻止训练
却没有意识到Google bot
被归为混合用途
新文章可能迟迟不进入索引
旧页面也不能及时更新
电商库存活动时间新闻修正和
价格变化都可能留在旧版本
大型网站会迅速调整设置
小型网站却未必知道
流量下降来自哪一个开关
这也是谷歌最有力的反击筹码
它不必公开威胁任何人
只要维持现有架构
网站就要在允许可能的人工智能
用途和保住搜索发现之间做选择
对于靠搜索生存的小站
这根本不是平等谈判
Cloudflare则可以说
平台完全有能力拆分机器人
谷歌拥有世界顶尖的网路基础设施
創建獨立標示並非技術奇機
它迟迟不拆
恰恰说明混合身份
本身具有战略价值
只要搜索与人工智能绑在一起
网站拒绝人工智能的
代价就会高得惊人
这里没有一方完全无辜
出版商要求控制内容
理由充分
但机器每读取一次就收费
也会把事情推向另一个麻烦
搜索引擎
无障碍工具研究项目网页存档
和用户代理都依赖自动访问
如果网站把所有机器都视为掠夺者
开放网路会退化成一片
需要逐门付费的封闭庄园
小型人工智能公司付不起许可费
最后反而只有谷歌微软和
Openai买得起全网通行证
谷歌强调开放网络
同样有自己的算盘
所谓开放
长期意味着网站免费开放
平台集中索引
再由平台决定谁得到流量
谷歌为基础设施反垃圾和
搜索质量投入了巨额成本
这是真的
它通过广告和入口
优势获得更大回报
也是真的
开放不能只要求内容生产者开放
却允许分发平台把自己的算法
训练用途和收入
结构全部关在黑箱里
Cloudflare高举你的内容
你的规则
背后当然有商业目的
它正在把自己从安全和
加速服务商推向人工智能
互联网的权限层与结算层
先帮助网站识别和封锁爬虫
再提供按次付费授权和交易工具
未来每一次机器读取
都可能经过它的规则
这条路线一旦成功
Cloudflare会得到比带宽
收入更值钱的东西
谁在读取什么
为哪种任务读取
内容值多少钱
交易又该怎样结算
这些信息都会经过它
过去谷歌控制发现入口
未来Cloudflare想控制
机器进入内容的入口
所以这场冲突表面是网站对谷歌
台下却是两个基础设施
巨头争夺规则制定权
谷歌的筹码是流量
Cloudflare的筹码是门禁
出版商提供内容
却被夹在两套系统中间
一边决定有没有人看见它
另一边决定机器人能不能进来
谁会先让步
更可能发生的情况是
机器人身份被迫重新设计
没有谁需要公开认输
谷歌可以把传统搜索AI答案检索
模型训练和用户代理拆成不同身份
在承诺不同的数据保留与使用规则
这样网站能继续接受搜索
同时拒绝训练
技术上可行
商业上却会让谷歌
失去一部分捆绑优势
也会让外界第一次更清楚的看见
每种用途到底消耗了多少网页
截至2026年8月23日
没有权威公开信息证明谷歌
微软或苹果已经完成这种拆分
9月15日的规则也尚未正式生效
任何谷歌已經被1/5
互联网全面封锁的说法
都把未来时态偷换成了现在时态
但倒计时本身已经产生作用
网站开始检查自己的机器人规则
平台开始面对客户询问
广告商也要考虑搜索收录变化
基础设施规则往往在正式
生效前就开始改变行为
所有人都在提前避免最坏结果
接下来可能出现四种结果
第一种谷歌在最后时刻提供
更明确的爬虫身份
搜索继续正常
人工智能训练得到独立开关
这是对开放网路伤害最小的方案
也是网站最想看到的结果
第二种大量站长主动关闭
Cloudflare的默认限制
原因很简单
搜索流量比内容控制更紧迫
这样一来
新规则声势很大
真正被长期拦截的Google BOT却不多
谷歌会证明自己的
分发权仍然压过网站联盟
第三种双方僵持
搜索收录出现局部混乱
大型媒体有技术团队和品牌流量
可以承受一段时间
依赖长尾搜索的小站最先受伤
号称保护内容的政策
最后可能先淘汰溢价
能力最弱的创作者
第四种冲突进入监管和诉讼
争议会集中在机器人身份是否误导
训练是否需要授权
搜索摘要是否属于合理使用
以及基础设施平台能不能
代替网站执行统一规则
法律不会很快给出全球统一答案
地区差异反而可能让
网页权限变得更碎片化
无论哪一种发生
旧互联网那笔模糊交易都回不去了
过去一个机器人访问网页
大家默认它是为了帮助人找到网页
现在同一次访问可能为搜索建索引
为聊天机器人生成答案
为模型更新知识
也可能让代理替用户完成购买
读取动作看起来一样
经济结果完全不同
继续用一个爬虫概念覆盖所有用途
就像允许一张记者证同时充当仓库
钥匙复制许可证和永久训练合同
内容授权必须变得更细
网站需要知道访问者是谁
正在完成哪种任务
数据会保留多久
会不会用于训练
是否给出链接
以及有没有补偿
平台也需要稳定机器可读的规则
不能面对每个网站签
一份完全不同的合同
眼下缺的是一套全
行业能验证的权限协议
继续增加封锁按钮
解决不了全部问题
这套协议很难建立
因为各方想要的东西冲突太大
出版商希望每次商业利用都能计价
人工智能公司希望
尽可能降低数据成本
搜索引擎不想公开内部用途
用户希望代理什么都能读
却不想每问一个问题都
支付十几个网站的费用
基础设施公司希望成为可信中介
同时又想从中介位置赚钱
Cloudflare的新默认值只是把矛盾
从会议室搬到了网络入口
对普通网站经营者来说
最危险的是根本
不知道自己选了什么
9月15日前后
站长要分别检查
搜索训练和代理规则
再觀察Google Search Console中
的抓取与收录变化
没有广告的页面
使用付费Cloudflare方案的网站
主动修改过设置的客户
试用情况也可能不同
看到一个标题就
一键封锁所有机器人
很容易先伤到自己
对内容创作者来说
SEO也要被重新理解
未来不止要争搜索排名
还要决定是否允许
内容进入人工智能答案
允许到什么程度
以及怎样要求引用和回访
完全拒绝可能失去分发
完全开放可能被答案引擎吸走价值
内容策略会从怎样被抓取
变成用什么条件被机器使用
对谷歌来说
这次压力比一次普通
反垄断调查更具体
监管可以拖几年
网络规则到日期就会执行
Cloudflare也不需要证明谷歌违法
只需要让客户拥有
一个默认拒绝按钮
谷歌如果拆分爬虫
相当于承认搜索与
人工智能用途应该被分别授权
如果不拆
就要承担搜索覆盖下降和舆论压力
可谷歌也握着一张Cloudflare没有的牌
用户习惯
每天有海量用户通过谷歌寻找信息
只要网站仍然需要这些访问
他们就不会轻易关上大门
Cloudflare能提供门锁
不能替网站创造读者
谷歌最可能采取的策略是一边
强调搜索与AI功能不可分割
一边给网站更多表面控制
再通过流量证明彻底拒绝的代价
因此 9月15日不会是谷歌
输掉互联网的一天
它更像一次公开压力测试
网站愿不愿为内容
全力牺牲搜索流量
谷歌会不会为了抓取
覆盖放弃混合身份
Cloudflare又能否在不制造
大规模误伤的情况下执行规则
答案都要从那一天开始找
最值得警惕的是这场谈判
可能把开放网络推向两个极端
一个极端是平台继续免费吸取内容
独立网站拿不到回报
最后只剩少数大型
平台和廉价批量内容
另一个极端是每次机器
读取都要经过付费围墙
小公司研究者和公共
项目无法承担成本
网络被几家有钱的巨头包场
较为可持续的中间路线
需要把用途归因和补偿拆开处理
搜索索引可以广泛开放
但必须稳定回链
用户主动触发的
代理访问可以被允许
但要限制保存和再利用
大规模训练与商业知识
提取则需要清楚授权
不同场景不能再挤进
同一份模糊统一里
这也会改变人工智能公司的竞争
过去最有钱的公司买最多芯片
训练最大模型
接下来能够获得高质量
持续更新合法授权内容的
公司会拥有另一种护城河
公开网页并没有消失
真正稀缺的是可放心使用带
时间戳能追溯来源的数据
谷歌在这方面仍然占据巨大优势
它有搜索索引YouTube地图
购物新闻和安卓生态
也有最成熟的内容发现能力
Cloudflare的规则不会
一夜抹平这些资产
可它会提高谷歌继续使用
外部内容的政治和商业成本
让抓到就是可以用
不再是默认答案
网站也别高估自己的胜利
拒绝按钮只能阻止访问
不能自动创造收入
出版商还要证明
自己的内容值得付费
建立统一许可
改善订阅产品
并让用户愿意离开平台进入网站
低质量拼贴批量改写和
只靠搜索套利的页面
不会因为
封锁机器人突然变得有价值
这场冲突最后会筛掉什么
现在还说不准
爬虫肯定在名单上
整个内容市场也可能被一起重排
有独家报道专业数据库
活跃社区和真实经验的网站
会拥有更强的议价能力
大量重复公开信息的页面
很难向模型公司收取高价
人工智能让普通文字变得更便宜
也让无法替代的一手信息变得更贵
封锁只是谈判开始
稀缺性才决定最终价格
Cloudflare正在押注未来的
互联网不再只有人访问网页
还会有数十亿个
代理代表人完成任务
代理不会像人一样看广告
也不会因为漂亮版式停留
他们读取结构化内容
完成目标
然后离开
如果网站继续依赖为
人类浏览设计的广告模式
机器流量越大
成本反而越高
所以Cloudflare想把机器访问
本身变成一种可定价的商品
一次读取值多少钱
什么用途免费
什么用途需要许可
谁来验证身份
谁来结算费用
他若能控制这套标准
替网站挡供给只是第一步
后面还要建设代理
互联网的收费公路
这也解释了为什么谷歌不能
把事件当成普通公关风波
谷歌过去把全网
内容组织成搜索结果
从中建立了最赚钱的广告机器
代理时代
如果访问权限和支付
关系被Cloudflare掌握
谷歌即使仍然拥有用户
也要在内容入口处接受别人的规则
两个巨头真的从来不是一批403错误
而是下一代互联网由谁发许可证
9月15日之后
网页不会突然黑掉
谷歌搜索也不会停止工作
大多数用户甚至
感觉不到第一天有什么变化
后续影响会慢慢出现
更多机器人采用独立身份
更多网站按用途设置权限
更多内容交易从私下合同
变成机器可执行的规则
也可能什么都没有立刻发生
站长害怕流量损失
纷纷放行Google bot
谷歌继续拖延拆分
Cloudflare在调整默认值
即使这样
这场冲突仍然留下了
一个无法收回的问题
搜索带来的曝光
是否足以永久买断
内容的所有机器用途
谷歌过去20年的答案接近是
网站只要想被找到
就默认交出抓取权
人工智能把这份默契拉到了极限
因为平台开始在不送回
用户的情况下消费内容
Cloudflare給出的答案是
应该由网站逐项决定
并准备把决定变成真正的网路阻断
互联网没有组成一个政府
也不会在同一天集体投票封禁谷歌
它由数百万个各自
做决定的网站组成
Cloudflare只是把这些分散
决定接到同一个开关上
当足够多的网站同时拥有拒绝能力
过去看似天然的权利才会
突然显出它其实依赖许可
所以互联网封禁谷歌
真正值得关注的部分
不是封禁两个字
而是谷歌第一次被迫回答
它进入网站时
到底代表搜索
代表Gemini
还是代表一个把两者绑在一起
让网站无法拒绝的商业系统
如果谷歌愿意拆开
开放网路会得到更清楚的边界
如果谷歌拒绝拆开
网站会看见自己对
搜索依赖到底有多深
如果Cloudflare执行失误
它也会暴露基础设施
平台拥有过多权力的风险
无论谁先退一步
免费通行的时代已经开始倒计时
互联网没有封禁谷歌
互联网正在收回一张
从来没有认真定价
也没有逐项授权的通行证