谷歌内部又出现了
一个叫carbon的模型
有人用完之后把它的编程
表现拿来跟Claudeopus 5.5比较
但这轮竞争最值得追问的地方是
模型越来越会写代码
为什么企业离放心
交出工作还是差那么远
carbon的消息加上微软刚推出的decision
恰好把这个缺口摆到了台面上
先把消息的分量放准
carbon目前受到关注
主要来自business Insider对
谷歌内部材料的报道
员工正在内部编程
环境Jetbrains里测试它
有人给出积极评价
也有人提醒还需要更多测试
这属于接触过产品的人的使用反馈
它能说明谷歌正在试验什么
暂时还回答不了
公开产品最终有多强
报道涉及Argon Barium和carbon几个名字
公开亮相的Argon与内部
候选版本的选择有关
这些代号容易制造一种错觉
好像元素名称排到后面
性能就自动升一级
开发流程里却经常
同时存在多个候选版本
名字可以帮助团队区分实验
不能拿来替代完整的测评
其中最容易被传播的
是员工把carbon的编程
感觉与Opus5.5放在一起谈
这个比较有新闻价值
因为编程已经成为前沿
模型竞争的重要场景
但员工熟悉的仓库使用的工具以及
愿意交给模型的任务都会影响体验
一个团队觉得顺手
距离跨行业稳定领先
还需要经过公开检验
谷歌并没有在这篇报道
中披露carbon的参数规模
外界也没有因此拿到
可以复现的完整测试
所以庞然大物适合
表达市场对它的期待
不能直接写成参数记录
真正有用的问题是
它能不能把工作做完
而且做完以后
别人敢不敢接手
这个区别落到编程上
很容易看出来
让模型生成一个独立的小程序
通常可以很快看到成果
让它接手一套已经运行多年的系统
情况就复杂了
某个函数看起来多余
可能正好处理一个
老客户的特殊情况
模型删掉它
测试暂时照样通过
客户第二天才会发现问题
企业付钱买的是经过验证的修改
代码只是修改过程
留下的一部分结果
模型需要找到相关模块
理解接口约束
再检查改动有没有影响别处
某些任务还得等待构建完成
读错误日志
重新定位问题
每个环节都可能让第一次
生成时的漂亮答案失去价值因此
内部工程师愿意继续使用一个模型
往往比一张孤立的
成绩表更值得关注
他们已经知道哪些建议会浪费时间
也知道哪些回答看似
复杂却解决不了问题
如果carbon能在日常
任务里减少反复解释
减少审查后的返工
这种体验就可能转化成真实需求
现在的报道提供了一个观察入口
还没有给出最终结论
接下来要看的是连续工作能力
单次回答做对和一连串操作做对
难度差别很大
一个代理可能正确理解需求
却选错文件
也可能改对文件
却漏跑相关测试
最后汇报完成的时候
他甚至可能没有
注意到工具已经报错
用户看到的一个结果背后
其实经过了很多次判断
用一个纯粹释义的
算式就能理解风险
假设10个步骤彼此独立
每一步成功率都是95%
10步全部成功的概率也只有大约6成
这并非carbon的测试数据
实际任务也未必满足独立假设
这个例子只是提醒
长任务会放大局部失误
单步表现不错
不能保证整体可靠
真正成熟的系统必须允许纠错
工具执行失败
代理要发现失败
发现之后还得知道应该换方法
还是停下来询问
更麻烦的情况是
工具没有报错
但结果不符合业务要求
比如系统成功发出了一封邮件
收件人却选错了
技术执行成功
业务已经出事
这也是编程模型值得研究的原因
软件开发能提供比较明确的反馈
编译器会报错
测试会失败
运行结果可以检查
模型有机会利用这些反馈修正操作
相比完全凭主观判断的任务
这种环境更适合测量长流程能力
不过测试覆盖不到的业务
规则仍然需要其他检查
评估carbon时
可以先观察它遇到失败的表现
第一次没有解决问题
会不会继续重复同一套方案
面对相互矛盾的文件
会不会主动查找依据
已经花费很多时间之后
会不会为了尽快结束而宣称成功
这些行为比生成答案
时的语气有多自信
更接近企业真正担心的事
内部测试还有一层价值
谷歌的工程环境能够提供真实任务
让模型遇到教科书上没有的麻烦
但这种环境也会引入条件差异
如果gensky提供了更好的代码检索
或者自动准备好了上下文
最终体验就包含工具的贡献
模型和工程系统应该一起评估
不能把所有提升都归到模型权重上
外界经常把新模型的进步
想成一次训练带来的跳跃
实际产品可能同时改了
提示方式和工具调用
也可能换了检索方法
调整了计算预算
哪怕底层模型相同
任务完成率也可能变化
看到内部版本好用
更稳妥的追问是哪些改进
能够保留到正式服务里
这就牵涉到成本
测试时允许模型思考很久
调用很多次工具
容易换来更好的结果
正式上线之后
服务需要承受大量用户同时请求
等待时间过长
普通用户会放弃
每个任务的计算费用太高
企业即使喜欢效果
也未必愿意大规模采购
所以一次内部体验要成为商业突破
需要经过几道现实关卡
同样的任务
在可接受的时间里能不能做完
用户增加之后
服务质量能不能维持
团队升级工具之后
旧流程会不会失效
这些问题没有一项能靠
感觉像顶级模型直接解决
却会决定产品最后有没有人续费
再看已经公开的Argon
谷歌的官方介绍
采用分阶段开放安排
涉及受信任的网路防御使用者
随后逐步扩展访问
公开产品和内部候选
版本之间存在发布距离
部分用户能接触到某项能力
并不代表所有账户都
已经拥有相同条件
更不代表carbon已经成为
公开可购买的服务
这种距离也会让截图变得危险
测试界面里出现某个名称
可能只是灰度实验
显示较长的上下文
也可能对应特定入口
用户最需要确认的是
正式文档中的可用范围
以及实际账户能否调用
单张界面截图无法证明永久额度
更无法承诺服务上线的时间
上下文长度尤其容易引发误判
能放进去很多资料
只说明输入容量扩大
模型能否找到关键证据
能否区分新版文件和旧版文件
还要另行测试
一个系统把所有历史记录都塞进去
可能增加信息
也可能增加冲突
资料越多
选择依据的能力越重要
企业真正需要的是可追溯
模型说某条规则要求这样处理
工作人员能否查到具体出处
规则刚刚更新
系统会不会仍然引用旧版
同一段资料被不同
部门解释成不同意思
代理会怎样处理
这些细节没有发布会上那么好看
却直接决定自动化能走多远
围绕carbon
还有一个更容易制造轰动的词
RSI也就是递归自我改进
相关讨论把模型变强与模型
帮助改进下一代模型联系起来
但目前提到的内部测试
报道并没有提供足够证据
让外界宣布谷歌已经实现
了完整的自主递归升级
这里必须把几种过程拆开
第一种过程是模型修改
自己刚刚生成的答案
编译失败后补一个导入
测试失败后调整函数
这属于当前任务里的纠错
第二种过程是
研究人员让模型参与开发
帮助写实验代码或者分析结果
它能够节约研究时间
但研究方向和验收
标准仍然可能由人决定
更强的说法是系统
自主提出改进方案
完成训练和评估
再确认新系统确实更好
并继续下一轮
要支撑这种说法
至少需要看到比较完整的过程
模型改了什么
投入多少资源
在哪些没见过的任务上进步
出现退步又怎样处理
少了这些信息
自我进化很容易只剩一个标签
尤其要防止把熟悉
考试当成能力增长
模型反复接触同一批测试
可能越来越擅长那批测试
研究人员就算没有刻意作弊
选择实验的习惯也可能
让结果偏向既有指标
检验新版本需要留出独立的任务
还要观察其他能力有没有被牺牲
局部得分提高
不能自动推出全面提升
研究循环也受现实资源限制
提出一个训练方案很快
完成训练需要计算
某些实验必须等待结果
失败以后还得重新安排
涉及真实世界数据或者硬件时
等待会更长
模型帮助研究并不
意味着这些资源限制消失
递归过程有没有发生
与它能不能无限
加速是两个不同问题
这并不减损carbon可能具有的价值
即使它只是把研究人员
处理复杂代码的时间缩短
也已经值得关注
一个工具每天节约
少量高技能人员的时间
积累起来就可能改变开发节奏
这样的进步可以测量
也可以讨论商业意义
无需提前附送智能
爆炸已经开始的结论
谷歌还有一个独特条件
它既研发模型
也经营开发工具和办公产品
模型如果能够稳定处理工作
有机会通过这些入口触达用户
不过入口优势不会
自动变成使用习惯
企业已经建立的
审批流程和权限规则
往往比换一个聊天窗口难改的多
想象一个普通的企业需求
要求代理汇总某个项目的进展
资料分散在邮件和文档中
部分内容只有特定成员能看
系统要先确认提问者有权访问什么
再判断哪些资料仍然有效
最终输出还得说明依据
回答文字写的顺
不代表整个流程已经合格
如果任务升级成直接更新项目状态
要求又高了一层
更新哪条记录
是否会通知客户
谁有权批准
都需要被明确设置
能力增强会扩大可执行的动作
也会扩大错误的影响
模型越强
企业对边界的要求往往越具体
不能靠一句更智能略过去
这里就轮到微软decision一登场了
它关注的任务更窄
给定问题和备选项
输出各个选项的概率
微软把它定位在
决策与分类工作负载
基于千问3.59B做后训练
它选择处理大量重复的判断
不要求所有问题都交给最大模型
微软公布的测试覆盖36个基准
约15万道问题
并报告了相对GPT6索尔的延迟优势
这些是厂商提供的评估试用条件
需要保留
官方也介绍了对输入脑洞的测试
他们值得关注的地方是把
一致性和速度当成产品指标
不能据此断言任何
业务场景都能照搬结果
这种模型能放在哪里
客服系统收到一条请求
可以判断应当交给哪个业务组
代理生成一份答案之后
也可以根据预设标准分类检查
是否需要人工复核
可以被设计成一个明确选项
这些都是工作流的应用释义
不等于相关企业已经
部署了同样的流程
最有意思的是
这类系统未必需要写出一大段解释
业务有时只需要一个
格式稳定的选择结果
输出越容易被程序读取
后面的动作就越容易安排
大模型擅长展开思路
专用判断模型则可以把
计算集中在有限选择上
两种能力有机会组合起来
服务同一个任务
但概率必须谨慎解释
某个选项显示90%不等于当前
答案拿到了真实性担保
校准讨论的是一批预测
与实际结果之间的关系
企业需要在自己的数据上
检查这种关系是否成立
业务变化之后
原来可靠的概率
也可能需要重新评估比如
一个系统在普通咨询里表现稳定
遇到新的诈骗话术
判断可能失准
输入很像熟悉的类别
实际风险却不同
如果流程把高分直接当成放行许可
评分错误就会沿着自动化继续传播
可靠的设计需要给陌生情况留出口
包括拒绝判断或者交给人处理
这也解释了为什么判断
模型的选项设置很重要
如果只给执行和不执行
一些模糊情况会被硬塞进去
增加信息不足可能更符合业务
但新增选项之后还要
测试它是不是过度回避
企业需要按照错误代价设计流程
不能只追求一个漂亮的平均准确率
不同错误的代价可以相差很大
把普通咨询错分到另一个客服组
可能只是多等几分钟
把需要人工审批的支付
操作判断成可以自动执行
后果就严重得多
模型在两类任务上
得到相似的正确率
也不代表承担了相似的风险
评估必须看错在哪里
微软官方给decision
一列出的输入价格很低
输出不另行收费
并区分了当前可用入口和后续计划
这个定价值得讨论
但它只是模型调用的一部分成本
系统还需要连接业务数据
维护规则
保存日志
出了问题
团队还得有人处理
低价分类可以节约预算
不能让整个工程免费
延迟同样如此
一个判断步骤明显变快
如果整条流程大部分
时间都在等待数据库
用户感受到的改善就有限
业务负责人需要测端到端时间
每个模型单独跑得快
系统之间来回传输很慢
最终体验还是可能卡住
局部性能只有放进
流程里才知道实际价值
把carbon和decision e放到一起
竞争路线就更清楚了
carbon受到关注
因为它可能承担更
复杂的生成和编程工作
decision e则试图把高频
选择变得便宜而稳定
一个工作流完全可以
同时需要这两类能力
再让人保留重要审批
企业采购的对象正在
变成一整套任务完成方案
模型之间怎样分工
也会带来新的问题
分类系统把任务分错
大模型可能认真解决了错误的问题
大模型输出的信息不完整
后续评分也可能建立在缺失材料上
多个组件串联之后
责任必须能追溯
系统应该记录每个阶段看到了什么
做出了什么选择
这类记录还有一个实际用途
帮助团队判断应该升级哪一部分
失败发生在检索
就不该盲目换更贵的模型
规则写的模糊
就应该先修规则
只有确实属于能力不足的任务
升级模型才可能解决
没有分阶段记录
所有问题都会被归结
成一句AI还不够强
企业可以先选一个范围有限的任务
保留原流程作为对照
评价标准提前确定
既记录完成时间
也记录返工和错误
这样做看起来没有
全面上线那么热闹
却更容易判断投入有没有回报
任务边界清楚
失败也更容易回滚
团队能够积累真正有用的经验
对照测试还要防止选择偏差
员工往往把容易的任务交给AI
把复杂任务留给自己
最后看使用记录
AI完成率很高
人类耗时很长
比较就已经不公平
不同任务的难度必须被考虑
否则一套未经校正的报表就
可能推动错误的用工决定
模型更新后也要重测
企业可能喜欢新版本的总体表现
却发现某个关键分类变差了
如果自动切换版本
没有复核就继续运行
原先建立的流程可能悄悄失效
稳定的模型服务需要版本管理
重要任务还要允许暂时保留旧版本
更新速度和部署速度可以不同
成本评估也应覆盖失败的任务
只算成功那一次的调用费用
会漏掉之前的重试
只算生成速度
会漏掉人工检查
团队需要知道
完成一个合格任务总共花了多少钱
发生严重错误的频率是多少
这两个数字
比每秒生成多少
文字更接近商业决策
这也是卡本后续最值得观察的方向
公开测试如果出现
应该看任务是否覆盖真实仓库
测试条件是否一致
失败记录是否完整
产品如果上线
应该看普通付费用户
能够获得什么条件
内部员工的惊喜很有吸引力
可持续的服务体验
才会决定市场位置
还有一个会影响采购的因素
任务到底由谁定义完成
编程测试通常有预设目标
企业请求却可能很模糊
客户说希望页面更快
可能指加载时间
也可能指操作步骤太多
模型直接优化代码
未必解决客户最在意的问题
复杂任务需要先确认目标
随后才适合自动执行
需求澄清也可以被评估
系统能否识别缺失条件
能否只问必要的问题
都会影响合作体验
每一步都要求人确认
效率上不去
什么都不问
又容易走偏
企业需要寻找合适的询问频率
并按任务风险设置不同阈值
这个问题通常比聊天
回答是否自然更难处理
长任务还会跨越时间
代理今天拿到的资料
明天可能被更新
用户中途改变要求
他得知道哪些工作可以保留
哪些已经作废
如果系统继续沿着旧目标执行
能力再强也只是更快的做错事
保存工作状态的同时
还要允许目标发生变化
这是长期运行的实际要求
任务中断之后能否
恢复也值得单独测试
网路暂时断开
已经完成的步骤是否会重复
一项操作已经提交
但确认消息没有返回
代理会不会再提交一次
这些情况在演示中很少
出现在真实服务里却躲不开
恢复机制做不好
自动化就可能制造
重复订单或者重复修改
在这些问题上
模型不一定需要独自解决所有细节
应用可以记录操作状态
阻止重复提交
再让模型决定下一步
确定性的程序负责确定性的约束
模型处理需要理解和选择的部分
企业能够把两者结合的多好
会直接影响carbon这类
强模型能发挥多少价值
数据保密则决定哪些
任务根本不能随意交出去
代码仓库里可能包含商业逻辑
文档里可能有客户信息
企业选择模型需要查清
数据保存方式和服务条款
模型路由经过不同供应商时
也要确认资料流向
使用效果相似的两个服务
合规条件可能完全不同
由此还会出现迁移成本
一个团队围绕某个模型
调好了提示和评分规则
换模型之后未必照样有效
输出格式稍有变化
下游程序就可能出错
企业可以保留共同的任务接口
再为不同模型做适配
这样以后选择carbon或者其他候选
服务才不至于重新搭建整个流程
比较时也应该避免只
挑自己擅长的任务
一家模型擅长从零搭建页面
另一家擅长修复旧项目
两者都可以展示出经验结果
采购方需要按照真实
任务占比构建测试集
很少遇到的高难问题可以单独关注
不能让它完全代表日常使用成本
还有用户经常忽略的等待分布
平均耗时不错
偶尔卡住很久
同样会破坏工作安排
客服和实时业务尤其需要看慢请求
研究型任务能够容忍更长等待
标准又不同
用一个平均延迟比较所有产品
很容易选出对业务并不合适的模型
decision一这类模型的机会
就来自任务需求的差别
高频而简单的分类可以单独处理
把昂贵计算留给复杂部分
但路由系统自身也需要观察
不能为了省一笔调用费
让后面产生更多返工
模型组合的价值应当
体现为合格交付成本下降
不能只体现在某个组件便宜
对个人开发者同样
可以用较小的方式验证
选一批已经知道解决方法的旧问题
隐藏答案
让新工具独立尝试
比较它使用的时间和修改范围
再检查有没有新增问题
这样的测试无法替代专业基准
却能帮助判断新工具
是否适合手上的项目
减少仅凭宣传切换工具的成本
网络安全相关能力
还需要额外的边界
模型能够发现复杂软件问题
对防御工作可能很有帮助
但使用者身份和
操作权限必须被检查
授权研究与未经许可的操作不能
因为同样调用一个模型就混在一起
安全发布的难点也包括让
有益能力进入正确的工作流程
把所有能力封成一个聊天窗口
用户可能很难察觉这些差别
企业却必须知道哪些动作只是建议
哪些动作真的改变系统
一次代码审查可以人工确认
一次生产配置修改则
需要更严格的审批
产品越接近实际执行
界面上越应该清楚的展示动作范围
未来的竞争也就不会
只停留在模型排行榜
模型厂商需要证明复杂任务的能力
工具平台需要证明连接可靠
企业则要证明
自动化确实节约总成本
任何一环跟不上
都可能让看起来领先
的技术停在演示阶段
这个过程没有统一的捷径
只能靠连续的部署和复合
carbon目前最重要的信号是谷歌内部
的编程候选模型正在获得积极反馈
这个信号值得追踪
却不足以写成全面领先的事实
微软decision亦提供了
另一个观察角度
AI产品还在向具体判断任务细分
规模和专用化都可能带来价值
最终要接受同一套业务验收
开头的问题现在可以
落到一个明确标准上
企业离放心交出工作还有距离
因为交付涉及连续判断
而且错误有真实代价
carbon如果确实是个强大的新模型
最有说服力的证明就是帮助用户
在可承受的成本下完成合格任务
能被复核
能被回滚
下一次还能稳定做对
这样的进步才会留在账上