start	end	text
0	19040	一个词,大模型内部要先算出上百万个数字,约2MB的隐藏状态,最后出口只有17比特。今天所有让模型互相协作的系统,都挤在这个钥匙孔上通话。
19040	37220	9月初,一支俄罗斯团队跳出来说,把孔变成门。公司叫Mustik,俄语意思是小乔。成立4个月,15个人,12位博士加一位菲尔兹奖得主。在RKGI三竞赛上一度冲上榜首。
37220	61400	先看他们要解决的问题。模型协作早就是常态,写代码的子智能体,多模型议会,路由系统,但所有这些协作都走同一条路,文本接力。A模型写一段话,B模型读一段话。Mustik官网的原话很扎,他们交换的是成品文本,丢掉的是文本背后的计算。
61400	88720	可解释性研究早就证明,被丢掉的隐藏状态不是脚手架。模型在写出名词之前,几个token,就已经携带着这个名词的表征。写诗的模型会先定好运脚,再朝它写。一句话,真正的思考在隐藏状态里,文本只是它的压缩包。他们的做法,一句话讲完,让大模型只读不写,小模型只写不读。
88720	98720	发送方式GLM 5.2,7530亿参数,接收方式QAM 3.5,40亿参数,手机就能跑。
99480	110960	大模型把题目读一遍,隐藏状态,经过一座受过训练的小桥,翻译成小模型的隐空间格式,然后大模型停机,小模型接着生成答案。
110960	121200	注意三个关键点,大模型一个token都不输出,两个模型的权重全部冻结,整个系统里只有乔这一个部件在学习。
122000	129260	经济学基础很清楚,读题是一次并行计算,便宜,写答案是逐token串行,贵。
129260	134820	让贵的部分交给小模型,让大模型指出思想,不出体力。
135600	148780	官方技术业给的数字是这样,接上桥之后,小模型缩小了与大模型之间差距的一半,换算成相对提升是25%,在更难的子级上,提升达到两倍。
148780	153700	跟跑一个同分数的中型模型相比,算力省两倍半。
154360	161620	他们还跟传统的文本交接做了对比,在每个大模型算力当位上,隐藏状态交接都更好。
162120	174640	最多高出10个百分点,而且交接发生得越早,优势越大,大模型一个字还没写的时候,文本交接两手空空,隐藏状态里已经装满了独体的思考。
174640	178980	拿两个熟悉的方案对比一下,就知道它心在哪。
179640	186080	知识蒸留,部署前一次性完成,教师模型,教完可以删,学生独立上岗。
186880	192980	投机解码,草稿模型猜Token,大模型验证,每次请求传的还是文本。
193660	199340	Mistake的桥,每次请求实时传隐藏状态,从头到尾不转成文本。
199340	209260	但这里有个关键差别要画清楚,蒸留出来的小模型是独立的,而桥接的小模型每个请求都依赖大模型在线。
210040	216000	你还是要为那700多币的钱向传播付钱,省下的只是逐Token解码的开销。
216680	224300	所以,推文里那句快20倍,合理怀疑就是从这里来的,省的是写的钱,读的钱一分没省。
224300	230620	再说竞赛。ARKGI三考的是智能体偿任务,公认极难。
231300	237160	9月3日,Mistake发布当天,他们以7.51%创下当时的榜价新高。
237960	240780	ARKPRESS官方账号专门发帖认证。
241440	248300	不过榜单是流动的,到结稿时,他们排在第四,前面是TufaLabs的11.04。
249160	253180	Fert Intelligence的8.21,Daniel Franzen的7.63。
253180	263380	整个竞赛有2900多支队伍,还剩两个月,而且公开榜单只用一半测试数据计算,最终排名要看另外一半。
264060	267040	9月30日是下一个里程碑奖金节点。
267840	270680	这个频道的规矩,洗爆之后翻账本。
271320	278820	第一条,推文说达到大模型八成准确率,快20倍,技术业说的是缩小一半差距。
278820	280880	省两倍半算力。
281560	286120	两套口径没法互相推导,基准和任务清单都没公布。
286760	292980	第二条,零论文,零代码,零可复现基准,困难子集是什么也没定义。
293700	300220	第三条,榜一这个说法在竞赛结束前按构造没法证委,等你看到结果。
300220	302140	新闻周期已经过去了。
302820	307020	第三方分析的结论八个字,可以观望,别急着压住。
307820	315260	还有一层少有人提,被当作发送端的前沿实验室,未必乐意自己的隐藏状态,被这样介入。
316040	317020	最后说判断。
317700	326540	AI发展到今天,沿两条轴扩展,预训练带来知识,测试时计算带来推理,两条曲线都在变平。
326540	330660	Mustick压的是第三条轴,模型之间的协调。
331480	340400	而高效协调的前提是高效通信,现在的方案是模型互相写句子,一次丢掉99%以上的计算量。
341060	347660	如果这条通道被验证成立,模型世界的接口标准会从说人话,变成传脑波。
348160	354100	一句话总结这期,模型之间终于不用说话了,他们开始交换思想。
354100	362760	但先别激动,9月30日竞赛节点见分晓,代码和论文出来之前,保持关注,保持怀疑。
363420	365700	这里是开源前哨,下期见。
365700	368020	请不吝点赞 订阅 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏