1
00:00:00,000 --> 00:00:19,040
一个词,大模型内部要先算出上百万个数字,约2MB的隐藏状态,最后出口只有17比特。今天所有让模型互相协作的系统,都挤在这个钥匙孔上通话。

2
00:00:19,040 --> 00:00:37,220
9月初,一支俄罗斯团队跳出来说,把孔变成门。公司叫Mustik,俄语意思是小乔。成立4个月,15个人,12位博士加一位菲尔兹奖得主。在RKGI三竞赛上一度冲上榜首。

3
00:00:37,220 --> 00:01:01,400
先看他们要解决的问题。模型协作早就是常态,写代码的子智能体,多模型议会,路由系统,但所有这些协作都走同一条路,文本接力。A模型写一段话,B模型读一段话。Mustik官网的原话很扎,他们交换的是成品文本,丢掉的是文本背后的计算。

4
00:01:01,400 --> 00:01:28,720
可解释性研究早就证明,被丢掉的隐藏状态不是脚手架。模型在写出名词之前,几个token,就已经携带着这个名词的表征。写诗的模型会先定好运脚,再朝它写。一句话,真正的思考在隐藏状态里,文本只是它的压缩包。他们的做法,一句话讲完,让大模型只读不写,小模型只写不读。

5
00:01:28,720 --> 00:01:38,720
发送方式GLM 5.2,7530亿参数,接收方式QAM 3.5,40亿参数,手机就能跑。

6
00:01:39,480 --> 00:01:50,960
大模型把题目读一遍,隐藏状态,经过一座受过训练的小桥,翻译成小模型的隐空间格式,然后大模型停机,小模型接着生成答案。

7
00:01:50,960 --> 00:02:01,200
注意三个关键点,大模型一个token都不输出,两个模型的权重全部冻结,整个系统里只有乔这一个部件在学习。

8
00:02:02,000 --> 00:02:09,260
经济学基础很清楚,读题是一次并行计算,便宜,写答案是逐token串行,贵。

9
00:02:09,260 --> 00:02:14,820
让贵的部分交给小模型,让大模型指出思想,不出体力。

10
00:02:15,600 --> 00:02:28,780
官方技术业给的数字是这样,接上桥之后,小模型缩小了与大模型之间差距的一半,换算成相对提升是25%,在更难的子级上,提升达到两倍。

11
00:02:28,780 --> 00:02:33,700
跟跑一个同分数的中型模型相比,算力省两倍半。

12
00:02:34,360 --> 00:02:41,620
他们还跟传统的文本交接做了对比,在每个大模型算力当位上,隐藏状态交接都更好。

13
00:02:42,120 --> 00:02:54,640
最多高出10个百分点,而且交接发生得越早,优势越大,大模型一个字还没写的时候,文本交接两手空空,隐藏状态里已经装满了独体的思考。

14
00:02:54,640 --> 00:02:58,980
拿两个熟悉的方案对比一下,就知道它心在哪。

15
00:02:59,640 --> 00:03:06,080
知识蒸留,部署前一次性完成,教师模型,教完可以删,学生独立上岗。

16
00:03:06,880 --> 00:03:12,980
投机解码,草稿模型猜Token,大模型验证,每次请求传的还是文本。

17
00:03:13,660 --> 00:03:19,340
Mistake的桥,每次请求实时传隐藏状态,从头到尾不转成文本。

18
00:03:19,340 --> 00:03:29,260
但这里有个关键差别要画清楚,蒸留出来的小模型是独立的,而桥接的小模型每个请求都依赖大模型在线。

19
00:03:30,040 --> 00:03:36,000
你还是要为那700多币的钱向传播付钱,省下的只是逐Token解码的开销。

20
00:03:36,680 --> 00:03:44,300
所以,推文里那句快20倍,合理怀疑就是从这里来的,省的是写的钱,读的钱一分没省。

21
00:03:44,300 --> 00:03:50,620
再说竞赛。ARKGI三考的是智能体偿任务,公认极难。

22
00:03:51,300 --> 00:03:57,160
9月3日,Mistake发布当天,他们以7.51%创下当时的榜价新高。

23
00:03:57,960 --> 00:04:00,780
ARKPRESS官方账号专门发帖认证。

24
00:04:01,440 --> 00:04:08,300
不过榜单是流动的,到结稿时,他们排在第四,前面是TufaLabs的11.04。

25
00:04:09,160 --> 00:04:13,180
Fert Intelligence的8.21,Daniel Franzen的7.63。

26
00:04:13,180 --> 00:04:23,380
整个竞赛有2900多支队伍,还剩两个月,而且公开榜单只用一半测试数据计算,最终排名要看另外一半。

27
00:04:24,060 --> 00:04:27,040
9月30日是下一个里程碑奖金节点。

28
00:04:27,840 --> 00:04:30,680
这个频道的规矩,洗爆之后翻账本。

29
00:04:31,320 --> 00:04:38,820
第一条,推文说达到大模型八成准确率,快20倍,技术业说的是缩小一半差距。

30
00:04:38,820 --> 00:04:40,880
省两倍半算力。

31
00:04:41,560 --> 00:04:46,120
两套口径没法互相推导,基准和任务清单都没公布。

32
00:04:46,760 --> 00:04:52,980
第二条,零论文,零代码,零可复现基准,困难子集是什么也没定义。

33
00:04:53,700 --> 00:05:00,220
第三条,榜一这个说法在竞赛结束前按构造没法证委,等你看到结果。

34
00:05:00,220 --> 00:05:02,140
新闻周期已经过去了。

35
00:05:02,820 --> 00:05:07,020
第三方分析的结论八个字,可以观望,别急着压住。

36
00:05:07,820 --> 00:05:15,260
还有一层少有人提,被当作发送端的前沿实验室,未必乐意自己的隐藏状态,被这样介入。

37
00:05:16,040 --> 00:05:17,020
最后说判断。

38
00:05:17,700 --> 00:05:26,540
AI发展到今天,沿两条轴扩展,预训练带来知识,测试时计算带来推理,两条曲线都在变平。

39
00:05:26,540 --> 00:05:30,660
Mustick压的是第三条轴,模型之间的协调。

40
00:05:31,480 --> 00:05:40,400
而高效协调的前提是高效通信,现在的方案是模型互相写句子,一次丢掉99%以上的计算量。

41
00:05:41,060 --> 00:05:47,660
如果这条通道被验证成立,模型世界的接口标准会从说人话,变成传脑波。

42
00:05:48,160 --> 00:05:54,100
一句话总结这期,模型之间终于不用说话了,他们开始交换思想。

43
00:05:54,100 --> 00:06:02,760
但先别激动,9月30日竞赛节点见分晓,代码和论文出来之前,保持关注,保持怀疑。

44
00:06:03,420 --> 00:06:05,700
这里是开源前哨,下期见。

45
00:06:05,700 --> 00:06:08,020
请不吝点赞 订阅 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏 转发 打赏