start	end	text
0	17000	我們講的是一個Worthy Agent一個小案例。今天晚上我給大家講的這個Worthy Agent,它的最大的特點就是架構不同。我們採用的是稱之為叫三明治架構。
17000	18560	讲到这个三明治架构
18560	19900	我首先给你解释一下
19900	21760	什么叫三明治架构
21760	23340	那这里要讲到
23340	25120	所有市面上的
25120	28360	只要是涉及到语音制农体的
28360	29960	三种主流价格
29960	31260	OK
31260	33500	从工程的实现角度啊
33500	35680	我们把所有的语音制农体
35680	38680	它底层的架构分成三个
38680	40540	但我这个文档我不可以呢
40540	41940	一个一个给大家说啊
41940	43320	这个文档我们明天
43320	45880	训练结束之后的时候会发啊
45880	46400	包括代码
46400	47220	包括代码也会发
47220	48040	好
48040	49300	我们继续讲
49300	50620	第一种架构
50620	52740	就是我今天晚上我要讲的三明治架构
52740	56520	它采用的是STT加上大语言推定模型
56520	58260	加上TTS模型
58260	59780	你看很明显
59780	60820	看到有个这么东西
60820	62200	像一个三明治一样
62200	64040	把一个东西夹在中间
64040	67500	把Agent加上推定模型夹在中间
67500	67900	对吧
67900	70260	这个就是所谓三明治架构
70260	72300	三明治架构什么好处
72300	73880	稍等我等会把这个讲完
73880	75920	第二种是原生
75920	79560	原生实时的speed to speed的架构
79560	82000	原来我用的就是speed to speed的架构
82000	82540	再讲一次
82540	84680	这个架构就是speed to speed的架构
84680	86260	那这个特点呢
86260	87500	就是你得找一个
87500	91860	可以实时进行语音交付的多模态模型
91860	94480	这一定要是实时的
94480	97640	real time的一定是实时的
97640	101260	如果你找的不是那种实时的多模态大模型
101260	101600	不行
101600	103820	但问题在于
103820	104740	来了啊
104740	113820	问题在于市面上现在很少有成熟稳定的知名的实时的多模态大模型
113820	115880	包括国内包括国外
115880	118980	很多人说老师不对啊
118980	120100	那个那个
120100	126340	那个质朴的质朴那个5.5.6 5.7
126340	129320	我知道他是多模态的大模型
129320	131980	他能够处理语音啊
131980	132640	你要明白
132640	134700	这个所说的多模特大模型
134700	138980	它不单是输入是语音图片文字视频
138980	142160	输出也是语音文字图片视频
142160	143720	你要明白这一点
143720	146880	对我们的语音这东西来说
146880	149400	那输出也应该是语音
149400	151580	所以实际上
151580	153660	满足这个要求的
153660	156220	目前我主流的那些大模型
156220	156860	其实很少
156860	157620	几乎没有
157620	159840	目前我怎么没找到一个
159840	161560	我给大家随便说几点
161560	163140	这个稍微扩展一下好吧
163140	165780	这个大家对模型的分类
165780	166840	也一个最基本的了解
166840	168400	这个所以我觉得也不是
168400	170860	也不是这个扯淡
170860	173120	应该是增加一下大家的知识面
173120	174420	大家可以看到
174420	175760	制谱里面也有
175760	176680	签问里面也有
176680	179420	包括国外的这个OpenAI的GPD5.6
179420	180120	5.5
180120	181100	很多同学说
181100	182840	这不都是多模态大模型吗
182840	183520	你要注意
183520	184040	是的
184040	186040	他们是确实实是多模态大模型
186040	188060	但是这里面所说的多模态大模型
188060	190680	跟我们讲的real time的多模态大模型
190680	192900	多模态语音大模型还不一样
192900	194200	不一样在哪里呢
194200	195300	你看我们随便打开一个
195300	197740	比如说假设我们很多人说
197740	199160	老师你看这个5V
199160	201040	质朴的5V
201040	203140	或者是4.6V
203140	203880	也无所谓了
203880	205140	那你发现没有
205140	206940	它最大的一个问题就在这
206940	211200	我不知道大家看到了没有
211200	213480	看到没
213480	215380	它的输入没问题
215380	216320	支持多模态的
216320	218100	但是输出不支持多模态
218100	219320	懂吗
219320	222640	老师那他输出不知是多么
222640	227640	他为什么就不能作为你刚刚所说的这个架构的一种模型呢
227640	233080	因为语音制浓体它最重要的是实时性
233080	237660	你不能说老师我语音制浓体简单
237660	239720	我反正输的是语音
239720	242780	最后生成的回复的也是语音就行了嘛
242780	243860	没错
243860	245740	确实没错
245740	247660	大家讲这个是对的
247660	250700	但是市面上的这个语音直农体
250700	252580	跟真正意义上的
252580	254100	我所说的语音直农体项目
254100	255240	最大的一个问题
255240	258120	就在于这个延迟性和实时性
258120	262240	这个正要八经的语音直农体的延迟性
262240	263520	你应该是感受不出来
263520	267200	大概在零点二秒以内
267200	269240	对大家听到这个词啊
269240	271660	零点二秒以内
271660	273660	让人类感受不出来
273660	276900	那老师那那那叫你这么说
276900	278500	我用质谱的这个5V
278500	279740	他能感受得出来吗
279740	280660	当然会
280660	282420	好吧
282420	283200	当然会
283200	285080	如果你采用的是speed to speed的话
285080	285800	他当然会
285800	286080	为什么
286080	287980	因为他输出的是文本
287980	290040	你还需要再把文本变成什么
290040	291380	变成语音
291380	294260	对吧
294260	295500	是不是
295500	296420	好
296420	297860	那还有棒连
297860	299180	这个棒连
299180	300580	这个棒连
300580	300860	这个棒连
300860	300900	这个棒连
306900	307620	实时
307620	309500	人生实时的一个特点
309500	310440	好
310440	311600	我讲完这个之后了
311600	313160	当我这里没讲详细啊
313160	315440	我重点是想谈两件事情
315440	317120	第一件事情
317120	319360	就你既然是一个智能体
319360	322360	那么智能体得有循环迭代
322360	324360	得有用户意图识别
324360	326500	得有工具的调用
326500	327840	skill的调用
327840	329440	等等上下文管理
329440	330900	你既然是个智能体
330900	332760	你是不是这些都应该有
332760	334560	没错吧
334560	335740	好
335740	336940	但问题在于
336940	340660	如果你采用这种原生的实时的
340660	341940	这种价格的方式的时候
341940	344200	你发现你去找一个这样的模型
344200	345300	可能能找到
345300	349340	但是他对智能体的支持不是特别好
349340	351100	他在智能体
351100	354700	这个这种数据平台上的测试得分很低
354700	357580	最近大家听到两个新闻
357580	361380	第一个新闻是中国上海的一个模型
361380	364360	叫来自于这个KIMI的K3
364360	364920	是吧
364920	368320	还有这个质朴的最新的5.2
368320	375040	在国外所有这些非常知名的测试平台上
375040	378120	得到的分数是非常接近于
378120	380840	OpenAI的5.5对吧
380840	384060	也非常接近于Antherapyc里面的
384060	388460	各种4.6的这个这个Opus的4.6的这样的模型
388460	390400	那大家最重要的你知道吗
390400	392120	是看两个数据得分
392120	394160	一个是什么数据
394160	395940	一个是coding的数据
395940	397360	一个是智能体的数据
397360	400760	我不知道大家是否能听得懂我讲的话
400760	404880	我这里面我今天没有准备好准备好那个图片
404880	409320	我这个本来按道理说给大家要看那个图片的描述了
409320	411000	我可能可能这个质谱里面
411000	412180	这个摩塔社区里面有
412180	413840	对摩塔社区里面有
413840	416440	一般来说一个模型的新模型发布
416440	420800	它都会有这样的一个各个数据平台的一个得分情况
420800	421400	好吧
421400	423380	我看一下有没有
423380	425440	这个大家听懂的
425440	426120	Q1啊
426120	429060	就是任何一个牛逼的模型
429060	431880	之所以在全国来说
431880	433660	是比较高的一个
433660	435740	比较比较高知名度的
435740	437260	他有两个分数很重要
437260	438360	一个是这个分数
438360	438820	大家看
438820	440080	这个分数
440080	441500	好吧
441500	444700	还有一个是关于coding的那个分数
444700	445860	但最正的是这个
445860	448580	大家为什么要重点看这个指标吗
448580	451040	看这个基准测试的数据
451040	453280	这个基准测试的数据集的测试结果
453280	454720	测试结果的分数吗
454720	455900	为什么大家看这个
455900	456480	大家知道不
456480	458140	就不用我再说了吧
458140	460160	好吧
460160	462040	大家为什么要看这个指标
462040	463680	其他的不看
463680	467060	或者其他的很少看
467060	468520	不是完全不看啊
468520	471060	其实我们跟国外的模型比较
471060	473320	重要的就比较两个最重要的指标
473320	475420	一个是这个智能体的分数
475420	476380	智能体的能力
476380	478200	智能体的准确性的能力
478200	479860	还有一个是一个coding能力
479860	480440	就这两个
481244	492564	你发现,你像DeepSync V4,Flash 0731,这个正式版,你发现他是不是非常接近于Opus Anthropic的Opus 4.8,对吧?
492564	494324	没错吧
494324	497444	所以我们国外也好
497444	497944	国内也好
497944	498644	大家都知道
498644	502504	这个DeepSync V4的正式版本
502504	505144	好像跟这个Opus 4.8
505144	505684	是相接近
505684	506764	其实不单是DeepSync
506764	509064	还有那个刚刚我说的Kimin的Key3
509064	511184	以及智朴的最新发布的那个模型
511184	511724	是吧
511724	512644	对吧
512644	515144	那我那老师你讲这话什么意思呢
515144	516504	是这样子的
516504	517744	就是你的智能
517744	521424	你要你要想作为智能体的核心推敌模型
521424	523384	那么你一定要找
523384	525144	你一定要去找
525144	528664	这个分数比较高的那些模型
528664	531364	懂意思吧
531364	532284	现在我明白了吗
532284	534224	那么这个分数比较高的那些模型
534224	534864	都是什么
534864	535464	这个
535464	536444	这个
536444	537384	这个
537384	538064	这个
538064	538564	是吧
538564	540284	当然还有这个OpenAI的
540284	542184	这个GPT5.5 5.6
542184	542844	那个
542844	543384	那个
543384	543704	那个
543704	545264	他没列在这里头
545264	546544	对吧
546544	547484	哦
547484	548104	明白了
548104	549504	老师少说大概你懂意思了
549504	549964	就是说
549964	552904	我如果要开发一个流逼的智能体
552904	555604	那我智能体里面的核心推理模型
555604	557444	和核心的意图识别模型
557444	558944	得是很强的
558944	560904	而且怎么证明它强
560904	562204	就是看这个模型
562204	566644	在这个数据级上的基准测试的得分来判断的
566644	567344	是吧
567344	567864	是的
567864	568904	没错是这个意思
568904	569384	好
569384	571004	接下来我再讲另外一句话
571004	571564	好
571564	573684	那有一些
573684	577024	有一些全模态的大模型
577024	581764	他虽然也能够支持语音的输入
581764	583904	同时也支持语音的输出
583904	586084	但问题在于
586084	590144	他在这个数据级的基准测试的得分
590144	592864	是非常非常的低的
592864	594124	举个例子
594124	596944	比如说像全模态大模型
596944	597964	有一个
597964	600704	就是我们经常讲的
600704	602364	签文里面有一个
602364	604384	稍等啊
604384	605004	搜索一下
605004	607064	看是能搜到啊
607064	608244	这个搜索框去了
608244	617604	这个
617604	619384	好吧
619384	623604	这就是千万里面一个非常典型的全模态大模型
623604	625184	什么叫全模态大模型呢
625184	626064	就是
626064	628824	这个网页打不开啊
628824	631124	就是他输入的可以是语音
631124	632784	然后他可以思考
632784	633504	思考完之后
633504	634624	它输出的结果
634624	635424	也可以是语音
635424	636624	也可以是文字
636624	637784	语音文字都支持
637784	638744	那这种模型
638744	639944	是不是非常适合
639944	640704	我们做这种
640704	642544	这个语音的智能体
642544	642844	是的
642844	644144	非常适合的
644144	645224	但问题在于
645224	646184	这样的模型
646184	647544	它在智能体
647544	650264	这个数据级上的评测得分
650264	652084	是远远低于
652084	653104	大家看到的
653104	656044	这些主流的推定模型
656044	659084	现在明白意思吧
659084	660324	所以
660324	664364	在实际的企业开发过程中
664364	667024	如果要做一个语音模型
667024	669944	你又想要保证实时性
669944	675784	你又想保证我这个智能体核心的推理模型和意图识别模型
675784	677304	是很好的模型
677304	678324	是很牛的模型
678324	682264	那这两个要求都要满足
682264	683504	说实话
683504	685644	很难有完美的方案
685644	691044	所以为了同时满足这两个要求
691044	694844	我们今天重新
694844	697184	根据当了我前两天也是看到网上论文
697184	698364	根据网上论文
698364	700024	我构建了一个新的方案
700024	701904	叫三明治方案
701904	703504	那三明治方案它的区别是
703504	704824	它的特点是什么呢
704824	707604	就是重点放在智能体这一块
707604	709484	智能体的核心推理模型
709484	711044	我还是使用这些像
711044	712804	DeepSync V4的正式版
712804	715184	或者Opus的4.8
715184	717904	或者是OpenAI的5.6
717904	719024	5.5这样的模型
719024	721204	或者是质朴的
721204	722544	对吧最新的模型
722544	724824	好然后呢
724824	725484	但这两个
725484	728524	他在智能体这方面
728524	729584	在智能体这个
729584	733244	这个基准测试数据上表现分数非常高
733244	734844	对吧还不错非常好
734844	738684	可是问题是他对语音的输入和输出
738684	739484	不是特别支持
739484	740684	对吧
740684	743164	所以就有一个这么一个矛盾点
743164	743844	那怎么办呢
743844	745104	我在它的前面
745104	746484	加上一个STD模型
746484	747204	我在它的后面
747204	748364	加上一个TTS模型
748364	749504	把它夹到中间
749504	750544	就称之为这样
750544	751484	三米之架构
751484	752864	现在我应该讲清楚了