大家好欢迎来到灵姐说AI
这期视频啊
给大家介绍一个
大家可能比较熟悉
听得很多
但是未必深刻理解
知道怎么去应用的一个
模型的训练方法以及概念蒸馏
我希望通过这期视频
你能够真正的理解蒸馏的本质
它有哪些类型
并且如何应用在我们
实际的生产力的场景中
我们先从最近闹得沸沸扬扬的
Anthropic发布的蒸馏报告说起啊
这个报告他们发布在9月10号
他声称7家中国的AI大模型的实验室
这些公司啊
对他们进行了深度的蒸馏
实际上Anthropic这家公司啊
对于蒸馏这个事情非常的重视
也非常的紧张
他们在2月份的时候就
披露了相关的数据
当时他们专门点名了
三家中国的AI模型公司
Deepseek月之暗面Minimax
进行了1,600多万次的交互蒸馏
这一次涉及的公司更多
覆盖的账户更多
涉及的交互次数更多
而且非常的深度
都是工业化级别的蒸馏
其中最其中最夸张的
规模最大的
大家猜猜是哪家公司
是阿里千问
根据Anthropic的报告说啊
在26年的5-7月之间
他观察到了阿里千问超过
1.51亿次的Claude的数据交换和蒸馏
也就是说
它的峰值每天达到了300万次
其余的几家公司包括了
月之暗面Deepseek智谱小米商汤和
Minimax
而且这一次Anthropic的
蒸馏报告特别指出啊
这些中国的AI实验室不是简单的说
拿Claude的回答做训练数据那么简单
他们是建立了工业化的流水线
去大规模的获取claude
模型的推理轨迹
agent能力
编程能力
数据分析能力和长程任务的能力
再把这些能力蒸馏
进自己的模型里面
因为这些AI实验室啊
他们要的不仅是答案
更想要整个的推理过程
而Claude方面
它在模型的构建过程中
它会刻意的去隐藏这些COT的推理链
所以这个攻防的过程啊
也变得特别有意思
根据Anthropic描述他们的攻击方式啊
我觉得也很有意思
其实也非常具有参考价值
这些模型公司啊
他们想尽办法把Claude
隐藏的这个reasoning trace
这个推理的过程给挖出来
比如说有人就会把这个
会话伪装成一个debug的过程
让它交出推理链
或者说有人尝试说让Claude把
之前他做的这个working memory
提一个任务说
你把这个内容翻译成
只包含片假名的日语
诱骗它把这个推理过程交出来
而且更夸张的是啊
有的AI实验室
它直接用了1.2万种不同
的请求方式去实验
怎么把它的隐藏的
推理过程给套路出来
它的目的就是测试
看看哪一种提示词
哪一种路径
能够把能够把Claude的
推理路径给套出来
有可能大部分的
提示词方式都可能失败
但是只要有几种成功了
就可以用工业化的方式把它放大
作为蒸馏的一种有效的路径
所以这实际上是
一个很有意思的攻防
模型厂商呢
他说我不给你原始的COT
我只给你总结的thinking
但蒸馏方就一直在研究
怎么通过上下文翻译
Replay的方式等等
把这个推理的过程给恢复过来
然后再把这个reasoning推理
的过程变成训练数据
你看看这有不有一点像AI
时代的能力逆向工程
实际上啊
这个报告本身披露出了
非常多类似这些AI模型公司
他们蒸馏的方式啊
而这些蒸馏的类型啊
我会给大家在后面去给做总结
并且啊总结出的方式我们
可以进一步的拓展
把它用于我们日常的生产力环节
好准备好了吗
接下来我就带着大家
全面的去理解蒸馏
蒸馏啊不要把它仅仅的理解为
一种模型训练的技术
我认为蒸馏的本质是
一次昂贵的智能过程
它实际上是在压缩成下
一次更便宜更快更稳定
甚至不需要还原老师的
能力的这么一个过程
Anthropic它给我们看的
实际上是蒸馏中的一种
就是模型蒸馏模型
所以我会先跟大家去讲这个
模型蒸馏模型有哪些过程
有哪些类型
而沿着这个定义往外推
我们可以看到更多的东西
除了模型蒸馏模型之外
模型还可以蒸馏用户
产品也能够蒸馏模型
agent能蒸馏工作流
企业能蒸馏员工
甚至是人用AI来蒸馏自己
而这些就是我们广阔的应用场景
回到Anthropic这个报告来看啊
它里面讲了非常多的细节
是有助于我们去
理解模型是怎么蒸馏
传统的我们对蒸馏的理解
实际上是特别简单直接的
就是教师模型根据输入给出输出
然后学生模型学习
整个的信息交换的过程
学习这些exchange的过程
但是大家注意到这里面的
环节会涉及到inputs和OUTPUTS
在这个报告里面
它实际上把这个inputs和outputs怎么来
做了非常详细的解析和案例的披露
也就是这些中国的AI实验室
他们是怎么干的
这些东西啊
非常的有启发
可以分为7个类型
我总结下来
一个个跟大家去讲
第一种类型啊最传统
我总结为叫做出题蒸馏
也可以叫做答案蒸馏吧
就是学生给老师出题
让老师回答
形成一个高质量的答案
你可以准备一个任务集
这个任务集呢
可以是coding数学agent数据分析
或者长程任务等等都可以
然后把这个问题给到Claude
让Claude来回答
形成高质量的答案或者推理
然后把这个答案抄下来
放进你的data set里面
接着通过SFT监督微调
或者是通过RL强化学习
来训练自己的模型
在这个报告里面啊
Anthropic声称阿里千问的蒸馏
模式就是最典型的例子
它主要是针对Opus 4.6和4.7的推理轨迹
它的整个的蒸馏任务是集中在agent
软件工程
还有一些长程任务上面
并且它把整个的
Transcript转成了SFT的数据
这种呢就是考试考卷式的蒸馏
这是最传统的蒸馏
也是最容易理解的
老师做1万道题
学生直接拿老师给的答案进行训练
第二种类型我总结为推理蒸馏
就是学生不仅是要答案
还要老师的解题过程
这个答案确实有价值
但是更值钱的是教师
模型它是怎么拆解问题
怎么判断
怎么试错
调用工具验证
得出最终答案的过程
要知其然
更要知其所以然
实际上它不仅是要老师授之以鱼
更要授之以渔
这个方式也是anthropic
这次最在意的一种方式
刚刚我提到了
这些攻击者测试啊
里面花了1.2万种方式
通过翻译
debug replay等等方式
试图去恢复Claude模型的推理
的过程和找到其中的线索
以后啊这个COT推理的过程会
被藏的越来越深
那么蒸馏怎么办呢
其实就是不断的攻防攻防
互相套路
越狱嘛反正是一直去试
而这些前沿模型也会越来越不
愿意把原始的这个COT的链路啊
公布出来
展示出来
以后可能会有一个很火的角色
比如说像AI狱警这样
第三个类型我总结为judge蒸馏
也就是让前沿模型
让老师来当评委
比如说你让一个普通模型
比如说国产模型
让它对一个问题生成a b c d四个答案
这个时候啊
你可以不用前沿模型来
生成一个优质或者标准答案
而是让这个前沿模型Claude
来对这四个模型的答案进行打分
他来评分 1-10分
他打几分
哪个答案好
哪个答案不好
为什么好
为什么答错
让他给出评价
这时候链路就变成了什么
普通模型生成答案
然后Claude作为评委进行评分
然后对所有的答案进行排序
接着可以进行强化学习
然后进行模型训练
让普通的模型变强
这个在Anthropic的这个报告里面
关于智谱的这个描述
和归因部分也有体现
智谱呢就用这个Claude的模型
让它生成一些评委评分
的一些结果的一个标准
然后还用它来做
一些数据清洗的角色
并且让它提供一些解决方案
这个时候就不是纯粹的
给答案对比这件事情了
它让这个前沿模型在它的整个
模型训练中扮演了更多的角色
这个前沿的模型不仅
是当老师给解题过程
而是它也可以是出题的老师
也可以是阅卷评分的老师
它还可以是数据的清洗员
还可以是安全的检查员
还可以是最后的强化
学习的这个评估员
如果是经常看我节目
的老的粉丝和观众
一定感受到我平时在
节目中经常用这个方法
比如说我经常用多个
模型来处理同一个任务
然后我再用一个前沿模型
比如说用GPT的Codex来对
这些结果进行评分
然后评价这几个模型
的能力和最后的答案
然后给出我的评测结论
这本质上不就是使用judge的方式
让这个前沿模型扮演
一个评委的角色吗
你看看从蒸馏的角度来
理解我节目中的评测的方法
是不是又升维了
第四种蒸馏方式啊
我总结叫做Replay蒸馏
什么意思
就是不用自己出题
直接拿真实用户的问题
重新让老师再做一遍
你知道玩这个路子的
是哪家模型公司吗
是小米的模型MIMO他们家玩的
就是假设啊
他们家公司已经有100万的
真实开发者的这个conversation
这个对话
这个实际上是非常宝贵的数据啊
大家不要觉得自己很多
地方可以免费用一些模型啊
实际上都是这些模型公司的养料
这里面会包含一些真的bug
真的项目真的IDE
真的文件
真的用户意图
真的失败案例
原来在小米的模型里面
它就会有原始的用户
任务和小米给出的答案
那么重新Replay一遍呢
就是把同一个任务给到Claude
然后再获得Claude的答案
然后就立刻得到了什么呢
首先是一个task
用户的真实任务
然后是student
MIMO的答案
然后是teacher
Claude的答案
接下来就可以干什么
就可以比较
可以judge
可以回写
可以SFT可以RL了
小米把自己代码相关
的coding session给到claude
然后呢Claude还可以被用于
重构它的开发环境
再清洗对话
然后再生成回答
再生成响应评价的答案
这可比人工去造Benchmark厉害多了
经常我给大家演示的
考虑到隐私啊
我都是造的这些数据
而这些数据都是用户的真实意图
而用户本身就会成为源源不断
的Benchmark的生产者和生成者
第五种蒸馏方式啊我不说
可能很多人还蒙在鼓里
我叫做shadow teacher
影子老师
这是一个水加茅台的故事
怎么说呢
就是本来你只是要了一杯水
你花了一杯水的钱
结果这个水里面掺了茅台
怎么理解啊
就是用户以为自己用的是学生模型
结果
后台偷偷的让老师回答
然后用户被告知的
是学生模型的回答
有不有毁你之前的认知
就是你给他一个问题
然后后台呢判断
诶这个问题非常有价值啊
这条数据很值钱啊
然后呢
他就把这个问题的请求转给了Claude
让Claude来回答
然后把Claude的答案推送给用户
与此同时
他在后台把这个提示词
加上Claude的回答
加上他的推理过程
全部都被写入了他的训练的数据集
根据Anthropic的报告啊
月之暗面和Deepseek都在这样干
那怎么发现的呢
因为Claude它在清洗的时候发现
这里面出现了非常多涉及
企业和涉及一些特殊行业
领域的一些机密的数据
出现在了模型的对话里面
而这些模型的对话本不
应该出现在海外模型里面的
这里面就有两个问题
本来你花了一个更便宜的钱
却买到了一个更贵的服务
另外一方面呢
就是本来你觉得你用的是国产模型
不涉及到一些安全性的问题
结果模型悄悄地转包到了海外模型
把你的一些企业内部的信息
泄露到了不应该泄露的地方
涉及到信息安全的问题了
但是要知道啊
这样的方式本身对国产
模型的训练是非常有帮助的
因为很多这样的问题
它是在特定的
比如说一个国产的IDE里面去产生的
它本来是它原始的Harness的架构
那在这个Harness里面
它本身是自带任务
还带上下文
又带文件
带工具调用
还带模型的尝试
带错误带用户反馈
然后现在再返回一个最终的结果
它的信息密度是非常高的
比单纯的那种聊天记录
的信息密度高非常多
所以通过这样的方式转包
获得了前沿模型的回答
然后作为训练集
对于模型的成长是非常有帮助的
所以你也会感知到为什么几家
大的公司都在拼命推他们的IDE
推他们的agent
第六种蒸馏方式啊
我叫做中转站蒸馏
哎很多人没听错啊
你是不是经常发现很多中转站
它使用一些前沿模型的价格
比你直接到官方那里使用要便宜
为什么
这个商业逻辑想清楚了没有啊
他赚的可能根本不是
什么TOKEN间的差价
而是这个数据的产业链
他最后啊会把这个对话的
过程直接卖给其他的AI实验室
就是自己不用产生数据
直接去中转站把
上下文把数据买过来
买别人的Claude对话
把这些对话拿来训练自己的模型
因为在这些中转站上面啊
天然就有提示词
上下文和Claude的回答
如果说你去保存
成千上百的整个的会话过程
那么就会形成非常
有价值的数据资产
甚至你知道的一些中转站
它就是大厂下水自己干的
只不过外面包了一个壳而已
第七种方式啊
我定义为pipeline蒸馏
就是数据工厂蒸馏
怎么理解啊
原来呢我们蒸馏的方式是让这个
教师模型教会学生模型
这种方式啊
非常的隐秘
但是很高级
现在他直接让这个教师构建出学校
然后这个学校就可以
源源不断的产生教师
培养更多的学生了
就是让这个老师自己出题
自己回答
自己批改
你已经不需要给一个具体的题库了
你直接给Claude一个具体的领域
让它基于这个领域来进行自我出题
让它出10万道题
然后自己来回答
让学生模型来完成整个任务
然后Claude继续对这个任务的
结果进行批改审阅评分
然后可以纠错
筛选出优质的回答和过程
通过SFT和RL进行训练
这个时候
前沿的模型的角色不仅是老师
他是整个学校
出题老师是他
任课老师是他
批卷老师是他
教研组组长是他
教材的编写也是他
他帮你设计的是整个流程
他来构建整个框架
上面我讲的7种蒸馏方式啊
就是我从Anthropic的这个
报告里面抽象总结出来的
模型蒸馏模型的方式啊
从某种意义上面来讲啊
我觉得蒸馏也是AI时代技术
扩散的一种非常重要的方式
以前啊我们训练模型啊
是人类写数据AI学
或者AI生成数据AI学
现在呢通过蒸馏的方式
AI模型之间啊
它们互相学习的程度已经到
了一个非常深的一个程度
在Anthropic的角度啊
他确实觉得应该反对这种蒸馏
而且他会找出各种
方式来对抗这种蒸馏
但是站在模型研究的角度
蒸馏本身又是一种非常正常
非常重要的技术
连Anthropic自己都不得不承认这一点
所以啊这一次
Claude发现自己的智商正在被轻易
的工业化的批量复制的时候
又不禁引起我们反思
AI行业它真正的护城河在哪里
而原来我们在聊天沟通中所
喜欢看到的这个COT的推理链
是不是就从用户的一个体验功能
变成了模型护城河的
核心资产和安全边界了呢
这个问题啊
我觉得很复杂
但是关于蒸馏这个事情啊
我还想再深入拓展一下
我们不要只停留在模型蒸馏模型
实际上它有更大的
应用价值和技术机制
我这里讲一个暴论啊
叫做一切皆可蒸馏
等会我讲完蒸馏的整个拓展
你再回过头来看这句话
你会觉得特别的正确
而且特别的有用
有实用价值
我们先看第一层拓展
叫做用户的蒸馏
你想过没有
我们和AI对话交互的整个过程
实际上就是模型蒸馏人的过程
大家现在用Codex啊
额度完全不够
但是你想过没有
你和GPT的聊天的额度和Codex
执行任务的额度是分开的
而且你使用GPT聊天的这个额度啊
是很少达到上限的
就是他给你的额度非常多
为什么大部分的模型公司都会给你
开放免费的和AI交互的这个额度啊
实际上是这些模型公司在蒸馏你
举个例子啊
你想得到某个答案
解决某个问题
你会跟AI可能对话20轮
最后拿到你想要的结果
在这20轮对话里面
你会做什么呢
你会示范
告诉他什么是对的
给他举例子
你会取舍
告诉他a要b不要
你会纠偏
告诉他这个方向不对
而这个过程
其实你就是给了他非常多的输入
最后得到满意的答案
这些东西都是给到AI模型的语料
而下一次优化训练之后
模型就可以很快的识别你的意图
它不需要你再过20轮
它通过一到两轮的对话
就可以实现满意的答案
这也是为什么顶尖的大模型
用户多的大模型
它会有更好更多的数据集
来提升它本身的模型能力
大家现在用GPT的模型
从GPT5到GPT6
大家是不是有明显的感知
模型越来越聪明
需要的聊天的次数和轮次越来越少
它能越来越知道你的心中所想
怎么出来的
就是通过模型蒸馏人
的过程来逐步实现的
我们以为我们在使用AI实际上
从训练系统的视角来看
人的每一次纠错
实际上都可能成为什么是
最好答案的一个监督信号
既然模型能够蒸馏人
那么我们是不是能进一步拓展
模型公司也能够蒸馏它的员工呢
比如说大厂
像前段时间爆出来Meta
它会记录它所有员工
的键盘的各种操作
来更大范围的炼化员工的能力
去实现对人的能力的蒸馏
这个实际上也是模型
对人蒸馏的一种方式
那我们更进一步
我们可以主动的去实现这个过程
比如说我有大量的节目制作
的过程语料纠偏等等内容
都在我的本机
在我的新版的GPT的对话里面
还有很多本地的材料
还存在我本地的obsidian里面
那在这个里面我就可以实现让模型
对我的所有的语料过程进行蒸馏
不仅是我这样的自媒体博主
你日常的工作如果都实现了
在线化和颗粒度的对齐和AI
模型的对齐和纠偏的话
你都可以尝试用前沿模型
对你本身进行自我蒸馏
让你的整体的能力再上一个台阶
举个例子啊
大家现在看到的是我Codex的对话框
我正在对我自己的生活和工作场景
特别是我视频制作的过程进行蒸馏
这里面就会涉及到我的选题和脚本
我的封面和标题
客户的方案等等等等
每一个环节都是可以
蒸馏和抽象出来的
就以选题和脚本为例
那么AI会给我输出一个脚本
我会返回给他告诉他
跟他对齐颗粒度
在这个脚本里面
哪些内容我觉得不顺滑
哪些部分你讲得太少
哪些地方你可以加一些金句等等
这个实际上就是我
给他的投喂和纠偏
那他就可以去对比他输出的答案
和我给的一个调整示范的内容
通过这样的方式
原来我可能要聊三四轮四五轮
到后面我可能只需要聊一两轮
就可以完成我的选题和脚本的确认
通过这样的方式
我可以沉淀出来我自己的skill
或者是通过某种工具的调用
去让整个的过程更加的丝滑
这某种程度上也是一种蒸馏
因为这里的蒸馏它
不只限于一期节目
我的100多期
200多期节目
整个的制作过程如果都是
在本地在Codex完成了整个过程
再加上我本地的知识库obsidian
那我的蒸馏过程就能够把
我的整体能力去加强放大
而这里只是其中的一个环节
我还可以拓展到我的封面和标题
之前我可能要不停的跟
他讲我需要什么风格
那形成一定的能力沉淀之后
他可以很快的通过一轮
对话就完成我想要的封面
在这里的蒸馏示范里面呢
我就选择了3期节目
我告诉他具体的节目内容和索引
因为这三期节目我是在整个的
对话框中给了他明确的调整链
它是有明确的我的调整
和AI输出的前后对比的
基于这个样本
它给我做了第一轮的蒸馏
你看已经完成了
它这里是蒸馏的结果
这里呢
它会有明确的修改链和蒸馏发现
它会识别我改了哪些
然后在这里啊
它是帮我直接沉淀了一个方法包
那这个方法包是可以复用的
相当于他把我的工作能力习惯
判断这些有价值的东西抽象出来了
你想想是不是
这个事情在公司里面的员工的操作
其实也是这个逻辑
这个员工他要审核pass
或者不通过
那他判断的依据标准是什么
就可以通过这样的方式蒸馏出来
他为什么这么判断
而蒸馏出来的其实
就是人的能力和智慧
我们再往前思考一步啊
我们还可以做垂直专业领域的蒸馏
而且越是垂直
越是专业的领域啊
小模型对大模型的蒸馏
的替代的表现就会越好
举个例子啊
假如你有一家咨询公司
你这个公司呢
本身就有很多的典型任务
再加上比如说10年的文档
再加上专家的经验
这个时候你可以做什么呢
你就可以把你的企业
的历史数据拿出来
再加上Claude它的前沿的能力
让Claude加上企业数据
去完成200个任务
这200个任务最好是有代表性的
能够覆盖这个垂直
领域的大部分内容
Claude完成之后呢
它就会形成一个答案和回复
然后呢在这个咨询公司里会有专家
就让这些专家基于
克劳德答案进行纠偏
而这些专家的纠偏
就是非常有价值的输入
Claude就可以根据这些内容去总结
什么情况下应该这样做
什么情况下不能这么做
什么是对的
什么是错的
什么是优秀答案
什么是理想答案
然后在这个领域
你就形成了你的
一个比较黄金的data set
形成了一个数据集
形成了知识库
然后你就可以用国产模型小
模型或者一些agent来跑了
这个也是一种非常
深度的新型的蒸馏
就是你蒸馏的不纯粹
的是Claude本身的能力
你蒸馏的是
企业数据加上Claude能力
再加上人类的专家判断
三者融合之后的能力
而这个价值本身
它比Claude直接蒸馏的意义是更大的
它是在垂直领域非常专业的
像这些应用啊
就可以用到很多具体的领域
包括写作设计法律咨询
企业等等内部的专业领域
其实在这个领域啊
会有非常多的现实案例
可以实现这样的智能蒸馏
我给大家讲两个具体的场景
相信对大家有启发
你会知道怎么去做蒸馏
怎么去提升自己的生产力
第一个场景
是一个设计师的场景
怎么让AI蒸馏出这个
设计师的审美和洞察
那首先呢
我给这个AI100张这个设计师经手的
确认的认可的100张设计图
然后让AI来蒸馏这些图
的生成的逻辑和方式
他们做的好的地方
为什么要这样做等等
蒸馏完成之后
然后按照这个逻辑
来生成一系列的图
然后把生成好的图
再丢给这个设计师
让设计师来挑选确认
并且最好是标注一下
为什么这张图ok
为什么这张图不行
那人确认的这个挑选结果
的反馈本身就是一种蒸馏对不对
然后AI继续优化逻辑
继续生成新的图
然后这个逻辑又不断的上升了
它生图的整个的逻辑又升级了
又不断的有人反馈
那这个人的反馈
人的纠偏
越到后面会变得越来越少
你会发现在这个过程
人AI它实际上是在双向蒸馏的
有了这样的蒸馏思路之后啊
甚至我们都能够基于
结果来反向的蒸馏
就以大家现在看到的这个文创
产品协同的设计方案为例啊
这是我给到AI的一个完整的方案
我把这个PPT给到它
我让它给我反向的抽象
蒸馏出这个文创产品方案
它形成的生产路径是什么
我可以以果为因来反向蒸馏过程
是不是就和蒸馏的逆向
工程的过程是一样的
这里是我蒸馏的初步的结果
我实际上是可以继续的迭代去做的
然后再加一下一些人的反馈
那么以后我就可以
通过这样的逆向工程
把它蒸馏出来整个的生产过程
然后再反向的推回去
我可以基于它的推导
帮我实际的生成验证
然后我再不断的反馈和迭代
最后这个整个的方案的生产过程
是不是就可以被我推导
然后蒸馏出来了
再说一个比较实用的现实的场景
比如电商公司要做投放
你就可以让AI来生成
一系列的投放计划
然后这个投放计划你可以
交给专门的投手去审核
这个投手就会判断
哪些计划是可行的
哪些计划是不可行的
对于公司来说
你可以要求这些投手
标注它可行不可行的原因
合理不合理的原因
人做出反馈
标注好之后再给到AI去
调整这些投放计划而且
这些AI整合出来的投放计划
最后投出去
它会有数据反馈的
最后投出来的效果好不好
人还可以去做评价
去说明对应的原因和反馈
然后AI就可以根据人的意见
以及投放的数据反馈再
进一步生成新的投放组合
在这个过程中
投手的意见相当于是专家的意见
是不是就被蒸馏了
AI对投放这个事情的理解
是不是也被蒸馏了
而在这个过程中
可以不断的用一些高等级的模型
对标准答案的回答进行沉淀
告诉哪些是好的答案
哪些是坏的答案
它的整个的data set就这样沉淀下来了
这样就可以不断的
无限循环和loop下去
实际上这个过程再
拓散一下是什么呢
很多高级的模型
也是这么训练出来的
我们再发散一步
是不是可以继续做AI来
蒸馏AI组织的协作方式
在未来agent可能越来越成熟了
那么一个很重要的问题可能
是怎么把一个优秀的agent的
协作方式把它蒸馏出来
比如说在一个协作体系里面
它有计划的agent
有研究的agent
有写代码的agent
有复盘的agent
有做测试的agent
还有审阅的agent
把整个的团队方式运行10万次
然后去发现什么任务它是
需要planner计划这个角色的
什么时候需要reviewer复盘者介入
什么时候应该让贵的模型介入
什么时候可以选择
性价比的模型就可以了
最后蒸馏出来的是一种agent组织
协同的一种方式规则和框架
再回过头来看我们开始的那句话
蒸馏一切
是不是挺对的
我们可以把蒸馏一切啊
分为5个层级
整理成一张非常漂亮的图谱
这是一条非常优美的演化
从蒸馏答案获得大模型的结果
再到蒸馏思考获得推理链
再接着可以蒸馏行动
再深入一点
我们可以蒸馏垂直的工作方法
形成skill
SOP prompt memory
进一步的
我们对对象
对人和组织进行蒸馏
形成我们的agent system
蒸馏的本质
实际上是把一次昂贵的智能过程
变成下一次相对廉价可以复用的
能力所以啊
我们万事万物皆可蒸馏
Claude的智能可以蒸馏
Codex的computer use的执行过程可以蒸馏
一个顶级的专家的认知可以蒸馏
一套组织能力可以蒸馏
我觉得这才是蒸馏让普通人
能够产生无限想象力的地方
蒸馏你搞懂了吗
还有哪些概念或者训练
方法你希望去深入的了解
希望跟我探讨的
欢迎在评论区跟我留言
如果觉得我的这个视频有趣有料
喜欢我的视频
也欢迎订阅我的频道
灵姐说AI
打开你的小铃铛
我们下期节目再见啦拜拜