WEBVTT
Kind: captions
Language: zh

00:00:00.100 --> 00:00:02.233
大家好欢迎来到灵姐说AI

00:00:02.533 --> 00:00:03.400
这期视频啊

00:00:03.400 --> 00:00:04.600
给大家介绍一个

00:00:04.633 --> 00:00:06.200
大家可能比较熟悉

00:00:06.200 --> 00:00:07.200
听得很多

00:00:07.300 --> 00:00:09.733
但是未必深刻理解

00:00:09.733 --> 00:00:11.866
知道怎么去应用的一个

00:00:11.866 --> 00:00:14.733
模型的训练方法以及概念蒸馏

00:00:14.766 --> 00:00:16.466
我希望通过这期视频

00:00:16.533 --> 00:00:20.166
你能够真正的理解蒸馏的本质

00:00:20.433 --> 00:00:21.600
它有哪些类型

00:00:21.633 --> 00:00:23.666
并且如何应用在我们

00:00:23.700 --> 00:00:26.200
实际的生产力的场景中

00:00:26.233 --> 00:00:29.700
我们先从最近闹得沸沸扬扬的

00:00:29.766 --> 00:00:32.933
Anthropic发布的蒸馏报告说起啊

00:00:33.000 --> 00:00:35.633
这个报告他们发布在9月10号

00:00:35.633 --> 00:00:40.266
他声称7家中国的AI大模型的实验室

00:00:40.666 --> 00:00:41.533
这些公司啊

00:00:41.566 --> 00:00:44.100
对他们进行了深度的蒸馏

00:00:44.333 --> 00:00:46.500
实际上Anthropic这家公司啊

00:00:46.566 --> 00:00:48.800
对于蒸馏这个事情非常的重视

00:00:48.833 --> 00:00:49.933
也非常的紧张

00:00:50.066 --> 00:00:51.733
他们在2月份的时候就

00:00:51.766 --> 00:00:53.200
披露了相关的数据

00:00:53.233 --> 00:00:55.500
当时他们专门点名了

00:00:55.533 --> 00:00:57.733
三家中国的AI模型公司

00:00:57.900 --> 00:01:00.266
Deepseek月之暗面Minimax

00:01:00.500 --> 00:01:04.533
进行了1,600多万次的交互蒸馏

00:01:04.666 --> 00:01:07.266
这一次涉及的公司更多

00:01:07.400 --> 00:01:09.200
覆盖的账户更多

00:01:09.233 --> 00:01:11.433
涉及的交互次数更多

00:01:11.433 --> 00:01:13.033
而且非常的深度

00:01:13.200 --> 00:01:15.566
都是工业化级别的蒸馏

00:01:15.833 --> 00:01:17.333
其中最其中最夸张的

00:01:17.333 --> 00:01:18.333
规模最大的

00:01:18.333 --> 00:01:20.266
大家猜猜是哪家公司

00:01:20.466 --> 00:01:22.166
是阿里千问

00:01:22.166 --> 00:01:24.066
根据Anthropic的报告说啊

00:01:24.066 --> 00:01:26.733
在26年的5-7月之间

00:01:26.866 --> 00:01:30.066
他观察到了阿里千问超过

00:01:30.066 --> 00:01:34.233
1.51亿次的Claude的数据交换和蒸馏

00:01:34.600 --> 00:01:35.433
也就是说

00:01:35.433 --> 00:01:38.833
它的峰值每天达到了300万次

00:01:38.866 --> 00:01:40.766
其余的几家公司包括了

00:01:40.766 --> 00:01:44.333
月之暗面Deepseek智谱小米商汤和

00:01:44.366 --> 00:01:45.000
Minimax

00:01:45.033 --> 00:01:46.566
而且这一次Anthropic的

00:01:46.566 --> 00:01:48.233
蒸馏报告特别指出啊

00:01:48.366 --> 00:01:51.400
这些中国的AI实验室不是简单的说

00:01:51.433 --> 00:01:54.433
拿Claude的回答做训练数据那么简单

00:01:54.633 --> 00:01:57.666
他们是建立了工业化的流水线

00:01:57.966 --> 00:02:00.166
去大规模的获取claude

00:02:00.233 --> 00:02:01.833
模型的推理轨迹

00:02:02.100 --> 00:02:02.966
agent能力

00:02:03.033 --> 00:02:03.866
编程能力

00:02:03.900 --> 00:02:07.366
数据分析能力和长程任务的能力

00:02:07.366 --> 00:02:09.566
再把这些能力蒸馏

00:02:09.566 --> 00:02:11.266
进自己的模型里面

00:02:11.266 --> 00:02:13.033
因为这些AI实验室啊

00:02:13.033 --> 00:02:14.600
他们要的不仅是答案

00:02:14.800 --> 00:02:16.966
更想要整个的推理过程

00:02:17.033 --> 00:02:17.966
而Claude方面

00:02:17.966 --> 00:02:19.800
它在模型的构建过程中

00:02:19.900 --> 00:02:23.300
它会刻意的去隐藏这些COT的推理链

00:02:23.333 --> 00:02:25.133
所以这个攻防的过程啊

00:02:25.133 --> 00:02:26.633
也变得特别有意思

00:02:26.633 --> 00:02:29.733
根据Anthropic描述他们的攻击方式啊

00:02:29.733 --> 00:02:30.800
我觉得也很有意思

00:02:30.800 --> 00:02:33.400
其实也非常具有参考价值

00:02:33.400 --> 00:02:34.700
这些模型公司啊

00:02:34.733 --> 00:02:37.166
他们想尽办法把Claude

00:02:37.300 --> 00:02:39.366
隐藏的这个reasoning trace

00:02:39.500 --> 00:02:41.733
这个推理的过程给挖出来

00:02:41.766 --> 00:02:43.366
比如说有人就会把这个

00:02:43.366 --> 00:02:46.500
会话伪装成一个debug的过程

00:02:46.633 --> 00:02:48.100
让它交出推理链

00:02:48.100 --> 00:02:51.200
或者说有人尝试说让Claude把

00:02:51.200 --> 00:02:53.433
之前他做的这个working memory

00:02:53.500 --> 00:02:54.666
提一个任务说

00:02:54.666 --> 00:02:56.633
你把这个内容翻译成

00:02:56.633 --> 00:02:59.066
只包含片假名的日语

00:02:59.400 --> 00:03:02.566
诱骗它把这个推理过程交出来

00:03:02.633 --> 00:03:04.066
而且更夸张的是啊

00:03:04.066 --> 00:03:05.700
有的AI实验室

00:03:06.033 --> 00:03:09.433
它直接用了1.2万种不同

00:03:09.466 --> 00:03:11.633
的请求方式去实验

00:03:11.900 --> 00:03:13.900
怎么把它的隐藏的

00:03:13.900 --> 00:03:16.066
推理过程给套路出来

00:03:16.066 --> 00:03:17.833
它的目的就是测试

00:03:17.966 --> 00:03:19.966
看看哪一种提示词

00:03:20.166 --> 00:03:21.333
哪一种路径

00:03:21.333 --> 00:03:22.766
能够把能够把Claude的

00:03:22.800 --> 00:03:24.366
推理路径给套出来

00:03:24.533 --> 00:03:26.066
有可能大部分的

00:03:26.100 --> 00:03:28.433
提示词方式都可能失败

00:03:28.466 --> 00:03:30.733
但是只要有几种成功了

00:03:30.766 --> 00:03:34.033
就可以用工业化的方式把它放大

00:03:34.100 --> 00:03:36.400
作为蒸馏的一种有效的路径

00:03:36.433 --> 00:03:37.433
所以这实际上是

00:03:37.433 --> 00:03:39.333
一个很有意思的攻防

00:03:39.633 --> 00:03:40.600
模型厂商呢

00:03:40.633 --> 00:03:42.800
他说我不给你原始的COT

00:03:42.866 --> 00:03:44.766
我只给你总结的thinking

00:03:44.800 --> 00:03:47.166
但蒸馏方就一直在研究

00:03:47.433 --> 00:03:49.933
怎么通过上下文翻译

00:03:50.100 --> 00:03:51.833
Replay的方式等等

00:03:51.900 --> 00:03:54.733
把这个推理的过程给恢复过来

00:03:54.766 --> 00:03:57.133
然后再把这个reasoning推理

00:03:57.166 --> 00:03:59.366
的过程变成训练数据

00:03:59.466 --> 00:04:02.033
你看看这有不有一点像AI

00:04:02.066 --> 00:04:04.733
时代的能力逆向工程

00:04:04.766 --> 00:04:05.200
实际上啊

00:04:05.200 --> 00:04:07.633
这个报告本身披露出了

00:04:07.633 --> 00:04:11.633
非常多类似这些AI模型公司

00:04:11.666 --> 00:04:13.133
他们蒸馏的方式啊

00:04:13.200 --> 00:04:15.000
而这些蒸馏的类型啊

00:04:15.033 --> 00:04:17.733
我会给大家在后面去给做总结

00:04:18.100 --> 00:04:20.033
并且啊总结出的方式我们

00:04:20.033 --> 00:04:21.400
可以进一步的拓展

00:04:21.533 --> 00:04:24.433
把它用于我们日常的生产力环节

00:04:24.466 --> 00:04:25.600
好准备好了吗

00:04:25.766 --> 00:04:27.166
接下来我就带着大家

00:04:27.233 --> 00:04:29.233
全面的去理解蒸馏

00:04:29.600 --> 00:04:31.766
蒸馏啊不要把它仅仅的理解为

00:04:31.800 --> 00:04:33.700
一种模型训练的技术

00:04:33.833 --> 00:04:35.966
我认为蒸馏的本质是

00:04:36.000 --> 00:04:38.700
一次昂贵的智能过程

00:04:38.733 --> 00:04:41.266
它实际上是在压缩成下

00:04:41.266 --> 00:04:44.533
一次更便宜更快更稳定

00:04:44.700 --> 00:04:47.600
甚至不需要还原老师的

00:04:47.600 --> 00:04:49.333
能力的这么一个过程

00:04:49.366 --> 00:04:50.900
Anthropic它给我们看的

00:04:50.900 --> 00:04:53.000
实际上是蒸馏中的一种

00:04:53.100 --> 00:04:55.700
就是模型蒸馏模型

00:04:55.833 --> 00:04:57.900
所以我会先跟大家去讲这个

00:04:57.933 --> 00:05:00.733
模型蒸馏模型有哪些过程

00:05:00.733 --> 00:05:01.733
有哪些类型

00:05:02.100 --> 00:05:04.800
而沿着这个定义往外推

00:05:04.833 --> 00:05:06.900
我们可以看到更多的东西

00:05:07.133 --> 00:05:09.133
除了模型蒸馏模型之外

00:05:09.266 --> 00:05:11.400
模型还可以蒸馏用户

00:05:11.600 --> 00:05:13.933
产品也能够蒸馏模型

00:05:14.100 --> 00:05:15.900
agent能蒸馏工作流

00:05:16.033 --> 00:05:18.166
企业能蒸馏员工

00:05:18.300 --> 00:05:21.766
甚至是人用AI来蒸馏自己

00:05:21.833 --> 00:05:24.833
而这些就是我们广阔的应用场景

00:05:24.866 --> 00:05:27.600
回到Anthropic这个报告来看啊

00:05:27.800 --> 00:05:29.833
它里面讲了非常多的细节

00:05:29.866 --> 00:05:31.166
是有助于我们去

00:05:31.166 --> 00:05:33.600
理解模型是怎么蒸馏

00:05:33.666 --> 00:05:35.466
传统的我们对蒸馏的理解

00:05:35.500 --> 00:05:37.500
实际上是特别简单直接的

00:05:37.533 --> 00:05:41.800
就是教师模型根据输入给出输出

00:05:42.000 --> 00:05:44.766
然后学生模型学习

00:05:44.833 --> 00:05:46.966
整个的信息交换的过程

00:05:47.033 --> 00:05:49.000
学习这些exchange的过程

00:05:49.033 --> 00:05:50.566
但是大家注意到这里面的

00:05:50.600 --> 00:05:53.233
环节会涉及到inputs和OUTPUTS

00:05:53.233 --> 00:05:54.333
在这个报告里面

00:05:54.366 --> 00:05:58.300
它实际上把这个inputs和outputs怎么来

00:05:58.400 --> 00:06:02.133
做了非常详细的解析和案例的披露

00:06:02.133 --> 00:06:05.233
也就是这些中国的AI实验室

00:06:05.266 --> 00:06:06.366
他们是怎么干的

00:06:06.533 --> 00:06:07.200
这些东西啊

00:06:07.233 --> 00:06:08.233
非常的有启发

00:06:08.366 --> 00:06:10.000
可以分为7个类型

00:06:10.000 --> 00:06:10.866
我总结下来

00:06:10.866 --> 00:06:12.400
一个个跟大家去讲

00:06:12.466 --> 00:06:14.133
第一种类型啊最传统

00:06:14.166 --> 00:06:16.566
我总结为叫做出题蒸馏

00:06:16.766 --> 00:06:18.900
也可以叫做答案蒸馏吧

00:06:18.966 --> 00:06:20.933
就是学生给老师出题

00:06:20.933 --> 00:06:22.266
让老师回答

00:06:22.266 --> 00:06:24.466
形成一个高质量的答案

00:06:24.800 --> 00:06:26.633
你可以准备一个任务集

00:06:26.800 --> 00:06:27.833
这个任务集呢

00:06:27.833 --> 00:06:30.966
可以是coding数学agent数据分析

00:06:31.000 --> 00:06:32.933
或者长程任务等等都可以

00:06:33.000 --> 00:06:35.033
然后把这个问题给到Claude

00:06:35.133 --> 00:06:36.500
让Claude来回答

00:06:36.533 --> 00:06:39.400
形成高质量的答案或者推理

00:06:39.700 --> 00:06:41.433
然后把这个答案抄下来

00:06:41.433 --> 00:06:43.533
放进你的data set里面

00:06:43.566 --> 00:06:46.400
接着通过SFT监督微调

00:06:46.400 --> 00:06:49.400
或者是通过RL强化学习

00:06:49.433 --> 00:06:51.200
来训练自己的模型

00:06:51.300 --> 00:06:52.566
在这个报告里面啊

00:06:52.700 --> 00:06:55.800
Anthropic声称阿里千问的蒸馏

00:06:55.800 --> 00:06:58.066
模式就是最典型的例子

00:06:58.533 --> 00:07:02.600
它主要是针对Opus 4.6和4.7的推理轨迹

00:07:02.833 --> 00:07:05.733
它的整个的蒸馏任务是集中在agent

00:07:05.933 --> 00:07:06.966
软件工程

00:07:07.033 --> 00:07:09.266
还有一些长程任务上面

00:07:09.466 --> 00:07:11.166
并且它把整个的

00:07:11.166 --> 00:07:14.500
Transcript转成了SFT的数据

00:07:14.533 --> 00:07:17.766
这种呢就是考试考卷式的蒸馏

00:07:17.866 --> 00:07:19.533
这是最传统的蒸馏

00:07:19.533 --> 00:07:21.033
也是最容易理解的

00:07:21.033 --> 00:07:22.566
老师做1万道题

00:07:22.600 --> 00:07:26.033
学生直接拿老师给的答案进行训练

00:07:26.066 --> 00:07:28.700
第二种类型我总结为推理蒸馏

00:07:28.766 --> 00:07:30.800
就是学生不仅是要答案

00:07:30.933 --> 00:07:33.000
还要老师的解题过程

00:07:33.033 --> 00:07:34.866
这个答案确实有价值

00:07:34.866 --> 00:07:37.033
但是更值钱的是教师

00:07:37.033 --> 00:07:38.733
模型它是怎么拆解问题

00:07:38.766 --> 00:07:39.600
怎么判断

00:07:39.733 --> 00:07:40.600
怎么试错

00:07:40.600 --> 00:07:42.133
调用工具验证

00:07:42.233 --> 00:07:44.233
得出最终答案的过程

00:07:44.266 --> 00:07:45.200
要知其然

00:07:45.266 --> 00:07:47.100
更要知其所以然

00:07:47.400 --> 00:07:50.066
实际上它不仅是要老师授之以鱼

00:07:50.233 --> 00:07:51.900
更要授之以渔

00:07:52.166 --> 00:07:54.033
这个方式也是anthropic

00:07:54.066 --> 00:07:56.133
这次最在意的一种方式

00:07:56.300 --> 00:07:57.433
刚刚我提到了

00:07:57.633 --> 00:07:59.300
这些攻击者测试啊

00:07:59.366 --> 00:08:01.966
里面花了1.2万种方式

00:08:01.966 --> 00:08:02.866
通过翻译

00:08:03.066 --> 00:08:05.300
debug replay等等方式

00:08:05.366 --> 00:08:09.333
试图去恢复Claude模型的推理

00:08:09.333 --> 00:08:11.466
的过程和找到其中的线索

00:08:11.500 --> 00:08:13.866
以后啊这个COT推理的过程会

00:08:13.866 --> 00:08:15.900
被藏的越来越深

00:08:15.933 --> 00:08:17.266
那么蒸馏怎么办呢

00:08:17.266 --> 00:08:20.033
其实就是不断的攻防攻防

00:08:20.066 --> 00:08:21.033
互相套路

00:08:21.066 --> 00:08:22.900
越狱嘛反正是一直去试

00:08:23.066 --> 00:08:25.500
而这些前沿模型也会越来越不

00:08:25.533 --> 00:08:28.466
愿意把原始的这个COT的链路啊

00:08:28.600 --> 00:08:29.266
公布出来

00:08:29.300 --> 00:08:30.000
展示出来

00:08:30.066 --> 00:08:32.500
以后可能会有一个很火的角色

00:08:32.500 --> 00:08:34.800
比如说像AI狱警这样

00:08:34.866 --> 00:08:37.466
第三个类型我总结为judge蒸馏

00:08:37.666 --> 00:08:39.800
也就是让前沿模型

00:08:39.800 --> 00:08:41.500
让老师来当评委

00:08:41.666 --> 00:08:43.600
比如说你让一个普通模型

00:08:43.600 --> 00:08:44.866
比如说国产模型

00:08:45.066 --> 00:08:49.000
让它对一个问题生成a b c d四个答案

00:08:49.033 --> 00:08:49.666
这个时候啊

00:08:49.666 --> 00:08:51.333
你可以不用前沿模型来

00:08:51.333 --> 00:08:54.033
生成一个优质或者标准答案

00:08:54.166 --> 00:08:57.333
而是让这个前沿模型Claude

00:08:57.766 --> 00:09:01.633
来对这四个模型的答案进行打分

00:09:01.833 --> 00:09:03.366
他来评分 1-10分

00:09:03.400 --> 00:09:04.200
他打几分

00:09:04.366 --> 00:09:05.700
哪个答案好

00:09:05.766 --> 00:09:06.866
哪个答案不好

00:09:07.000 --> 00:09:07.766
为什么好

00:09:07.766 --> 00:09:08.766
为什么答错

00:09:08.800 --> 00:09:10.400
让他给出评价

00:09:10.433 --> 00:09:12.366
这时候链路就变成了什么

00:09:12.566 --> 00:09:14.333
普通模型生成答案

00:09:14.466 --> 00:09:17.366
然后Claude作为评委进行评分

00:09:17.533 --> 00:09:20.133
然后对所有的答案进行排序

00:09:20.533 --> 00:09:23.100
接着可以进行强化学习

00:09:23.300 --> 00:09:25.200
然后进行模型训练

00:09:25.200 --> 00:09:27.333
让普通的模型变强

00:09:27.433 --> 00:09:30.100
这个在Anthropic的这个报告里面

00:09:30.133 --> 00:09:31.800
关于智谱的这个描述

00:09:31.833 --> 00:09:33.600
和归因部分也有体现

00:09:33.866 --> 00:09:36.000
智谱呢就用这个Claude的模型

00:09:36.066 --> 00:09:38.933
让它生成一些评委评分

00:09:38.933 --> 00:09:41.333
的一些结果的一个标准

00:09:41.600 --> 00:09:42.733
然后还用它来做

00:09:42.766 --> 00:09:44.666
一些数据清洗的角色

00:09:44.666 --> 00:09:46.833
并且让它提供一些解决方案

00:09:46.933 --> 00:09:48.533
这个时候就不是纯粹的

00:09:48.566 --> 00:09:50.566
给答案对比这件事情了

00:09:50.700 --> 00:09:53.800
它让这个前沿模型在它的整个

00:09:53.833 --> 00:09:56.833
模型训练中扮演了更多的角色

00:09:56.866 --> 00:09:58.466
这个前沿的模型不仅

00:09:58.466 --> 00:10:00.800
是当老师给解题过程

00:10:00.833 --> 00:10:03.166
而是它也可以是出题的老师

00:10:03.333 --> 00:10:06.066
也可以是阅卷评分的老师

00:10:06.300 --> 00:10:08.900
它还可以是数据的清洗员

00:10:09.000 --> 00:10:11.300
还可以是安全的检查员

00:10:11.333 --> 00:10:13.333
还可以是最后的强化

00:10:13.333 --> 00:10:14.900
学习的这个评估员

00:10:14.933 --> 00:10:16.566
如果是经常看我节目

00:10:16.566 --> 00:10:18.266
的老的粉丝和观众

00:10:18.266 --> 00:10:20.266
一定感受到我平时在

00:10:20.300 --> 00:10:22.100
节目中经常用这个方法

00:10:22.266 --> 00:10:23.933
比如说我经常用多个

00:10:23.966 --> 00:10:26.633
模型来处理同一个任务

00:10:26.933 --> 00:10:28.900
然后我再用一个前沿模型

00:10:28.933 --> 00:10:31.633
比如说用GPT的Codex来对

00:10:31.633 --> 00:10:33.533
这些结果进行评分

00:10:33.600 --> 00:10:35.966
然后评价这几个模型

00:10:35.966 --> 00:10:37.666
的能力和最后的答案

00:10:37.833 --> 00:10:39.900
然后给出我的评测结论

00:10:40.133 --> 00:10:43.266
这本质上不就是使用judge的方式

00:10:43.366 --> 00:10:45.366
让这个前沿模型扮演

00:10:45.366 --> 00:10:47.266
一个评委的角色吗

00:10:47.300 --> 00:10:49.566
你看看从蒸馏的角度来

00:10:49.566 --> 00:10:52.433
理解我节目中的评测的方法

00:10:52.500 --> 00:10:54.266
是不是又升维了

00:10:54.300 --> 00:10:55.633
第四种蒸馏方式啊

00:10:55.633 --> 00:10:58.166
我总结叫做Replay蒸馏

00:10:58.466 --> 00:10:59.100
什么意思

00:10:59.100 --> 00:11:01.166
就是不用自己出题

00:11:01.333 --> 00:11:04.000
直接拿真实用户的问题

00:11:04.200 --> 00:11:07.100
重新让老师再做一遍

00:11:07.133 --> 00:11:08.466
你知道玩这个路子的

00:11:08.466 --> 00:11:10.033
是哪家模型公司吗

00:11:10.233 --> 00:11:13.766
是小米的模型MIMO他们家玩的

00:11:14.033 --> 00:11:15.166
就是假设啊

00:11:15.400 --> 00:11:17.833
他们家公司已经有100万的

00:11:17.866 --> 00:11:20.466
真实开发者的这个conversation

00:11:20.666 --> 00:11:21.366
这个对话

00:11:21.666 --> 00:11:24.633
这个实际上是非常宝贵的数据啊

00:11:24.666 --> 00:11:27.266
大家不要觉得自己很多

00:11:27.266 --> 00:11:29.133
地方可以免费用一些模型啊

00:11:29.133 --> 00:11:32.566
实际上都是这些模型公司的养料

00:11:32.866 --> 00:11:35.300
这里面会包含一些真的bug

00:11:35.566 --> 00:11:37.466
真的项目真的IDE

00:11:37.466 --> 00:11:38.333
真的文件

00:11:38.466 --> 00:11:39.900
真的用户意图

00:11:40.066 --> 00:11:41.766
真的失败案例

00:11:41.800 --> 00:11:43.800
原来在小米的模型里面

00:11:43.900 --> 00:11:45.666
它就会有原始的用户

00:11:45.666 --> 00:11:48.100
任务和小米给出的答案

00:11:48.200 --> 00:11:50.000
那么重新Replay一遍呢

00:11:50.000 --> 00:11:52.733
就是把同一个任务给到Claude

00:11:52.966 --> 00:11:55.166
然后再获得Claude的答案

00:11:55.200 --> 00:11:56.966
然后就立刻得到了什么呢

00:11:57.066 --> 00:11:58.266
首先是一个task

00:11:58.700 --> 00:12:00.066
用户的真实任务

00:12:00.066 --> 00:12:01.433
然后是student

00:12:01.800 --> 00:12:02.766
MIMO的答案

00:12:02.933 --> 00:12:04.033
然后是teacher

00:12:04.200 --> 00:12:05.066
Claude的答案

00:12:05.166 --> 00:12:06.533
接下来就可以干什么

00:12:06.600 --> 00:12:07.666
就可以比较

00:12:07.733 --> 00:12:08.400
可以judge

00:12:08.600 --> 00:12:09.500
可以回写

00:12:09.900 --> 00:12:12.633
可以SFT可以RL了

00:12:12.666 --> 00:12:14.233
小米把自己代码相关

00:12:14.233 --> 00:12:16.633
的coding session给到claude

00:12:16.733 --> 00:12:19.066
然后呢Claude还可以被用于

00:12:19.066 --> 00:12:21.333
重构它的开发环境

00:12:21.333 --> 00:12:22.533
再清洗对话

00:12:22.566 --> 00:12:24.666
然后再生成回答

00:12:24.733 --> 00:12:27.200
再生成响应评价的答案

00:12:27.200 --> 00:12:30.866
这可比人工去造Benchmark厉害多了

00:12:30.966 --> 00:12:32.400
经常我给大家演示的

00:12:32.400 --> 00:12:33.533
考虑到隐私啊

00:12:33.566 --> 00:12:35.566
我都是造的这些数据

00:12:35.666 --> 00:12:39.066
而这些数据都是用户的真实意图

00:12:39.400 --> 00:12:42.966
而用户本身就会成为源源不断

00:12:42.966 --> 00:12:46.033
的Benchmark的生产者和生成者

00:12:46.066 --> 00:12:47.900
第五种蒸馏方式啊我不说

00:12:47.900 --> 00:12:50.200
可能很多人还蒙在鼓里

00:12:50.433 --> 00:12:52.200
我叫做shadow teacher

00:12:52.400 --> 00:12:53.633
影子老师

00:12:53.633 --> 00:12:56.233
这是一个水加茅台的故事

00:12:56.333 --> 00:12:57.000
怎么说呢

00:12:57.066 --> 00:12:59.100
就是本来你只是要了一杯水

00:12:59.133 --> 00:13:00.666
你花了一杯水的钱

00:13:00.766 --> 00:13:03.466
结果这个水里面掺了茅台

00:13:03.633 --> 00:13:04.533
怎么理解啊

00:13:04.700 --> 00:13:08.900
就是用户以为自己用的是学生模型

00:13:08.933 --> 00:13:09.600
结果

00:13:10.000 --> 00:13:13.266
后台偷偷的让老师回答

00:13:13.266 --> 00:13:15.133
然后用户被告知的

00:13:15.133 --> 00:13:17.100
是学生模型的回答

00:13:17.333 --> 00:13:19.500
有不有毁你之前的认知

00:13:19.533 --> 00:13:20.900
就是你给他一个问题

00:13:21.066 --> 00:13:22.900
然后后台呢判断

00:13:23.033 --> 00:13:25.600
诶这个问题非常有价值啊

00:13:25.633 --> 00:13:27.166
这条数据很值钱啊

00:13:27.433 --> 00:13:28.100
然后呢

00:13:28.200 --> 00:13:32.566
他就把这个问题的请求转给了Claude

00:13:32.733 --> 00:13:34.166
让Claude来回答

00:13:34.333 --> 00:13:37.533
然后把Claude的答案推送给用户

00:13:37.566 --> 00:13:38.333
与此同时

00:13:38.333 --> 00:13:40.600
他在后台把这个提示词

00:13:40.833 --> 00:13:42.600
加上Claude的回答

00:13:42.733 --> 00:13:44.566
加上他的推理过程

00:13:44.600 --> 00:13:48.433
全部都被写入了他的训练的数据集

00:13:48.466 --> 00:13:50.366
根据Anthropic的报告啊

00:13:50.633 --> 00:13:53.800
月之暗面和Deepseek都在这样干

00:13:53.800 --> 00:13:55.033
那怎么发现的呢

00:13:55.066 --> 00:13:58.500
因为Claude它在清洗的时候发现

00:13:58.566 --> 00:14:01.633
这里面出现了非常多涉及

00:14:01.666 --> 00:14:04.766
企业和涉及一些特殊行业

00:14:04.800 --> 00:14:07.566
领域的一些机密的数据

00:14:07.700 --> 00:14:10.300
出现在了模型的对话里面

00:14:10.466 --> 00:14:12.733
而这些模型的对话本不

00:14:12.766 --> 00:14:16.300
应该出现在海外模型里面的

00:14:16.333 --> 00:14:17.933
这里面就有两个问题

00:14:17.966 --> 00:14:20.400
本来你花了一个更便宜的钱

00:14:20.533 --> 00:14:22.766
却买到了一个更贵的服务

00:14:22.966 --> 00:14:24.100
另外一方面呢

00:14:24.100 --> 00:14:27.133
就是本来你觉得你用的是国产模型

00:14:27.166 --> 00:14:29.366
不涉及到一些安全性的问题

00:14:29.700 --> 00:14:33.366
结果模型悄悄地转包到了海外模型

00:14:33.533 --> 00:14:36.466
把你的一些企业内部的信息

00:14:36.833 --> 00:14:39.400
泄露到了不应该泄露的地方

00:14:39.633 --> 00:14:42.100
涉及到信息安全的问题了

00:14:42.133 --> 00:14:43.066
但是要知道啊

00:14:43.100 --> 00:14:45.866
这样的方式本身对国产

00:14:45.900 --> 00:14:48.666
模型的训练是非常有帮助的

00:14:48.900 --> 00:14:51.333
因为很多这样的问题

00:14:51.533 --> 00:14:53.200
它是在特定的

00:14:53.233 --> 00:14:56.533
比如说一个国产的IDE里面去产生的

00:14:56.633 --> 00:14:59.466
它本来是它原始的Harness的架构

00:14:59.533 --> 00:15:01.066
那在这个Harness里面

00:15:01.100 --> 00:15:03.400
它本身是自带任务

00:15:03.433 --> 00:15:04.500
还带上下文

00:15:04.500 --> 00:15:05.366
又带文件

00:15:05.400 --> 00:15:06.233
带工具调用

00:15:06.233 --> 00:15:07.800
还带模型的尝试

00:15:08.066 --> 00:15:09.866
带错误带用户反馈

00:15:09.966 --> 00:15:13.266
然后现在再返回一个最终的结果

00:15:13.600 --> 00:15:16.266
它的信息密度是非常高的

00:15:16.300 --> 00:15:18.666
比单纯的那种聊天记录

00:15:18.666 --> 00:15:20.533
的信息密度高非常多

00:15:20.633 --> 00:15:22.833
所以通过这样的方式转包

00:15:22.833 --> 00:15:25.066
获得了前沿模型的回答

00:15:25.100 --> 00:15:26.633
然后作为训练集

00:15:26.733 --> 00:15:30.266
对于模型的成长是非常有帮助的

00:15:30.300 --> 00:15:33.033
所以你也会感知到为什么几家

00:15:33.033 --> 00:15:36.133
大的公司都在拼命推他们的IDE

00:15:36.300 --> 00:15:37.566
推他们的agent

00:15:37.566 --> 00:15:38.700
第六种蒸馏方式啊

00:15:38.733 --> 00:15:40.900
我叫做中转站蒸馏

00:15:41.266 --> 00:15:42.866
哎很多人没听错啊

00:15:42.933 --> 00:15:45.466
你是不是经常发现很多中转站

00:15:45.700 --> 00:15:48.566
它使用一些前沿模型的价格

00:15:48.633 --> 00:15:51.933
比你直接到官方那里使用要便宜

00:15:52.200 --> 00:15:52.866
为什么

00:15:53.066 --> 00:15:55.400
这个商业逻辑想清楚了没有啊

00:15:55.433 --> 00:15:57.333
他赚的可能根本不是

00:15:57.333 --> 00:15:59.500
什么TOKEN间的差价

00:15:59.766 --> 00:16:02.566
而是这个数据的产业链

00:16:02.933 --> 00:16:05.366
他最后啊会把这个对话的

00:16:05.366 --> 00:16:09.133
过程直接卖给其他的AI实验室

00:16:09.466 --> 00:16:12.100
就是自己不用产生数据

00:16:12.333 --> 00:16:14.166
直接去中转站把

00:16:14.166 --> 00:16:16.266
上下文把数据买过来

00:16:16.366 --> 00:16:18.366
买别人的Claude对话

00:16:18.533 --> 00:16:22.066
把这些对话拿来训练自己的模型

00:16:22.066 --> 00:16:23.833
因为在这些中转站上面啊

00:16:23.833 --> 00:16:25.633
天然就有提示词

00:16:25.666 --> 00:16:27.766
上下文和Claude的回答

00:16:27.933 --> 00:16:29.733
如果说你去保存

00:16:29.900 --> 00:16:32.800
成千上百的整个的会话过程

00:16:32.866 --> 00:16:34.866
那么就会形成非常

00:16:34.866 --> 00:16:37.000
有价值的数据资产

00:16:37.400 --> 00:16:40.500
甚至你知道的一些中转站

00:16:40.700 --> 00:16:44.466
它就是大厂下水自己干的

00:16:44.466 --> 00:16:47.333
只不过外面包了一个壳而已

00:16:47.366 --> 00:16:48.433
第七种方式啊

00:16:48.433 --> 00:16:50.633
我定义为pipeline蒸馏

00:16:50.800 --> 00:16:53.133
就是数据工厂蒸馏

00:16:53.200 --> 00:16:54.033
怎么理解啊

00:16:54.233 --> 00:16:56.433
原来呢我们蒸馏的方式是让这个

00:16:56.466 --> 00:16:59.066
教师模型教会学生模型

00:16:59.366 --> 00:17:00.233
这种方式啊

00:17:00.233 --> 00:17:01.033
非常的隐秘

00:17:01.066 --> 00:17:02.100
但是很高级

00:17:02.233 --> 00:17:06.166
现在他直接让这个教师构建出学校

00:17:06.433 --> 00:17:08.200
然后这个学校就可以

00:17:08.200 --> 00:17:10.633
源源不断的产生教师

00:17:10.800 --> 00:17:13.133
培养更多的学生了

00:17:13.333 --> 00:17:16.166
就是让这个老师自己出题

00:17:16.166 --> 00:17:17.266
自己回答

00:17:17.300 --> 00:17:18.400
自己批改

00:17:18.466 --> 00:17:21.633
你已经不需要给一个具体的题库了

00:17:21.633 --> 00:17:24.466
你直接给Claude一个具体的领域

00:17:24.700 --> 00:17:28.733
让它基于这个领域来进行自我出题

00:17:29.000 --> 00:17:30.666
让它出10万道题

00:17:30.766 --> 00:17:32.533
然后自己来回答

00:17:32.633 --> 00:17:35.233
让学生模型来完成整个任务

00:17:35.433 --> 00:17:38.000
然后Claude继续对这个任务的

00:17:38.033 --> 00:17:40.833
结果进行批改审阅评分

00:17:40.833 --> 00:17:42.200
然后可以纠错

00:17:42.233 --> 00:17:44.933
筛选出优质的回答和过程

00:17:45.200 --> 00:17:48.466
通过SFT和RL进行训练

00:17:48.500 --> 00:17:49.266
这个时候

00:17:49.366 --> 00:17:52.133
前沿的模型的角色不仅是老师

00:17:52.366 --> 00:17:53.866
他是整个学校

00:17:54.033 --> 00:17:55.366
出题老师是他

00:17:55.433 --> 00:17:56.633
任课老师是他

00:17:56.866 --> 00:17:58.233
批卷老师是他

00:17:58.433 --> 00:18:00.133
教研组组长是他

00:18:00.300 --> 00:18:02.400
教材的编写也是他

00:18:02.433 --> 00:18:05.233
他帮你设计的是整个流程

00:18:05.400 --> 00:18:07.766
他来构建整个框架

00:18:07.800 --> 00:18:10.066
上面我讲的7种蒸馏方式啊

00:18:10.100 --> 00:18:11.900
就是我从Anthropic的这个

00:18:11.933 --> 00:18:14.566
报告里面抽象总结出来的

00:18:14.600 --> 00:18:16.800
模型蒸馏模型的方式啊

00:18:17.133 --> 00:18:19.300
从某种意义上面来讲啊

00:18:19.466 --> 00:18:23.800
我觉得蒸馏也是AI时代技术

00:18:23.900 --> 00:18:27.033
扩散的一种非常重要的方式

00:18:27.066 --> 00:18:28.433
以前啊我们训练模型啊

00:18:28.433 --> 00:18:30.333
是人类写数据AI学

00:18:30.366 --> 00:18:32.666
或者AI生成数据AI学

00:18:32.833 --> 00:18:34.833
现在呢通过蒸馏的方式

00:18:35.033 --> 00:18:36.366
AI模型之间啊

00:18:36.366 --> 00:18:38.866
它们互相学习的程度已经到

00:18:38.866 --> 00:18:41.300
了一个非常深的一个程度

00:18:41.366 --> 00:18:42.800
在Anthropic的角度啊

00:18:42.800 --> 00:18:45.366
他确实觉得应该反对这种蒸馏

00:18:45.366 --> 00:18:47.533
而且他会找出各种

00:18:47.566 --> 00:18:49.833
方式来对抗这种蒸馏

00:18:49.833 --> 00:18:52.133
但是站在模型研究的角度

00:18:52.400 --> 00:18:55.666
蒸馏本身又是一种非常正常

00:18:55.866 --> 00:18:57.333
非常重要的技术

00:18:57.366 --> 00:19:00.900
连Anthropic自己都不得不承认这一点

00:19:00.900 --> 00:19:01.900
所以啊这一次

00:19:01.900 --> 00:19:05.900
Claude发现自己的智商正在被轻易

00:19:05.933 --> 00:19:08.666
的工业化的批量复制的时候

00:19:08.700 --> 00:19:10.300
又不禁引起我们反思

00:19:10.533 --> 00:19:14.133
AI行业它真正的护城河在哪里

00:19:14.166 --> 00:19:16.800
而原来我们在聊天沟通中所

00:19:16.800 --> 00:19:19.866
喜欢看到的这个COT的推理链

00:19:20.166 --> 00:19:23.166
是不是就从用户的一个体验功能

00:19:23.333 --> 00:19:26.000
变成了模型护城河的

00:19:26.000 --> 00:19:28.666
核心资产和安全边界了呢

00:19:28.700 --> 00:19:29.300
这个问题啊

00:19:29.300 --> 00:19:30.300
我觉得很复杂

00:19:30.300 --> 00:19:32.166
但是关于蒸馏这个事情啊

00:19:32.200 --> 00:19:34.766
我还想再深入拓展一下

00:19:34.766 --> 00:19:38.500
我们不要只停留在模型蒸馏模型

00:19:38.500 --> 00:19:40.300
实际上它有更大的

00:19:40.333 --> 00:19:42.433
应用价值和技术机制

00:19:42.466 --> 00:19:43.900
我这里讲一个暴论啊

00:19:43.933 --> 00:19:46.433
叫做一切皆可蒸馏

00:19:46.533 --> 00:19:49.000
等会我讲完蒸馏的整个拓展

00:19:49.000 --> 00:19:51.000
你再回过头来看这句话

00:19:51.133 --> 00:19:53.166
你会觉得特别的正确

00:19:53.200 --> 00:19:54.966
而且特别的有用

00:19:55.000 --> 00:19:56.133
有实用价值

00:19:56.533 --> 00:19:58.600
我们先看第一层拓展

00:19:58.766 --> 00:20:00.833
叫做用户的蒸馏

00:20:01.133 --> 00:20:02.100
你想过没有

00:20:02.100 --> 00:20:05.833
我们和AI对话交互的整个过程

00:20:06.066 --> 00:20:09.566
实际上就是模型蒸馏人的过程

00:20:09.933 --> 00:20:11.600
大家现在用Codex啊

00:20:11.633 --> 00:20:12.966
额度完全不够

00:20:13.033 --> 00:20:14.433
但是你想过没有

00:20:14.466 --> 00:20:18.166
你和GPT的聊天的额度和Codex

00:20:18.266 --> 00:20:20.533
执行任务的额度是分开的

00:20:20.833 --> 00:20:23.733
而且你使用GPT聊天的这个额度啊

00:20:23.766 --> 00:20:26.200
是很少达到上限的

00:20:26.200 --> 00:20:28.400
就是他给你的额度非常多

00:20:28.600 --> 00:20:32.533
为什么大部分的模型公司都会给你

00:20:32.533 --> 00:20:36.300
开放免费的和AI交互的这个额度啊

00:20:36.433 --> 00:20:40.733
实际上是这些模型公司在蒸馏你

00:20:40.766 --> 00:20:41.600
举个例子啊

00:20:41.600 --> 00:20:43.600
你想得到某个答案

00:20:43.866 --> 00:20:44.966
解决某个问题

00:20:44.966 --> 00:20:47.366
你会跟AI可能对话20轮

00:20:47.433 --> 00:20:49.633
最后拿到你想要的结果

00:20:49.966 --> 00:20:51.500
在这20轮对话里面

00:20:51.500 --> 00:20:52.566
你会做什么呢

00:20:52.600 --> 00:20:53.500
你会示范

00:20:53.633 --> 00:20:54.866
告诉他什么是对的

00:20:54.866 --> 00:20:55.900
给他举例子

00:20:55.933 --> 00:20:56.800
你会取舍

00:20:56.900 --> 00:20:58.966
告诉他a要b不要

00:20:58.966 --> 00:21:00.066
你会纠偏

00:21:00.100 --> 00:21:02.100
告诉他这个方向不对

00:21:02.233 --> 00:21:03.866
而这个过程

00:21:04.100 --> 00:21:06.966
其实你就是给了他非常多的输入

00:21:07.066 --> 00:21:09.266
最后得到满意的答案

00:21:09.433 --> 00:21:13.633
这些东西都是给到AI模型的语料

00:21:13.700 --> 00:21:16.233
而下一次优化训练之后

00:21:16.366 --> 00:21:19.566
模型就可以很快的识别你的意图

00:21:19.700 --> 00:21:21.233
它不需要你再过20轮

00:21:21.433 --> 00:21:23.900
它通过一到两轮的对话

00:21:23.900 --> 00:21:26.466
就可以实现满意的答案

00:21:26.500 --> 00:21:28.766
这也是为什么顶尖的大模型

00:21:28.933 --> 00:21:30.300
用户多的大模型

00:21:30.333 --> 00:21:32.800
它会有更好更多的数据集

00:21:33.133 --> 00:21:35.566
来提升它本身的模型能力

00:21:35.800 --> 00:21:37.833
大家现在用GPT的模型

00:21:37.933 --> 00:21:39.466
从GPT5到GPT6

00:21:39.500 --> 00:21:41.566
大家是不是有明显的感知

00:21:41.833 --> 00:21:43.666
模型越来越聪明

00:21:43.800 --> 00:21:47.766
需要的聊天的次数和轮次越来越少

00:21:47.800 --> 00:21:50.633
它能越来越知道你的心中所想

00:21:50.633 --> 00:21:51.533
怎么出来的

00:21:51.766 --> 00:21:54.133
就是通过模型蒸馏人

00:21:54.133 --> 00:21:56.700
的过程来逐步实现的

00:21:56.933 --> 00:21:59.566
我们以为我们在使用AI实际上

00:21:59.600 --> 00:22:02.366
从训练系统的视角来看

00:22:02.500 --> 00:22:04.666
人的每一次纠错

00:22:04.733 --> 00:22:07.533
实际上都可能成为什么是

00:22:07.533 --> 00:22:10.633
最好答案的一个监督信号

00:22:10.666 --> 00:22:12.600
既然模型能够蒸馏人

00:22:12.633 --> 00:22:14.600
那么我们是不是能进一步拓展

00:22:14.833 --> 00:22:18.566
模型公司也能够蒸馏它的员工呢

00:22:18.566 --> 00:22:19.566
比如说大厂

00:22:19.566 --> 00:22:21.600
像前段时间爆出来Meta

00:22:21.633 --> 00:22:23.766
它会记录它所有员工

00:22:23.766 --> 00:22:25.833
的键盘的各种操作

00:22:26.166 --> 00:22:29.533
来更大范围的炼化员工的能力

00:22:29.600 --> 00:22:32.566
去实现对人的能力的蒸馏

00:22:32.600 --> 00:22:34.566
这个实际上也是模型

00:22:34.566 --> 00:22:36.566
对人蒸馏的一种方式

00:22:36.666 --> 00:22:38.200
那我们更进一步

00:22:38.200 --> 00:22:40.566
我们可以主动的去实现这个过程

00:22:40.600 --> 00:22:43.300
比如说我有大量的节目制作

00:22:43.333 --> 00:22:46.033
的过程语料纠偏等等内容

00:22:46.300 --> 00:22:47.733
都在我的本机

00:22:47.800 --> 00:22:50.533
在我的新版的GPT的对话里面

00:22:50.600 --> 00:22:52.000
还有很多本地的材料

00:22:52.033 --> 00:22:54.466
还存在我本地的obsidian里面

00:22:54.466 --> 00:22:58.466
那在这个里面我就可以实现让模型

00:22:58.500 --> 00:23:02.033
对我的所有的语料过程进行蒸馏

00:23:02.033 --> 00:23:04.233
不仅是我这样的自媒体博主

00:23:04.233 --> 00:23:06.700
你日常的工作如果都实现了

00:23:06.700 --> 00:23:09.900
在线化和颗粒度的对齐和AI

00:23:09.933 --> 00:23:11.866
模型的对齐和纠偏的话

00:23:11.966 --> 00:23:14.633
你都可以尝试用前沿模型

00:23:14.633 --> 00:23:17.100
对你本身进行自我蒸馏

00:23:17.333 --> 00:23:20.233
让你的整体的能力再上一个台阶

00:23:20.266 --> 00:23:20.833
举个例子啊

00:23:20.833 --> 00:23:23.566
大家现在看到的是我Codex的对话框

00:23:23.833 --> 00:23:27.233
我正在对我自己的生活和工作场景

00:23:27.433 --> 00:23:31.000
特别是我视频制作的过程进行蒸馏

00:23:31.366 --> 00:23:33.933
这里面就会涉及到我的选题和脚本

00:23:34.000 --> 00:23:35.833
我的封面和标题

00:23:35.833 --> 00:23:37.266
客户的方案等等等等

00:23:37.433 --> 00:23:39.500
每一个环节都是可以

00:23:39.533 --> 00:23:41.166
蒸馏和抽象出来的

00:23:41.400 --> 00:23:43.533
就以选题和脚本为例

00:23:43.600 --> 00:23:46.033
那么AI会给我输出一个脚本

00:23:46.033 --> 00:23:47.766
我会返回给他告诉他

00:23:47.866 --> 00:23:49.166
跟他对齐颗粒度

00:23:49.166 --> 00:23:50.300
在这个脚本里面

00:23:50.333 --> 00:23:51.933
哪些内容我觉得不顺滑

00:23:52.133 --> 00:23:53.666
哪些部分你讲得太少

00:23:53.700 --> 00:23:56.433
哪些地方你可以加一些金句等等

00:23:56.700 --> 00:23:57.966
这个实际上就是我

00:23:58.000 --> 00:24:00.066
给他的投喂和纠偏

00:24:00.100 --> 00:24:02.833
那他就可以去对比他输出的答案

00:24:02.900 --> 00:24:06.300
和我给的一个调整示范的内容

00:24:06.566 --> 00:24:07.933
通过这样的方式

00:24:08.033 --> 00:24:10.866
原来我可能要聊三四轮四五轮

00:24:10.966 --> 00:24:13.933
到后面我可能只需要聊一两轮

00:24:14.066 --> 00:24:17.900
就可以完成我的选题和脚本的确认

00:24:17.933 --> 00:24:18.900
通过这样的方式

00:24:18.900 --> 00:24:21.566
我可以沉淀出来我自己的skill

00:24:21.800 --> 00:24:24.600
或者是通过某种工具的调用

00:24:24.633 --> 00:24:27.433
去让整个的过程更加的丝滑

00:24:27.433 --> 00:24:30.600
这某种程度上也是一种蒸馏

00:24:30.966 --> 00:24:32.066
因为这里的蒸馏它

00:24:32.100 --> 00:24:33.866
不只限于一期节目

00:24:34.033 --> 00:24:35.133
我的100多期

00:24:35.166 --> 00:24:36.433
200多期节目

00:24:36.433 --> 00:24:38.700
整个的制作过程如果都是

00:24:38.966 --> 00:24:42.066
在本地在Codex完成了整个过程

00:24:42.266 --> 00:24:44.900
再加上我本地的知识库obsidian

00:24:44.966 --> 00:24:48.066
那我的蒸馏过程就能够把

00:24:48.066 --> 00:24:50.766
我的整体能力去加强放大

00:24:50.833 --> 00:24:53.200
而这里只是其中的一个环节

00:24:53.300 --> 00:24:56.000
我还可以拓展到我的封面和标题

00:24:56.100 --> 00:24:57.466
之前我可能要不停的跟

00:24:57.500 --> 00:24:58.933
他讲我需要什么风格

00:24:59.000 --> 00:25:02.100
那形成一定的能力沉淀之后

00:25:02.200 --> 00:25:04.533
他可以很快的通过一轮

00:25:04.566 --> 00:25:07.266
对话就完成我想要的封面

00:25:07.300 --> 00:25:09.033
在这里的蒸馏示范里面呢

00:25:09.033 --> 00:25:10.700
我就选择了3期节目

00:25:10.700 --> 00:25:13.300
我告诉他具体的节目内容和索引

00:25:13.433 --> 00:25:15.966
因为这三期节目我是在整个的

00:25:15.966 --> 00:25:18.833
对话框中给了他明确的调整链

00:25:18.833 --> 00:25:20.900
它是有明确的我的调整

00:25:20.900 --> 00:25:23.466
和AI输出的前后对比的

00:25:23.466 --> 00:25:24.500
基于这个样本

00:25:24.500 --> 00:25:26.733
它给我做了第一轮的蒸馏

00:25:26.766 --> 00:25:28.566
你看已经完成了

00:25:28.700 --> 00:25:30.333
它这里是蒸馏的结果

00:25:30.400 --> 00:25:30.900
这里呢

00:25:30.933 --> 00:25:34.233
它会有明确的修改链和蒸馏发现

00:25:34.266 --> 00:25:36.700
它会识别我改了哪些

00:25:36.733 --> 00:25:37.566
然后在这里啊

00:25:37.566 --> 00:25:40.666
它是帮我直接沉淀了一个方法包

00:25:40.733 --> 00:25:43.366
那这个方法包是可以复用的

00:25:43.633 --> 00:25:46.733
相当于他把我的工作能力习惯

00:25:46.800 --> 00:25:50.233
判断这些有价值的东西抽象出来了

00:25:50.233 --> 00:25:51.333
你想想是不是

00:25:51.366 --> 00:25:54.466
这个事情在公司里面的员工的操作

00:25:54.466 --> 00:25:55.800
其实也是这个逻辑

00:25:55.933 --> 00:25:58.000
这个员工他要审核pass

00:25:58.433 --> 00:25:59.400
或者不通过

00:25:59.433 --> 00:26:01.933
那他判断的依据标准是什么

00:26:02.033 --> 00:26:05.766
就可以通过这样的方式蒸馏出来

00:26:05.866 --> 00:26:08.200
他为什么这么判断

00:26:08.233 --> 00:26:10.400
而蒸馏出来的其实

00:26:10.400 --> 00:26:13.233
就是人的能力和智慧

00:26:13.266 --> 00:26:14.966
我们再往前思考一步啊

00:26:15.066 --> 00:26:19.133
我们还可以做垂直专业领域的蒸馏

00:26:19.166 --> 00:26:20.733
而且越是垂直

00:26:20.966 --> 00:26:22.733
越是专业的领域啊

00:26:22.833 --> 00:26:25.233
小模型对大模型的蒸馏

00:26:25.233 --> 00:26:27.600
的替代的表现就会越好

00:26:27.866 --> 00:26:28.366
举个例子啊

00:26:28.400 --> 00:26:30.100
假如你有一家咨询公司

00:26:30.300 --> 00:26:31.333
你这个公司呢

00:26:31.366 --> 00:26:34.033
本身就有很多的典型任务

00:26:34.133 --> 00:26:36.300
再加上比如说10年的文档

00:26:36.500 --> 00:26:38.333
再加上专家的经验

00:26:38.433 --> 00:26:39.766
这个时候你可以做什么呢

00:26:39.833 --> 00:26:41.533
你就可以把你的企业

00:26:41.533 --> 00:26:43.066
的历史数据拿出来

00:26:43.300 --> 00:26:46.066
再加上Claude它的前沿的能力

00:26:46.266 --> 00:26:48.200
让Claude加上企业数据

00:26:48.200 --> 00:26:50.433
去完成200个任务

00:26:50.433 --> 00:26:53.166
这200个任务最好是有代表性的

00:26:53.200 --> 00:26:55.200
能够覆盖这个垂直

00:26:55.233 --> 00:26:56.666
领域的大部分内容

00:26:56.666 --> 00:26:57.833
Claude完成之后呢

00:26:57.833 --> 00:27:00.066
它就会形成一个答案和回复

00:27:00.066 --> 00:27:02.566
然后呢在这个咨询公司里会有专家

00:27:02.666 --> 00:27:04.733
就让这些专家基于

00:27:04.766 --> 00:27:06.933
克劳德答案进行纠偏

00:27:06.933 --> 00:27:08.866
而这些专家的纠偏

00:27:09.000 --> 00:27:11.433
就是非常有价值的输入

00:27:11.800 --> 00:27:14.833
Claude就可以根据这些内容去总结

00:27:14.933 --> 00:27:16.500
什么情况下应该这样做

00:27:16.533 --> 00:27:18.300
什么情况下不能这么做

00:27:18.433 --> 00:27:19.233
什么是对的

00:27:19.266 --> 00:27:20.066
什么是错的

00:27:20.066 --> 00:27:21.766
什么是优秀答案

00:27:21.766 --> 00:27:23.300
什么是理想答案

00:27:23.366 --> 00:27:24.800
然后在这个领域

00:27:24.866 --> 00:27:26.400
你就形成了你的

00:27:26.400 --> 00:27:28.766
一个比较黄金的data set

00:27:28.900 --> 00:27:30.433
形成了一个数据集

00:27:30.700 --> 00:27:31.733
形成了知识库

00:27:31.766 --> 00:27:33.966
然后你就可以用国产模型小

00:27:34.000 --> 00:27:36.566
模型或者一些agent来跑了

00:27:36.633 --> 00:27:38.633
这个也是一种非常

00:27:38.633 --> 00:27:40.333
深度的新型的蒸馏

00:27:40.366 --> 00:27:42.200
就是你蒸馏的不纯粹

00:27:42.200 --> 00:27:44.533
的是Claude本身的能力

00:27:44.600 --> 00:27:45.966
你蒸馏的是

00:27:46.266 --> 00:27:48.566
企业数据加上Claude能力

00:27:48.600 --> 00:27:51.400
再加上人类的专家判断

00:27:51.400 --> 00:27:54.000
三者融合之后的能力

00:27:54.100 --> 00:27:56.333
而这个价值本身

00:27:56.433 --> 00:28:00.100
它比Claude直接蒸馏的意义是更大的

00:28:00.233 --> 00:28:03.233
它是在垂直领域非常专业的

00:28:03.266 --> 00:28:04.200
像这些应用啊

00:28:04.200 --> 00:28:06.233
就可以用到很多具体的领域

00:28:06.433 --> 00:28:09.600
包括写作设计法律咨询

00:28:09.600 --> 00:28:12.400
企业等等内部的专业领域

00:28:12.400 --> 00:28:13.433
其实在这个领域啊

00:28:13.433 --> 00:28:15.266
会有非常多的现实案例

00:28:15.266 --> 00:28:17.400
可以实现这样的智能蒸馏

00:28:17.433 --> 00:28:19.800
我给大家讲两个具体的场景

00:28:19.800 --> 00:28:21.066
相信对大家有启发

00:28:21.066 --> 00:28:22.966
你会知道怎么去做蒸馏

00:28:23.000 --> 00:28:24.700
怎么去提升自己的生产力

00:28:24.866 --> 00:28:25.766
第一个场景

00:28:25.800 --> 00:28:27.600
是一个设计师的场景

00:28:27.733 --> 00:28:30.600
怎么让AI蒸馏出这个

00:28:30.600 --> 00:28:32.566
设计师的审美和洞察

00:28:32.733 --> 00:28:33.900
那首先呢

00:28:33.933 --> 00:28:38.100
我给这个AI100张这个设计师经手的

00:28:38.100 --> 00:28:40.866
确认的认可的100张设计图

00:28:41.033 --> 00:28:44.366
然后让AI来蒸馏这些图

00:28:44.366 --> 00:28:47.166
的生成的逻辑和方式

00:28:47.300 --> 00:28:48.700
他们做的好的地方

00:28:48.733 --> 00:28:50.300
为什么要这样做等等

00:28:50.333 --> 00:28:51.433
蒸馏完成之后

00:28:51.600 --> 00:28:53.600
然后按照这个逻辑

00:28:53.800 --> 00:28:55.933
来生成一系列的图

00:28:56.133 --> 00:28:57.766
然后把生成好的图

00:28:57.900 --> 00:28:59.866
再丢给这个设计师

00:29:00.000 --> 00:29:02.300
让设计师来挑选确认

00:29:02.400 --> 00:29:03.933
并且最好是标注一下

00:29:04.066 --> 00:29:05.366
为什么这张图ok

00:29:05.366 --> 00:29:06.733
为什么这张图不行

00:29:06.766 --> 00:29:09.766
那人确认的这个挑选结果

00:29:09.800 --> 00:29:14.566
的反馈本身就是一种蒸馏对不对

00:29:14.600 --> 00:29:17.433
然后AI继续优化逻辑

00:29:17.533 --> 00:29:19.500
继续生成新的图

00:29:19.633 --> 00:29:22.566
然后这个逻辑又不断的上升了

00:29:22.633 --> 00:29:25.766
它生图的整个的逻辑又升级了

00:29:25.800 --> 00:29:27.666
又不断的有人反馈

00:29:27.666 --> 00:29:29.166
那这个人的反馈

00:29:29.166 --> 00:29:30.200
人的纠偏

00:29:30.400 --> 00:29:33.200
越到后面会变得越来越少

00:29:33.200 --> 00:29:35.600
你会发现在这个过程

00:29:35.833 --> 00:29:39.966
人AI它实际上是在双向蒸馏的

00:29:39.966 --> 00:29:41.866
有了这样的蒸馏思路之后啊

00:29:41.966 --> 00:29:43.433
甚至我们都能够基于

00:29:43.466 --> 00:29:45.333
结果来反向的蒸馏

00:29:45.500 --> 00:29:48.266
就以大家现在看到的这个文创

00:29:48.300 --> 00:29:50.433
产品协同的设计方案为例啊

00:29:50.800 --> 00:29:54.866
这是我给到AI的一个完整的方案

00:29:54.866 --> 00:29:56.233
我把这个PPT给到它

00:29:56.466 --> 00:29:59.533
我让它给我反向的抽象

00:29:59.766 --> 00:30:03.333
蒸馏出这个文创产品方案

00:30:03.366 --> 00:30:06.433
它形成的生产路径是什么

00:30:06.800 --> 00:30:10.733
我可以以果为因来反向蒸馏过程

00:30:10.733 --> 00:30:13.666
是不是就和蒸馏的逆向

00:30:13.700 --> 00:30:15.966
工程的过程是一样的

00:30:16.066 --> 00:30:18.433
这里是我蒸馏的初步的结果

00:30:18.600 --> 00:30:21.066
我实际上是可以继续的迭代去做的

00:30:21.133 --> 00:30:23.566
然后再加一下一些人的反馈

00:30:23.600 --> 00:30:25.100
那么以后我就可以

00:30:25.133 --> 00:30:26.933
通过这样的逆向工程

00:30:27.000 --> 00:30:29.100
把它蒸馏出来整个的生产过程

00:30:29.200 --> 00:30:31.666
然后再反向的推回去

00:30:31.733 --> 00:30:33.366
我可以基于它的推导

00:30:33.500 --> 00:30:35.666
帮我实际的生成验证

00:30:35.800 --> 00:30:38.266
然后我再不断的反馈和迭代

00:30:38.333 --> 00:30:41.666
最后这个整个的方案的生产过程

00:30:41.733 --> 00:30:43.966
是不是就可以被我推导

00:30:44.200 --> 00:30:45.833
然后蒸馏出来了

00:30:45.900 --> 00:30:48.633
再说一个比较实用的现实的场景

00:30:48.666 --> 00:30:50.866
比如电商公司要做投放

00:30:51.033 --> 00:30:53.466
你就可以让AI来生成

00:30:53.466 --> 00:30:55.133
一系列的投放计划

00:30:55.466 --> 00:30:57.133
然后这个投放计划你可以

00:30:57.166 --> 00:30:59.633
交给专门的投手去审核

00:30:59.866 --> 00:31:01.333
这个投手就会判断

00:31:01.333 --> 00:31:03.066
哪些计划是可行的

00:31:03.133 --> 00:31:04.966
哪些计划是不可行的

00:31:05.500 --> 00:31:06.500
对于公司来说

00:31:06.533 --> 00:31:08.500
你可以要求这些投手

00:31:08.500 --> 00:31:11.266
标注它可行不可行的原因

00:31:11.433 --> 00:31:13.100
合理不合理的原因

00:31:13.133 --> 00:31:14.200
人做出反馈

00:31:14.233 --> 00:31:17.000
标注好之后再给到AI去

00:31:17.033 --> 00:31:19.733
调整这些投放计划而且

00:31:20.066 --> 00:31:22.933
这些AI整合出来的投放计划

00:31:22.966 --> 00:31:24.066
最后投出去

00:31:24.200 --> 00:31:26.633
它会有数据反馈的

00:31:26.633 --> 00:31:28.933
最后投出来的效果好不好

00:31:29.000 --> 00:31:31.366
人还可以去做评价

00:31:31.433 --> 00:31:34.133
去说明对应的原因和反馈

00:31:34.200 --> 00:31:37.033
然后AI就可以根据人的意见

00:31:37.200 --> 00:31:40.066
以及投放的数据反馈再

00:31:40.066 --> 00:31:43.033
进一步生成新的投放组合

00:31:43.266 --> 00:31:44.400
在这个过程中

00:31:44.700 --> 00:31:48.100
投手的意见相当于是专家的意见

00:31:48.300 --> 00:31:50.400
是不是就被蒸馏了

00:31:50.566 --> 00:31:54.100
AI对投放这个事情的理解

00:31:54.366 --> 00:31:56.400
是不是也被蒸馏了

00:31:56.433 --> 00:31:57.533
而在这个过程中

00:31:57.533 --> 00:32:01.033
可以不断的用一些高等级的模型

00:32:01.133 --> 00:32:04.600
对标准答案的回答进行沉淀

00:32:04.866 --> 00:32:07.100
告诉哪些是好的答案

00:32:07.233 --> 00:32:08.633
哪些是坏的答案

00:32:08.800 --> 00:32:12.400
它的整个的data set就这样沉淀下来了

00:32:12.433 --> 00:32:14.200
这样就可以不断的

00:32:14.200 --> 00:32:16.566
无限循环和loop下去

00:32:16.833 --> 00:32:19.600
实际上这个过程再

00:32:19.600 --> 00:32:21.266
拓散一下是什么呢

00:32:21.300 --> 00:32:23.266
很多高级的模型

00:32:23.466 --> 00:32:25.666
也是这么训练出来的

00:32:25.666 --> 00:32:27.200
我们再发散一步

00:32:27.233 --> 00:32:30.166
是不是可以继续做AI来

00:32:30.200 --> 00:32:33.533
蒸馏AI组织的协作方式

00:32:33.566 --> 00:32:36.900
在未来agent可能越来越成熟了

00:32:36.900 --> 00:32:39.333
那么一个很重要的问题可能

00:32:39.333 --> 00:32:42.666
是怎么把一个优秀的agent的

00:32:42.666 --> 00:32:45.033
协作方式把它蒸馏出来

00:32:45.033 --> 00:32:47.566
比如说在一个协作体系里面

00:32:47.633 --> 00:32:48.900
它有计划的agent

00:32:49.266 --> 00:32:50.666
有研究的agent

00:32:50.933 --> 00:32:52.400
有写代码的agent

00:32:52.666 --> 00:32:54.433
有复盘的agent

00:32:54.633 --> 00:32:55.933
有做测试的agent

00:32:56.000 --> 00:32:57.400
还有审阅的agent

00:32:57.833 --> 00:33:01.466
把整个的团队方式运行10万次

00:33:01.600 --> 00:33:04.466
然后去发现什么任务它是

00:33:04.500 --> 00:33:07.300
需要planner计划这个角色的

00:33:07.333 --> 00:33:10.566
什么时候需要reviewer复盘者介入

00:33:11.100 --> 00:33:13.766
什么时候应该让贵的模型介入

00:33:13.900 --> 00:33:15.300
什么时候可以选择

00:33:15.366 --> 00:33:17.366
性价比的模型就可以了

00:33:17.400 --> 00:33:21.066
最后蒸馏出来的是一种agent组织

00:33:21.100 --> 00:33:24.500
协同的一种方式规则和框架

00:33:24.533 --> 00:33:26.900
再回过头来看我们开始的那句话

00:33:27.033 --> 00:33:27.966
蒸馏一切

00:33:28.100 --> 00:33:29.466
是不是挺对的

00:33:29.566 --> 00:33:31.200
我们可以把蒸馏一切啊

00:33:31.200 --> 00:33:32.600
分为5个层级

00:33:32.933 --> 00:33:36.033
整理成一张非常漂亮的图谱

00:33:36.033 --> 00:33:38.800
这是一条非常优美的演化

00:33:38.966 --> 00:33:42.066
从蒸馏答案获得大模型的结果

00:33:42.200 --> 00:33:45.200
再到蒸馏思考获得推理链

00:33:45.200 --> 00:33:47.500
再接着可以蒸馏行动

00:33:47.566 --> 00:33:48.433
再深入一点

00:33:48.433 --> 00:33:51.766
我们可以蒸馏垂直的工作方法

00:33:51.766 --> 00:33:52.633
形成skill

00:33:52.933 --> 00:33:54.366
SOP prompt memory

00:33:54.466 --> 00:33:55.166
进一步的

00:33:55.200 --> 00:33:56.400
我们对对象

00:33:56.433 --> 00:33:59.333
对人和组织进行蒸馏

00:33:59.533 --> 00:34:01.500
形成我们的agent system

00:34:01.566 --> 00:34:02.633
蒸馏的本质

00:34:02.633 --> 00:34:06.100
实际上是把一次昂贵的智能过程

00:34:06.200 --> 00:34:09.600
变成下一次相对廉价可以复用的

00:34:09.633 --> 00:34:10.766
能力所以啊

00:34:10.800 --> 00:34:13.800
我们万事万物皆可蒸馏

00:34:13.833 --> 00:34:15.533
Claude的智能可以蒸馏

00:34:15.766 --> 00:34:19.133
Codex的computer use的执行过程可以蒸馏

00:34:19.166 --> 00:34:21.966
一个顶级的专家的认知可以蒸馏

00:34:22.033 --> 00:34:24.633
一套组织能力可以蒸馏

00:34:24.633 --> 00:34:27.733
我觉得这才是蒸馏让普通人

00:34:27.733 --> 00:34:30.600
能够产生无限想象力的地方

00:34:30.700 --> 00:34:32.100
蒸馏你搞懂了吗

00:34:32.266 --> 00:34:34.066
还有哪些概念或者训练

00:34:34.066 --> 00:34:36.133
方法你希望去深入的了解

00:34:36.233 --> 00:34:37.466
希望跟我探讨的

00:34:37.466 --> 00:34:39.433
欢迎在评论区跟我留言

00:34:39.466 --> 00:34:42.100
如果觉得我的这个视频有趣有料

00:34:42.166 --> 00:34:43.033
喜欢我的视频

00:34:43.066 --> 00:34:44.733
也欢迎订阅我的频道

00:34:44.833 --> 00:34:45.933
灵姐说AI

00:34:45.933 --> 00:34:47.100
打开你的小铃铛

00:34:47.133 --> 00:34:49.400
我们下期节目再见啦拜拜