逐字稿文字預覽
大家好欢迎来到灵姐说AI 这期视频啊 给大家介绍一个 大家可能比较熟悉 听得很多 但是未必深刻理解 知道怎么去应用的一个 模型的训练方法以及概念：蒸馏 我希望通过这期视频 你能够真正的理解蒸馏的本质 它有哪些类型 并且如何应用在我们 实际的生产力的场景中 我们先从最近闹得沸沸扬扬的 Anthropic发布的蒸馏报告说起啊 这个报告他们发布在9月10号 他声称7家中国的AI大模型的实验室 这些公司啊 对他们进行了深度的蒸馏 实际上Anthropic这家公司啊 对于蒸馏这个事情非常的重视 也非常的紧张 他们在2月份的时候就 披露了相关的数据 当时他们专门点名了 三家中国的AI模型公司 Deepseek、月之暗面、Minimax 进行了1,600多万次的交互蒸馏 这一次涉及的公司更多 覆盖的账户更多 涉及的交互次数更多 而且非常的深度 都是工业化级别的蒸馏 其中最其中最夸张的 规模最大的 大家猜猜是哪家公司 是阿里千问 根据Anthropic的报告说啊 在26年的5-7月之间 他观察到了阿里千问超过 1. 51亿次的Claude的数据交换和蒸馏 也就是说 它的峰值每天达到了300万次 其余的几家公司包括了 月之暗面、Deepseek、智谱、小米、商汤和Minimax Minimax 而且这一次Anthropic的 蒸馏报告特别指出啊 这些中国的AI实验室不是简单的说 拿Claude的回答做训练数据那么简单 他们是建立了工业化的流水线 去大规模的获取claude 模型的推理轨迹 agent能力 编程能力 数据分析能力和长程任务的能力 再把这些能力蒸馏 进自己的模型里面 因为这些AI实验室啊 他们要的不仅是答案 更想要整个的推理过程 而Claude方面 它在模型的构建过程中 它会刻意的去隐藏这些COT的推理链 所以这个攻防的过程啊 也变得特别有意思 根据Anthropic描述他们的攻击方式啊 我觉得也很有意思 其实也非常具有参考价值 这些模型公司啊 他们想尽办法把Claude 隐藏的这个reasoning trace 这个推理的过程给挖出来 比如说有人就会把这个 会话伪装成一个debug的过程 让它交出推理链 或者说有人尝试说让Claude把 之前他做的这个working memory 提一个任务说 你把这个内容翻译成 只包含片假名的日语 诱骗它把这个推理过程交出来 而且更夸张的是啊 有的AI实验室 它直接用了1. 2万种不同 的请求方式去实验 怎么把它的隐藏的 推理过程给套路出来 它的目的就是测试 看看哪一种提示词 哪一种路径 能够把能够把Claude的 推理路径给套出来 有可能大部分的 提示词方式都可能失败 但是只要有几种成功了 就可以用工业化的方式把它放大 作为蒸馏的一种有效的路径 所以这实际上是 一个很有意思的攻防 模型厂商呢 他说我不给你原始的COT 我只给你总结的thinking 但蒸馏方就一直在研究 怎么通过上下文翻译 Replay的方式等等 把这个推理的过程给恢复过来 然后再把这个reasoning推理 的过程变成训练数据 你看看这有不有一点像AI 时代的能力逆向工程 实际上啊 这个报告本身披露出了 非常多类似这些AI模型公司 他们蒸馏的方式啊 而这些蒸馏的类型啊 我会给大家在后面去给做总结 并且啊总结出的方式我们 可以进一步的拓展 把它用于我们日常的生产力环节 好准备好了吗 接下来我就带着大家 全面的去理解蒸馏 蒸馏啊不要把它仅仅的理解为 一种模型训练的技术 我认为蒸馏的本质是 一次昂贵的智能过程 它实际上是在压缩成下一次更便宜、更快、更稳定 一次更便宜更快更稳定 甚至不需要还原老师的 能力的这么一个过程 Anthropic它给我们看的 实际上是蒸馏中的一种 就是模型蒸馏模型 所以我会先跟大家去讲这个 模型蒸馏模型有哪些过程 有哪些类型 而沿着这个定义往外推 我们可以看到更多的东西 除了模型蒸馏模型之外 模型还可以蒸馏用户 产品也能够蒸馏模型 agent能蒸馏工作流 企业能蒸馏员工 甚至是人用AI来蒸馏自己 而这些就是我们广阔的应用场景 回到Anthropic这个报告来看啊 它里面讲了非常多的细节 是有助于我们去 理解模型是怎么蒸馏 传统的我们对蒸馏的理解 实际上是特别简单直接的 就是教师模型根据输入给出输出 然后学生模型学习 整个的信息交换的过程 学习这些exchange的过程 但是大家注意到这里面的 环节会涉及到inputs和OUTPUTS 在这个报告里面 它实际上把这个inputs和outputs怎么来 做了非常详细的解析和案例的披露 也就是这些中国的AI实验室 他们是怎么干的 这些东西啊 非常的有启发 可以分为7个类型 我总结下来 一个个跟大家去讲 第一种类型啊最传统 我总结为叫出题蒸馏 也可以叫做答案蒸馏吧 就是学生给老师出题 让老师回答 形成一个高质量的答案 你可以准备一个任务集 这个任务集呢 可以是coding数学agent数据分析 或者长程任务等等都可以 然后把这个问题给到Claude 让Claude来回答 形成高质量的答案或者推理 然后把这个答案抄下来 放进你的data set里面 接着通过SFT监督微调 或者是通过RL强化学习 来训练自己的模型 在这个报告里面啊 Anthropic声称阿里千问的蒸馏 模式就是最典型的例子 它主要是针对Opus 4. 6和4. 7的推理轨迹 它的整个的蒸馏任务是集中在agent 软件工程 还有一些长程任务上面 并且它把整个的 Transcript转成了SFT的数据 这种呢就是考试考卷式的蒸馏 这是最传统的蒸馏 也是最容易理解的 老师做1万道题 学生直接拿老师给的答案进行训练 第二种类型我总结为推理蒸馏 就是学生不仅是要答案 还要老师的解题过程 这个答案确实有价值 但是更值钱的是教师 模型它是怎么拆解问题 怎么判断 怎么试错 调用工具验证 得出最终答案的过程 要知其然 更要知其所以然 实际上它不仅是要老师授之以鱼 更要授之以渔 这个方式也是anthropic 这次最在意的一种方式 刚刚我提到了 这些攻击者测试啊 里面花了1. 2万种方式 通过翻译 debug replay等等方式 试图去恢复Claude模型的推理 的过程和找到其中的线索 以后啊这个COT推理的过程会 被藏的越来越深 那么蒸馏怎么办呢 其实就是不断的攻防攻防 互相套路 越狱嘛反正是一直去试 而这些前沿模型也会越来越不 愿意把原始的这个COT的链路啊 公布出来 展示出来 以后可能会有一个很火的角色 比如说像AI狱警这样 第三个类型我总结为Judge蒸馏 也就是让前沿模型 让老师来当评委 比如说你让一个普通模型 比如说国产模型 让它对一个问题生成a b c d四个答案 这个时候啊 你可以不用前沿模型来 生成一个优质或者标准答案 而是让这个前沿模型Claude 来对这四个模型的答案进行打分 他来评分 1-10分 他打几分 哪个答案好 哪个答案不好 为什么好 为什么答错 让他给出评价 这时候链路就变成了什么 普通模型生成答案 然后Claude作为评委进行评分 然后对所有的答案进行排序 接着可以进行强化学习 然后进行模型训练 让普通的模型变强 这个在Anthropic的这个报告里面 关于智谱的这个描述 和归因部分也有体现 智谱呢就用这个Claude的模型 让它生成一些评委评分 的一些结果的一个标准 然后还用它来做 一些数据清洗的角色 并且让它提供一些解决方案 这个时候就不是纯粹的 给答案对比这件事情了 它让这个前沿模型在它的整个 模型训练中扮演了更多的角色 这个前沿的模型不仅 是当老师给解题过程 而是它也可以是出题的老师 也可以是阅卷评分的老师 它还可以是数据的清洗员 还可以是安全的检查员 还可以是最后的强化 学习的这个评估员 如果是经常看我节目 的老的粉丝和观众 一定感受到我平时在 节目中经常用这个方法 比如说我经常用多个 模型来处理同一个任务 然后我再用一个前沿模型 比如说用GPT的Codex来对 这些结果进行评分 然后评价这几个模型 的能力和最后的答案 然后给出我的评测结论 这本质上不就是使用judge的方式 让这个前沿模型扮演 一个评委的角色吗 你看看从蒸馏的角度来 理解我节目中的评测的方法 是不是又升维了 第四种蒸馏方式啊 第四种蒸馏方式啊我总结叫做Replay蒸馏 什么意思 就是不用自己出题 直接拿真实用户的问题 重新让老师再做一遍 你知道玩这个路子的 是哪家模型公司吗 是小米的模型MIMO他们家玩的 就是假设啊 他们家公司已经有100万的 真实开发者的这个conversation 这个对话 这个实际上是非常宝贵的数据啊 大家不要觉得自己很多 地方可以免费用一些模型啊 实际上都是这些模型公司的养料 这里面会包含一些真的bug 真的项目真的IDE 真的文件 真的用户意图 真的失败案例 原来在小米的模型里面 它就会有原始的用户 任务和小米给出的答案 那么重新Replay一遍呢 就是把同一个任务给到Claude 然后再获得Claude的答案 然后就立刻得到了什么呢 首先是一个task 用户的真实任务 然后是student MIMO的答案 然后是teacher Claude的答案 接下来就可以干什么 就可以比较 可以judge 可以回写 可以SFT可以RL了 小米把自己代码相关 的coding session给到claude 然后呢Claude还可以被用于 重构它的开发环境 再清洗对话 然后再生成回答 再生成响应评价的答案 这可比人工去造Benchmark厉害多了 经常我给大家演示的 考虑到隐私啊 我都是造的这些数据 而这些数据都是用户的真实意图 而用户本身就会成为源源不断 的Benchmark的生产者和生成者 第五种蒸馏方式啊我不说 可能很多人还蒙在鼓里 我叫做shadow teacher 影子老师 这是一个水加茅台的故事 怎么说呢 就是本来你只是要了一杯水 你花了一杯水的钱 结果这个水里面掺了茅台 怎么理解啊 就是用户以为自己用的是学生模型 结果 后台偷偷的让老师回答 然后用户被告知的 是学生模型的回答 有不有毁你之前的认知 就是你给他一个问题 然后后台呢判断 诶这个问题非常有价值啊 这条数据很值钱啊 然后呢 他就把这个问题的请求转给了Claude 让Claude来回答 然后把Claude的答案推送给用户 与此同时 他在后台把这个提示词 加上Claude的回答 加上他的推理过程 全部都被写入了他的训练的数据集 根据Anthropic的报告啊 月之暗面和Deepseek都在这样干 那怎么发现的呢 因为Claude它在清洗的时候发现 这里面出现了非常多涉及 企业和涉及一些特殊行业 领域的一些机密的数据 出现在了模型的对话里面 而这些模型的对话本不 应该出现在海外模型里面的 这里面就有两个问题 本来你花了一个更便宜的钱 却买到了一个更贵的服务 另外一方面呢 就是本来你觉得你用的是国产模型 不涉及到一些安全性的问题 结果模型悄悄地转包到了海外模型 把你的一些企业内部的信息 泄露到了不应该泄露的地方 涉及到信息安全的问题了 但是要知道啊 这样的方式本身对国产 模型的训练是非常有帮助的 因为很多这样的问题 它是在特定的 比如说一个国产的IDE里面去产生的 它本来是它原始的Harness的架构 那在这个Harness里面 它本身是自带任务 还带上下文 又带文件 带工具调用 还带模型的尝试 带错误带用户反馈 然后现在再返回一个最终的结果 它的信息密度是非常高的 比单纯的那种聊天记录 的信息密度高非常多 所以通过这样的方式转包 获得了前沿模型的回答 然后作为训练集 对于模型的成长是非常有帮助的 所以你也会感知到为什么几家 大的公司都在拼命推他们的IDE 推他们的agent 第六种蒸馏方式啊 第六种蒸馏方式啊我叫做中转站蒸馏 哎很多人没听错啊 你是不是经常发现很多中转站 它使用一些前沿模型的价格 比你直接到官方那里使用要便宜 为什么 这个商业逻辑想清楚了没有啊 他赚的可能根本不是 什么TOKEN间的差价 而是这个数据的产业链 他最后啊会把这个对话的 过程直接卖给其他的AI实验室 就是自己不用产生数据 直接去中转站把 上下文把数据买过来 买别人的Claude对话 把这些对话拿来训练自己的模型 因为在这些中转站上面啊 天然就有提示词 上下文和Claude的回答 如果说你去保存 成千上百的整个的会话过程 那么就会形成非常 有价值的数据资产 甚至你知道的一些中转站 它就是大厂下水自己干的 只不过外面包了一个壳而已 第七种方式啊 第七种方式啊我定义为Pipeline蒸馏 就是数据工厂蒸馏 怎么理解啊 原来呢我们蒸馏的方式是让这个 教师模型教会学生模型 这种方式啊 非常的隐秘 但是很高级 现在他直接让这个教师构建出学校 然后这个学校就可以 源源不断的产生教师 培养更多的学生了 就是让这个老师自己出题 自己回答 自己批改 你已经不需要给一个具体的题库了 你直接给Claude一个具体的领域 让它基于这个领域来进行自我出题 让它出10万道题 然后自己来回答 让学生模型来完成整个任务 然后Claude继续对这个任务的 结果进行批改审阅评分 然后可以纠错 筛选出优质的回答和过程 通过SFT和RL进行训练 这个时候 前沿的模型的角色不仅是老师 他是整个学校 出题老师是他 任课老师是他 批卷老师是他 教研组组长是他 教材的编写也是他 他帮你设计的是整个流程 他来构建整个框架 上面我讲的7种蒸馏方式啊 就是我从Anthropic的这个 报告里面抽象总结出来的 模型蒸馏模型的方式啊 从某种意义上面来讲啊 我觉得蒸馏也是AI时代技术 扩散的一种非常重要的方式 以前啊我们训练模型啊 是人类写数据AI学 或者AI生成数据AI学 现在呢通过蒸馏的方式 AI模型之间啊 它们互相学习的程度已经到 了一个非常深的一个程度 在Anthropic的角度啊 他确实觉得应该反对这种蒸馏 而且他会找出各种 方式来对抗这种蒸馏 但是站在模型研究的角度 蒸馏本身又是一种非常正常 非常重要的技术 连Anthropic自己都不得不承认这一点 所以啊这一次 Claude发现自己的智商正在被轻易 的工业化的批量复制的时候 又不禁引起我们反思 AI行业它真正的护城河在哪里 而原来我们在聊天沟通中所 喜欢看到的这个COT的推理链 是不是就从用户的一个体验功能 变成了模型护城河的 核心资产和安全边界了呢 这个问题啊 我觉得很复杂 但是关于蒸
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：652.4 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：55.4 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.4 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.5 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.5 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.6 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：138.6 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.7 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.8 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
目前待解決問題與初步改善方向
- ⚠️ 全文快速校讀：已套用暫定修正，請確認
segment=7 已先套用暫定修正：模型的训练方法以及概念蒸馏 → 模型的训练方法以及概念：蒸馏；segment=26 已先套用暫定修正：Deepseek月之暗面Minimax → Deepseek、月之暗面、Minimax；segment=44 已先套用暫定修正：月之暗面Deepseek智谱小米商汤和 → 月之暗面、Deepseek、智谱、小米、商汤和Minimax；segment=127 已先套用暫定修正：它实际上是在压缩成下 → 它实际上是在压缩成下一次更便宜、更快、更稳定；segment=543 待確認：「Codex」在此處可能指代「GPT-4o」或特定API環境，或講者口誤。若指代通用API，可能為「API」或「模型」。但考慮到後文提到「GPT的Codex」，此處可能指「Codex API」或「GPT-4o」。因語境模糊，標記為待確認，但保留原詞。；暫定：大家现在用Codex啊额度完全不够；segment=582 待確認：原句「从GPT5到GPT6」可能為口誤，因為GPT-5和GPT-6尚未正式廣泛普及或講者可能指代最新可用版本（如GPT-4o）。需確認講者所指具體版本。；暫定：大家现在用GPT的模型从GPT4到GPT4o；segment=15 待確認：日期可能為口誤；暫定：这个报告他们发布在9月10号；segment=26 待確認：公司名稱連寫；暫定：Deepseek月之暗面Minimax
- 逐字稿可先使用，但有待校正清單
segment=543 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=582 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=15 rapid_semantic_review: 參考資料為「2026年9月報告」，未明確指出10日。；segment=26 rapid_semantic_review: 應為「Deepseek、月之暗面、Minimax」。；segment=44 rapid_semantic_review: 應為「月之暗面、Deepseek、智谱、小米、商汤、Minimax」。；segment=127 rapid_semantic_review: 應為「压缩成下一次」。；segment=169 rapid_semantic_review: 章節標題為「答案蒸馏」，講者口語先說「出题蒸馏」後修正為「答案蒸馏」。
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。