逐字稿文字預覽
我們講的是一個Worthy Agent一個小案例。今天晚上我給大家講的這個Worthy Agent,它的最大的特點就是架構不同。我們採用的是稱之為叫三明治架構。 讲到这个三明治架构 我首先给你解释一下 什么叫三明治架构 那这里要讲到 所有市面上的 只要是涉及到语音制农体的 三种主流价格 OK 从工程的实现角度啊 我们把所有的语音制农体 它底层的架构分成三个 但我这个文档我不可以呢 一个一个给大家说啊 这个文档我们明天 训练结束之后的时候会发啊 包括代码 包括代码也会发 好 我们继续讲 第一种架构 就是我今天晚上我要讲的三明治架构 它采用的是STT加上大语言推定模型 加上TTS模型 你看很明显 看到有个这么东西 像一个三明治一样 把一个东西夹在中间 把Agent加上推定模型夹在中间 对吧 这个就是所谓三明治架构 三明治架构什么好处 稍等我等会把这个讲完 第二种是原生 原生实时的speed to speed的架构 原来我用的就是speed to speed的架构 再讲一次 这个架构就是speed to speed的架构 那这个特点呢 就是你得找一个 可以实时进行语音交付的多模态模型 这一定要是实时的 real time的一定是实时的 如果你找的不是那种实时的多模态大模型 不行 但问题在于 来了啊 问题在于市面上现在很少有成熟稳定的知名的实时的多模态大模型 包括国内包括国外 很多人说老师不对啊 那个那个 那个质朴的质朴那个5.5.6 5.7 我知道他是多模态的大模型 他能够处理语音啊 你要明白 这个所说的多模特大模型 它不单是输入是语音图片文字视频 输出也是语音文字图片视频 你要明白这一点 对我们的语音这东西来说 那输出也应该是语音 所以实际上 满足这个要求的 目前我主流的那些大模型 其实很少 几乎没有 目前我怎么没找到一个 我给大家随便说几点 这个稍微扩展一下好吧 这个大家对模型的分类 也一个最基本的了解 这个所以我觉得也不是 也不是这个扯淡 应该是增加一下大家的知识面 大家可以看到 制谱里面也有 签问里面也有 包括国外的这个OpenAI的GPD5.6 5.5 很多同学说 这不都是多模态大模型吗 你要注意 是的 他们是确实实是多模态大模型 但是这里面所说的多模态大模型 跟我们讲的real time的多模态大模型 多模态语音大模型还不一样 不一样在哪里呢 你看我们随便打开一个 比如说假设我们很多人说 老师你看这个5V 质朴的5V 或者是4.6V 也无所谓了 那你发现没有 它最大的一个问题就在这 我不知道大家看到了没有 看到没 它的输入没问题 支持多模态的 但是输出不支持多模态 懂吗 老师那他输出不知是多么 他为什么就不能作为你刚刚所说的这个架构的一种模型呢 因为语音制浓体它最重要的是实时性 你不能说老师我语音制浓体简单 我反正输的是语音 最后生成的回复的也是语音就行了嘛 没错 确实没错 大家讲这个是对的 但是市面上的这个语音直农体 跟真正意义上的 我所说的语音直农体项目 最大的一个问题 就在于这个延迟性和实时性 这个正要八经的语音直农体的延迟性 你应该是感受不出来 大概在零点二秒以内 对大家听到这个词啊 零点二秒以内 让人类感受不出来 那老师那那那叫你这么说 我用质谱的这个5V 他能感受得出来吗 当然会 好吧 当然会 如果你采用的是speed to speed的话 他当然会 为什么 因为他输出的是文本 你还需要再把文本变成什么 变成语音 对吧 是不是 好 那还有棒连 这个棒连 这个棒连 这个棒连 这个棒连 实时 人生实时的一个特点 好 我讲完这个之后了 当我这里没讲详细啊 我重点是想谈两件事情 第一件事情 就你既然是一个智能体 那么智能体得有循环迭代 得有用户意图识别 得有工具的调用 skill的调用 等等上下文管理 你既然是个智能体 你是不是这些都应该有 没错吧 好 但问题在于 如果你采用这种原生的实时的 这种价格的方式的时候 你发现你去找一个这样的模型 可能能找到 但是他对智能体的支持不是特别好 他在智能体 这个这种数据平台上的测试得分很低 最近大家听到两个新闻 第一个新闻是中国上海的一个模型 叫来自于这个KIMI的K3 是吧 还有这个质朴的最新的5.2 在国外所有这些非常知名的测试平台上 得到的分数是非常接近于 OpenAI的5.5对吧 也非常接近于Antherapyc里面的 各种4.6的这个这个Opus的4.6的这样的模型 那大家最重要的你知道吗 是看两个数据得分 一个是什么数据 一个是coding的数据 一个是智能体的数据 我不知道大家是否能听得懂我讲的话 我这里面我今天没有准备好准备好那个图片 我这个本来按道理说给大家要看那个图片的描述了 我可能可能这个质谱里面 这个摩塔社区里面有 对摩塔社区里面有 一般来说一个模型的新模型发布 它都会有这样的一个各个数据平台的一个得分情况 好吧 我看一下有没有 这个大家听懂的 Q1啊 就是任何一个牛逼的模型 之所以在全国来说 是比较高的一个 比较比较高知名度的 他有两个分数很重要 一个是这个分数 大家看 这个分数 好吧 还有一个是关于coding的那个分数 但最正的是这个 大家为什么要重点看这个指标吗 看这个基准测试的数据 这个基准测试的数据集的测试结果 测试结果的分数吗 为什么大家看这个 大家知道不 就不用我再说了吧 好吧 大家为什么要看这个指标 其他的不看 或者其他的很少看 不是完全不看啊 其实我们跟国外的模型比较 重要的就比较两个最重要的指标 一个是这个智能体的分数 智能体的能力 智能体的准确性的能力 还有一个是一个coding能力 就这两个 你发现,你像DeepSync V4,Flash 0731,这个正式版,你发现他是不是非常接近于Opus Anthropic的Opus 4.8,对吧? 没错吧 所以我们国外也好 国内也好 大家都知道 这个DeepSync V4的正式版本 好像跟这个Opus 4.8 是相接近 其实不单是DeepSync 还有那个刚刚我说的Kimin的Key3 以及智朴的最新发布的那个模型 是吧 对吧 那我那老师你讲这话什么意思呢 是这样子的 就是你的智能 你要你要想作为智能体的核心推敌模型 那么你一定要找 你一定要去找 这个分数比较高的那些模型 懂意思吧 现在我明白了吗 那么这个分数比较高的那些模型 都是什么 这个 这个 这个 这个 是吧 当然还有这个OpenAI的 这个GPT5.5 5.6 那个 那个 那个 他没列在这里头 对吧 哦 明白了 老师少说大概你懂意思了 就是说 我如果要开发一个流逼的智能体 那我智能体里面的核心推理模型 和核心的意图识别模型 得是很强的 而且怎么证明它强 就是看这个模型 在这个数据级上的基准测试的得分来判断的 是吧 是的 没错是这个意思 好 接下来我再讲另外一句话 好 那有一些 有一些全模态的大模型 他虽然也能够支持语音的输入 同时也支持语音的输出 但问题在于 他在这个数据级的基准测试的得分 是非常非常的低的 举个例子 比如说像全模态大模型 有一个 就是我们经常讲的 签文里面有一个 稍等啊 搜索一下 看是能搜到啊 这个搜索框去了 这个 好吧 这就是千万里面一个非常典型的全模态大模型 什么叫全模态大模型呢 就是 这个网页打不开啊 就是他输入的可以是语音 然后他可以思考 思考完之后 它输出的结果 也可以是语音 也可以是文字 语音文字都支持 那这种模型 是不是非常适合 我们做这种 这个语音的智能体 是的 非常适合的 但问题在于 这样的模型 它在智能体 这个数据级上的评测得分 是远远低于 大家看到的 这些主流的推定模型 现在明白意思吧 所以 在实际的企业开发过程中 如果要做一个语音模型 你又想要保证实时性 你又想保证我这个智能体核心的推理模型和意图识别模型 是很好的模型 是很牛的模型 那这两个要求都要满足 说实话 很难有完美的方案 所以为了同时满足这两个要求 我们今天重新 根据当了我前两天也是看到网上论文 根据网上论文 我构建了一个新的方案 叫三明治方案 那三明治方案它的区别是 它的特点是什么呢 就是重点放在智能体这一块 智能体的核心推理模型 我还是使用这些像 DeepSync V4的正式版 或者Opus的4.8 或者是OpenAI的5.6 5.5这样的模型 或者是质朴的 对吧最新的模型 好然后呢 但这两个 他在智能体这方面 在智能体这个 这个基准测试数据上表现分数非常高 对吧还不错非常好 可是问题是他对语音的输入和输出 不是特别支持 对吧 所以就有一个这么一个矛盾点 那怎么办呢 我在它的前面 加上一个STD模型 我在它的后面 加上一个TTS模型 把它夹到中间 就称之为这样 三米之架构 现在我应该讲清楚了
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：39.3 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：42.6 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.7 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.8 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.8 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.8 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：94.9 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：1.0 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：1.1 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。