逐字稿文字預覽
歡迎收聽聽書Podcast本大由壯菜工程師製作。 那個現在想請你在腦海中稍微想像一下一個我們日常工作極度混亂的場景好了。 嗯,多混亂。 這是你正身處在一個可能有八個人同時講話的那種會議室裡面。 哇,那真的很吵耶。 對,超級吵。 然後有人在為了那個專案的進度激烈爭論, 然後旁邊可能還有人在小聲碎碎唸。 重點是大家不但中英文夾雜 還不斷互相搶話跟疊話 這聽起來就是 每天辦公室會發生的噩夢啊 沒錯沒錯 但這個時候如果你想像一下 如果有一個助理 能在你剛講完話的 呃0.16秒以內 立刻遞給你一份完美的逐字稿 0.16秒 這幾乎是同步了吧 對 而且這份逐字稿上面 還清清楚楚的標記了 刚刚哪一句话是谁说的 甚至连两个人同时开口讲话的内容 它都分得一清二楚 这听起来真的很像某种科幻电影里 才有的可怕科技对吧 真的 一般人听起来一定觉得这不可能啦 但其实这已经不是科幻情节了 它已经真实发生了 就在2026年9月1日 META的超级智慧实验室 也就是那个MSL 哦MSL 对 他们正式发布了最新的 即时音讯感知模型 叫做Muse Voice Transcribe Muse Voice Transcribe 这名字听起来蛮厉害的 这个技术啊 它不仅做到了你刚刚描述的那种 在极度混乱的场景下完美记录 它甚至在多项基准测试里面 直接击败了Google跟OpenAI的同级产品 哇 直接打败两大巨头耶 所以在这场为你量身打造的 深度探跑中 我们绝点不会只是你知道 很无聊的去念那些声音的规格表 对那太无聊了 没错 我们会带你彻底拆解 这个打败众多科技巨头的核心技术 去了解这个AI 它是如何像我们人类大脑一样 懂得在听话的时候去犹豫 犹豫啊 这个词用的很好 对吧 对吧 然后这项技术将如何彻底颠覆你未来 跟科技装饰互动的方式 比如说你的Mac 甚至是未来的那个AR智慧眼镜 没错,不过其实要真正理解Muse Voice Transcribe到底有多强大 我们必须先回头看看 过去几年的语音辨识技术到底有多么的笨拙 笨拙,所以过去的方法很卡就对了 超级卡,我们得先看看过去的那种拼装车系统 拼装车 对,因为过去如果你想要完成一份会议的逐字稿 它其实不是一个单一的人工智慧在运作 它是需要三套完全独立的系统来接力完成 呃哪三套 首先是那个ASR 也就是自动语音辨识系统 它只负责一件事情 就是把听到的声音转成文字 嗯就单纯听写而已 没错 接着这个文字和音讯会被丢给Diarization 也就是说话者分离系统 等等说话者分离 这听起来就像是一个事后侦探也 对对对 它就是负责回头去分辨说 现在这句话到底是会议室里面的哪个人说的 然后最后还需要过一个叫做 endpointing的端点侦测系统 端点侦测 这又是做什么的 这个就是用来判断说 这个人到底讲完话了没有 系统该不该切断麦克风 哇这听起来就像是一条 非常老旧而且缺乏效率的工厂管线 真的非常贴切的比喻 你可以想象就是三个工人站在输送袋旁边 第一个工人只顾着 听声音写字 然后把写好的纸条 赶快传给第二个工人 然后第二个工人 再去对比声音 猜这到底是谁说的 最后再传给第三个工人 去决定这句话 是不是真的结束了 没错 就是这么繁琐 而且只要其中一个环节出错 整个流程就会大塞车 真的 我之前用过一些 会议记录软体 最常发生的惨剧就是 那个 A老板的话才刚讲到一半 然后旁边B员工稍微咳嗽了一声 哦对系统就切断了 没错系统就以为A讲完了 直接把句子无情切断 然后还把后面半句算在B头上 这超尴尬的 这真的是传统架构的致命伤 过去这种做法通常需要大量的事后处理 也就是等你整段话都录完了 系统才能开始跑这些复杂的对比流程 所以根本不可能做到真正的及时 所以Meta这次的做法是怎么解决这个问题的 他们这次的做法可以说是破坏性的创新 他们把三个工人的工作全部交给了一个超级大脑同时完成 一个大脑全包了 对 Muse Voice Transcribe 它其实是建构在Meta的Muse Spark家族之上的一款自回归多模态模型 等一下先暂停一下 那个自回归多模态模型 这几个字听起来真的很像某种外星语言也 如果我们要用最白话的方式来理解 这到底是什么意思 简单来说了 多摩泰意味着 这个模型它可以同时看懂文字 也能听懂声音 它不是只吃单一一种资料 哦 就是眼观四面耳听八方的感觉 没错 那自回归的话 就像是我们在玩文字接龙一样 它会根据已经接收到的资讯 不断去预测下一步是什么 但最关键的突破在于 Meta在同一个音讯串流里面 直接引入了特殊的标记 也就是TOKENS 这完全打破了我们刚才说的 那个三阶段管线 标记 在在实际运作的画面上 到底会长什么样子 你想象一下 有一条连续的时间轴 当模型在及时聆听的时候 只要它侦测到换人说话了 它不会去呼叫别的系统来帮忙 那它怎么做 它会直接在自己生成的文字流里面 插入一个特殊的标记 叫做Start of Turn 也就是换人说话的标记 然后紧接着标注 这句话是Speaker A说的 哇 直接在同一个时间轴上标出来 对对对 同样的 刚你停顿或者讲完的时候 它也会立刻放入一个Speech Endpoint的语音结束标记 等于说所有的文字内容 还有身份辨识 语气停顿 全都在同一个时间轴上 由这个单一模型一次性全部吐出来 没有错就是这样 哇所以这代表着我们再也不用忍受那种很尴尬的语音输入时刻了耶 你们一定有碰过平时对着手机讲话稍微停顿想个词 系统就以为你讲完了 对然后就无情的把你切断 没错现在这个模型它能真正理解对话的节奏 它知道你只是在脑袋里面那个卡词了而不是真的结束发言 没错,这正是单一串流模型带来的巨大优势 但其实,这背后隐藏着一个极度矛盾的工程难题 怎么说? 既然这是一个超级模型 要及时处理所有的声音、身份和文字 那他怎么知道什么时候该把文字吐出来? 哦,对耶 如果他一听到声音就立刻输出文字 那肯定很容易听错嘛 但如果他为了追求完美 等听完整句话才输出 那又失去了我们刚才说的 及时的意义 这真的很矛盾 这就像我们人类大脑 在听别人说话一样 你想想看 如果有人对我说苹果 就很简单的日常词汇 我的大脑几乎不需要思考 马上就能写下来 对 瞄懂 但如果今天 对方正在讲一段话 但如果今天,對方正在講一個超級複雜的醫學專有名詞,或者是他講話含糊不清,甚至口音很重,我的大腦其實會稍微,呃,猶豫個零點幾秒。 沒錯,會卡一下。 对,就是要等它把所有的音节都发音完整了,然后我在脑海中拼错确认之后,我才敢写下来。 这个AI模型难道也会模仿人类的这种犹豫吗? 这个人类大脑的类比非常到位耶。 其实META的工程师就是循着这个逻辑去设计的。 他们在技术摆笔书里面把这个称之为自适应延迟技术。 自适应延迟,听起来蛮高级的。 为了做到这点,模型在接收音讯的时候,它会把声音切成极小极小的区块,精确来说是80毫秒一个区块。 80毫秒,这也太短了吧? 超短的,也就是说在一秒钟之内,模型会接收到12.5个音讯区块。 而在接收到每一个80毫秒区块的当下,模型都必须做出一个决定。 什么决动? 就是我是要现在立刻输出文字 还是我要输出一个特殊的Next Audio标记 告诉自己说 我需要再多听下一个音讯巨块 这很酷耶 但他怎么知道自己该不该等啊 工程师到底是怎么教懂一个AI学会去内心的呢 这里的关键就在于强化学习 工程师在训练它的时候 设计了一个非常严苛的奖励机制 有多严苛 他们把那个字错率的惩罚跟延迟时间的惩罚 用惩罚结合在一起 你可以想象这是一场极限挑战 如果模型当个快手 一听到声音就乱拆 导致疯狂写错字 他就会被扣分 那如果他想当个腕面主义者呢 哇 如果他为了一个字等了两三秒才输说文字 他一样会被狠狠扣分 哇 这就像是在训练一个极度严格的听打员 你就是不能错 但是你也不能慢 就是这种严格的训练 逼迫模型学会了去判断语境 碰到简单的日常对话 它就立刻秒翻 碰到尖色的专有名词 或者是模糊的发音 它就会选择多等个几十毫秒 收集更多声音特征之后再输出 这蛮合理的 对 在工程界 这被称回达到了Pareto Front 也就是在速度与准确度之间 找到了无法再被超越的最佳边界 最终的结果是 Muse Voice Transcribe 从你讲完话 到萤幕上出现正确文字 只需要惊人的0.16秒 等等 我要在这里稍微挑战一下 0.16秒 人类大脑神经传导 做出反应的时间 搞不好都比这个慢 一个AI模型要在这0.16秒内 切分音讯 决定要不要等待 还要辨识是谁说话 并伸出文字 他怎么可能在这么短的时间内运算完 却不吃垮电脑的效能 这真的是个非常好的质疑 直觉上做这么多事情 应该会严重拖慢系统 对啊 听起来运算量超大的 但实际情况恰好相反 正因为它舍去了过去那种 三套系统互相传递资料的管线架构 它省去了系统之间来回沟通 和对时间轴的庞大运算成本 就不用大家互相等来等去 没错 一个单一的自回归模型 只要硬体的记忆体频宽足够 它处理连续串流的效率 其实远比传统的分工合作还要快得多 这也就是为什么 它能压榨出0.16秒这种极限速度 哇 原来是这样 理论和底层机制听起来确实很惊人啦 但我们都知道 实验室里面的数据是一回事 把模型丢进残酷的真实世界 面对各种混乱的对话场景 那又是另外一回事了嘛 它在真实环境中的表现到底怎么样 那我们就来看看知名的AI评测机构 Artificial Analysis给出的硬数据吧 在纯英文的即时串流测试里面 Muse Voice Transcribe的字错率仅仅只有3.1% 3.1% 这算是很好的成绩吗 非常好 这是什么概面 它直接击败了目前语音领域的王者 也就是那个11实验室 他们的3.6% 哦 11 labs 对 它也赢过了Oper AI的GPT Live Transcribe的3.9 甚至把Google在8月才刚发布的 German Live 3.5 Transcribe Live的4.0 都抛在脑后 哇 全部斩压耶 没错 而且在讲者辨识错误率上 它的错误率只有17.5% 这个数字甚至赢过了市面上许多 允许你事后慢慢处理的那种非即时模型 不过我觉得我们必须拉回现实一下 我们的听众最关心的 绝对不是在一个纯英文 大家都自证强缘的环境里面 它有多准 嗯 确实 对嘛 我们在排湾 平时讲话可是中阴夹杂的耶 像是那个 我明天有个meeting 记得remind我一下 这种句子才是我们最正式的日常啊 Meta其实在这方面下了很大的功夫 这款模型发布的时候 就已经支援了70多种语言 其中有25种是经过完整验证的 最厉害的是 它原生就支援句子内部的鱼马转换 鱼马转换 意思是它不需要我去切换那个语言设定 就能自动听懂吗 是的 在官方释出的测试来源里面 有一段充满硬核科技术语的中文录音 测试者说 用Olama跑了向Meta的Muse Glamour 直接deploy在我的NVIDIA RTX 3090上 我这句话里面充满了英文专有名词数字 而且中英文切换完全是随机的耶 没错 母亲不需要任何提示就能无缝辨识 还能根据文法的上下文 去自动校正评字 说到真实世界的混乱 我看到资料里面 还有一个让我下巴掉下来的测试 你说那个爬山的那个吗 对对对 那个是一个长达一小时的音档 里面竟然有11个人 在洛杉矶讨论爬山 甚至还聊到遇到土狼的经历 你想想看 11个人在闲聊耶 一定有人在大笑 有人互相抢话 背景绝对还有各种环境噪音 这对AI来说 根本是地狱级的考验 真的 结果系统竟然能精准的 把那11个人的发言 一次不漏的拆解开来 还标上speakerA到K 这如果叫人类的听答员来做 听个10分钟 绝对崩溃磁石吧 但这在技术上 到底是怎么办到的 如果两个人 在同一微秒重叠讲话呢 这就是我们刚刚说的 多模态标记发挥威力的地方了 当两个人同时讲话的时候 传统系统的音轨会整个混在一起 变成无法辨识的噪音 嗯就胡称一团 对 但Muse Voice Transcribe 因为是从极短的80毫秒音讯区块 去提取特征 它可以同时触发多个讲者的token 可以同时触发 没错 它会在文字流里面并行输出 Speaker A说了这一段 同时Speaker B正在说那一段 它不是单线程的处理 而是能像解开毛线球一样 把交织在一起的音讯分离出来 这技术真的蛮扯的 不过身为替台湾听众把关的酒色 哦,什麼事實? 就是,根據台灣知名科技媒體電腦王阿達的實際測試,這項技術目前有一個在地化的致命缺陷。 嗯,在地化 对,尽管你对着麦克风说的是很标准的台湾繁体中文 它目前在荧幕上输出的文字依然全都是,呃,简体中文 这确实蛮麻烦的 对啊,不管设定怎么调,目前就是无法原声输出繁体字 这对台湾的使用者来说绝对还是一个不小的痛点啊 这的确是一个很明显的在地化缺陷 其实这显示出虽然模型的听力没有问题 它的神经网络完全能理解中文的语义 听得懂但写出来不对 没错 但在最后的文字渲染与输出层面 META的训练资料库 可能还是过度向简体中文倾斜了 这也反映了全球化大语言模型 在落地的时候 必然会面临到的文化与区域细节挑战了 这部分就需要META后续 透过微调来解决了 既然提到META的策略 我们来聊聊一个很反常的商业布局好了 我们都知道 Meta过去这一年来一直高举着开源的大旗 把他们最大的AI模型免费开放给全世界 对 开源界的老大哥 没错 但这一次Mail Voice Transcribe却选择了封闭权重 也就是不开源了 为什么 这次Meta确实选择了一条不一样的路 如果你是开发者 你无法直接下载模型版身 你必须透过Meta Model API来使用 哦 要收费了 不过收费其实相当低廉啦 大约是每1000分钟的音讯收费3美元 换算下来一个小时大概才0.18美元 那真的蛮便宜的 对 另外一般使用者其实可以透过他们新推出的程式撰写工具 叫做Muse Code 或者是直接在Mac电脑上下载Meta AI的应用程式来使用这项技术 所以这到底意味着什么 Meta把这个听力超强的模型紧紧锁在自家的生态系里面 甚至还跟Mac的键盘深度绑定 Mark Zuckerberg到底在盘算什么更大的棋局 这不仅仅是为了赚那个0.18美元吧 绝对不是为了这点API的零头啦 如果我们深入观察 Zuckerberg近期的内部发言 他不断强调未来的AI必须是个人化的超级智慧 个人化的超级智慧 这听起来很抽象耶 这跟一个语音转文字的模型有什么直接关系 关系太大了 如果AI要成为你最贴身 最懂你的个人助理 它就不能只是一个 你对着手机
本次執行流程與問題處理
下達指令
預期流程
- 下載與語音辨識
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：51.9 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：50.4 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.5 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.5 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.5 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.6 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.6 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.6 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：137.2 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.2 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.3 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。