影片筆記：一个 0.9B 开源语音模型，转写和说话人分离一次搞定，还把豆包 GPT-4o 甩在后面

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

復旦大學邱熙鵬教授團隊孵化之 OpenMOSS（模斯智能）發布開源模型 Mouse Transcribe Diaries，該模型結合 Whisper Medium 編碼器與 Qwen3 0.6B 解碼器，實現語音轉寫與說話人分離的端到端聯合訓練，在長上下文處理與多場景準確率上超越豆包、GPT-4o 等商業模型，並提供多種部署方式與網頁應用。

核心重點

• 架構創新與痛點解決：針對傳統語音轉寫（ASR）與說話人分離（Diarization）分開處理所導致的錯誤累積問題，提出端到端解決方案。透過聯合訓練，消除模組化方案的錯誤累積，避免局部最優導致全局崩盤。
• 技術架構：
• 音頻側：使用 Whisper Medium 編碼器，將聲音轉為聲學特徵。
• 文本側：使用 Qwen3 0.6B 解碼器（註：筆記中亦提及「QAM3 0.6B」及「通一千問的小模型」），生成文字。
• 連接方式：中間使用適配器，將音頻特徵進行四倍時間壓縮後輸入文本模型。
• 性能優勢：
• 在多個基準測試中，字符錯誤率（CER）低於豆包、GPT-4o、Gemini 3 Pro 等商業模型。
• 在電影對白等複雜場景表現優異，說話人分離的額外代價（Delta CER）幾乎為 0。
• 長上下文能力：支援 128,000 上下文窗口，可一次性處理約 90 分鐘的錄音，無需切片。
• 部署與應用：
• 提供多種部署方式：Transformers（研究用途）、SGLang Omni / vLLM（生產環境高吞吐）。
• 提供網頁應用 MPD Subtitle Web，支援瀏覽器界面操作、自動跑模型、網頁審閱及一鍵導出 JSON/SRT/MP4。
• 支援「熱詞」功能以引導專有名詞識別。
• 市場反響與成就：
• 開源不到 20 天即獲得 GitHub 高 Star 數（超過 1300 Star）。
• 在 Interspeech 2026 多語言低資源語音挑戰賽中獲得第一名，覆蓋 14 種語言。
• 參數量為 0.9B，授權協議為 Apache 2.0（可商用，無需付費）。

詳細大綱

一、 問題背景：傳統語音轉寫的痛點

• 會議記錄的難題：多人討論、插話、搶話導致轉寫文本混亂，難以區分誰說了什麼。
• 說話人分離難題（Diarization）：僅將話語轉為文字不夠，還需知道每句話是誰說的、發生在何時。
• 傳統流水線方案的缺陷：

1. VAD（語音活動檢測）切片。
2. ASR 模型轉寫。
3. 獨立的說話人分離模型標記。
4. 時間戳對齊。

• 致命傷：每一步獨立且會犯錯，錯誤會累積；局部最優導致全局崩盤；無法看到全局資訊（如同一人的聲音被切分後被誤認為兩人）。

二、 模型介紹：Mouse Transcribe Diaries

• 發布團隊：OpenMOSS（中文名：模斯智能），源自復旦大學邱熙鵬教授團隊。
• 模型參數與授權：
• 參數量：0.9B（約 9 億）。
• 協議：Apache 2.0（可商用，無需付費）。
• 權重存放於 Hugging Face。
• 技術架構細節：
• 結合 Whisper Medium 編碼器與 Qwen3 0.6B 解碼器。
• 實現轉寫與分離的聯合訓練，天生識別說話人，無事後拼接問題。

三、 輸出格式與解析

• 輸入：16000 Hz 單聲道音頻。
• 輸出格式：緊湊的時間流格式，包含時間戳與說話人編號。
• 範例：[0.48] [S01] 歡迎各位 至 [1.66]。
• 格式結構：[時間戳] [說話人編號] 內容。
• 後處理：可直接解析為結構化段落（起始時間、結束時間、說話人、文本），支援導出為 JSON 或 SRT 字幕格式。

四、 性能評估與基準測試

• 測試場景：真實長音頻多人場景，涵蓋中文會議與英文播客/電影。
• 核心指標：字符錯誤率（CER），越低越好。
• 數據對比：
• Azhel 4（中文會議）：
• Mouse Transcribe Diaries：14.84%
• 豆包：18.18%
• Gemini 3 Pro：22.75%
• Movies（英文電影）：
• Mouse Transcribe Diaries：6.36%
• GPT-4o：14.37%
• 豆包：9.94%
• Delta CER（說話人分離額外代價）：
• Mouse Transcribe Diaries：0.99（幾乎為 0，意味著分離說話人不拖累轉寫準確率）。
• 對比傳統方案：
• Whisper：只管轉寫，不管分離。
• Whisper X：社區常見組合，但仍是拼接流水線，存在錯誤累積。
• PiNote：專門分離工具，轉寫需另找工具。
• 結論：傳統生態被切碎，Mouse 將磚塊燒成整塊瓷磚，從根本上消除縫隙。

五、 部署方式與工具

• 研究用途：使用原生 Transformers 庫加載，幾行 Python 代碼即可運行，適合二次開發。
• 生產環境（高吞吐）：
• 使用 SGLang Omni（註：逐字稿提及「SGLine Omni」）服務框架。
• 單張 H100 顯卡可支持 16 路併發，每秒處理 82 秒音頻（實時率 0.092）。
• 長音頻單路實時率最低可達 0.0197（處理速度為音頻時長的 50 倍）。
• 兼容性選擇：
• 若環境為 CUDA 12，建議使用 vLLM（因 SGLang Omni 目前要求 CUDA 13）。
• 網頁應用：
• 名稱：MPD Subtitle Web。
• 功能：瀏覽器界面，上傳音頻/視頻，自動跑模型，網頁審閱，一鍵導出 JSON/SRT/MP4。
• 特性：支持中英文界面，支援「熱詞」功能以引導專有名詞識別。

六、 應用場景

1. 會議紀要：快速生成帶說話人和時間戳的全文，節省整理時間。
2. 播客與視頻字幕：直接輸出 SRT，標註說話人。
3. 訪談整理：記者、研究員處理大量錄音，解放生產力。
4. 專業領域：法庭記錄、醫療口述、客服質檢（對準確率和說話人識別要求高）。

七、 安裝與使用指南

• 環境要求：Python 3.12。
• 安裝步驟：

1. 使用 UV 包管理器建立虛擬環境。
2. 從 GitHub 倉庫安裝依賴：uv pip install ...。
3. 自動處理 PyTorch GPU 後端。

• 運行方式：
• 研究：直接使用 Transformers 加載模型進行推理。
• 服務：使用 SGLang Omni 或 vLLM 啟動 API 服務。
• API 兼容性：兼容 OpenAI 音頻接口，原有 Whisper API 代碼改地址即可遷移。
• 權重下載：從 Hugging Face 拉取，首次運行約下載 2GB。

八、 項目影響力與成就

• 開源時間：7 月 9 日開源，不到 20 天。
• GitHub 數據：Star 數超過 1300，登上 Trendshift 當日 Python 倉庫第 11 名。
• 競賽成績：在 2026 年語音領域頂會 Interspeech 舉辦的第二屆多語言低資源語音挑戰賽中獲得第一名，覆蓋 14 種語言。
• 總結：在長音頻多說話人場景中，同時贏得了準確率和效率，且代碼與權重完全公開。

工具 / 模型 / 名詞整理

• 模型名稱：
• Mouse Transcribe Diaries
• Whisper Medium (OpenAI)
• QAM3 0.6B (註：逐字稿提及，亦稱「通一千問的小模型」，疑為 Qwen3 0.6B)
• MOS (邱熙鵬團隊之前的對話大模型)
• GPT-4o
• Gemini 3 Pro
• 豆包
• Whisper X
• PiNote
• 組織/團隊名稱：
• OpenMOSS (中文名：模斯智能)
• 復旦大學 (邱熙鵬教授團隊)
• Hugging Face
• GitHub
• Trendshift
• Interspeech (2026)
• 技術/工具名稱：
• ASR (自動語音識別)
• VAD (語音活動檢測)
• Diarization (說話人分離)
• Transformers 庫
• Python
• SGLang Omni (註：逐字稿中亦出現「SGLine Omni」)
• vLLM
• CUDA 12 / CUDA 13
• MPD Subtitle Web
• UV (包管理器)
• PyTorch
• JSON, SRT, MP4
• OpenAI API (音頻接口)

操作流程整理

1. 環境準備：

• 安裝 Python 3.12。
• 使用 UV 包管理器建立虛擬環境。
• 從 GitHub 倉庫安裝依賴 (uv pip install ...)，自動處理 PyTorch GPU 後端。

1. 模型加載：

• 從 Hugging Face 拉取權重（首次運行約下載 2GB）。
• 研究用途：使用原生 Transformers 庫加載模型。
• 服務用途：使用 SGLang Omni 或 vLLM 啟動 API 服務。

1. 輸入處理：

• 準備 16000 Hz 單聲道音頻文件。
• 若使用網頁應用，可直接上傳音頻/視頻文件。

1. 模型推理：

• 模型將音頻特徵進行四倍時間壓縮後輸入文本模型。
• 生成包含時間戳與說話人編號的緊湊時間流格式輸出。

1. 後處理與導出：

• 解析輸出為結構化段落（起始時間、結束時間、說話人、文本）。
• 導出為 JSON、SRT 字幕格式或 MP4 視頻文件。
• 可在網頁應用中進行審閱，並使用「熱詞」功能優化專有名詞識別。

值得注意的限制或風險

• 技術架構依賴：模型依賴 Whisper Medium 編碼器與 Qwen3 0.6B 解碼器，其性能可能受基礎模型限制。
• 部署環境要求：
• 生產環境高吞吐部署需要特定 CUDA 版本（SGLang Omni 要求 CUDA 13，若為 CUDA 12 則建議使用 vLLM）。
• 高併發需求可能需要 H100 顯卡等高級硬體支援。
• 長上下文處理：雖然支援 128,000 上下文窗口，但處理極長音頻時仍需注意記憶體與計算資源消耗。
• 開源時間短：開源不到 20 天，生態系統與社區支援可能仍在發展初期。
• 特定場景表現：雖在多個基準測試中表現優異，但在極端噪音或特殊語言環境下的表現需進一步驗證。

逐字稿辨識疑點

• Mouse Transcribe Diaries：此名稱在逐字稿中多次出現，但與常見的語音模型命名習慣略有不同，需查證是否為正確的全稱或口誤。
• QAM3 0.6B：逐字稿提及此模型名稱，並註解為「通一千問的小模型」。通常千問系列為 Qwen，此處「QAM3」可能為聽寫錯誤或特定內部版本名稱，需查證。
• SGLine Omni：逐字稿中出現此名稱，但隨後又提到「SGLang Omni」。需查證正確的服務框架名稱是否為 SGLang 相關產品。
• 2026 年 Interspeech：逐字稿明確提到「2026 年語音領域的鼎會 Interspeech」。若當前時間未到 2026 年，此處可能為口誤（如實際為 2024 或 2025），或指未來的預測/規劃，需查證實際舉辦年份。
• Azhel 4：作為中文會議基準測試名稱，需查證是否為標準測試集名稱（如可能為 AISHELL 或其他變體）。
• Moth：在對比傳統方案時，逐字稿提到「Moth 這套做法」，前文一直在討論 Mouse Transcribe Diaries，此處「Moth」可能為口誤或筆誤。
• 1300 多 star：對於一個剛開源不到 20 天的模型，1300 Star 的數據需查證其真實性與時間點。
• 覆蓋 14 種語言：在 Interspeech 挑戰賽中，一個 0.9B 參數模型覆蓋 14 種語言並獲第一名，此數據需查證具體比賽規則與結果。

可延伸追問

• Mouse Transcribe Diaries 的聯合訓練具體如何實現轉寫與分離的端到端優化？
• 在實際生產環境中，SGLang Omni 與 vLLM 的效能差異與選擇建議為何？
• MPD Subtitle Web 的「熱詞」功能具體如何影響專有名詞的識別準確率？
• 該模型在處理非中文、非英語的多語言場景下的具體表現數據為何？
• 開源協議 Apache 2.0 下，商業應用的具體限制與注意事項有哪些？