# 影片筆記：一个 0.9B 开源语音模型，转写和说话人分离一次搞定，还把豆包 GPT-4o 甩在后面


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

復旦大學邱熙鵬教授團隊孵化之 OpenMOSS（模斯智能）發布開源模型 **Mouse Transcribe Diaries**，該模型結合 Whisper Medium 編碼器與 Qwen3 0.6B 解碼器，實現語音轉寫與說話人分離的端到端聯合訓練，在長上下文處理與多場景準確率上超越豆包、GPT-4o 等商業模型，並提供多種部署方式與網頁應用。

## 核心重點

*   **架構創新與痛點解決**：針對傳統語音轉寫（ASR）與說話人分離（Diarization）分開處理所導致的錯誤累積問題，提出端到端解決方案。透過聯合訓練，消除模組化方案的錯誤累積，避免局部最優導致全局崩盤。
*   **技術架構**：
    *   **音頻側**：使用 Whisper Medium 編碼器，將聲音轉為聲學特徵。
    *   **文本側**：使用 Qwen3 0.6B 解碼器（註：筆記中亦提及「QAM3 0.6B」及「通一千問的小模型」），生成文字。
    *   **連接方式**：中間使用適配器，將音頻特徵進行四倍時間壓縮後輸入文本模型。
*   **性能優勢**：
    *   在多個基準測試中，字符錯誤率（CER）低於豆包、GPT-4o、Gemini 3 Pro 等商業模型。
    *   在電影對白等複雜場景表現優異，說話人分離的額外代價（Delta CER）幾乎為 0。
*   **長上下文能力**：支援 128,000 上下文窗口，可一次性處理約 90 分鐘的錄音，無需切片。
*   **部署與應用**：
    *   提供多種部署方式：Transformers（研究用途）、SGLang Omni / vLLM（生產環境高吞吐）。
    *   提供網頁應用 **MPD Subtitle Web**，支援瀏覽器界面操作、自動跑模型、網頁審閱及一鍵導出 JSON/SRT/MP4。
    *   支援「熱詞」功能以引導專有名詞識別。
*   **市場反響與成就**：
    *   開源不到 20 天即獲得 GitHub 高 Star 數（超過 1300 Star）。
    *   在 Interspeech 2026 多語言低資源語音挑戰賽中獲得第一名，覆蓋 14 種語言。
    *   參數量為 0.9B，授權協議為 Apache 2.0（可商用，無需付費）。

## 詳細大綱

### 一、 問題背景：傳統語音轉寫的痛點
*   **會議記錄的難題**：多人討論、插話、搶話導致轉寫文本混亂，難以區分誰說了什麼。
*   **說話人分離難題（Diarization）**：僅將話語轉為文字不夠，還需知道每句話是誰說的、發生在何時。
*   **傳統流水線方案的缺陷**：
    1.  VAD（語音活動檢測）切片。
    2.  ASR 模型轉寫。
    3.  獨立的說話人分離模型標記。
    4.  時間戳對齊。
    *   **致命傷**：每一步獨立且會犯錯，錯誤會累積；局部最優導致全局崩盤；無法看到全局資訊（如同一人的聲音被切分後被誤認為兩人）。

### 二、 模型介紹：Mouse Transcribe Diaries
*   **發布團隊**：OpenMOSS（中文名：模斯智能），源自復旦大學邱熙鵬教授團隊。
*   **模型參數與授權**：
    *   參數量：0.9B（約 9 億）。
    *   協議：Apache 2.0（可商用，無需付費）。
    *   權重存放於 Hugging Face。
*   **技術架構細節**：
    *   結合 Whisper Medium 編碼器與 Qwen3 0.6B 解碼器。
    *   實現轉寫與分離的聯合訓練，天生識別說話人，無事後拼接問題。

### 三、 輸出格式與解析
*   **輸入**：16000 Hz 單聲道音頻。
*   **輸出格式**：緊湊的時間流格式，包含時間戳與說話人編號。
    *   範例：`[0.48] [S01] 歡迎各位` 至 `[1.66]`。
    *   格式結構：`[時間戳] [說話人編號] 內容`。
*   **後處理**：可直接解析為結構化段落（起始時間、結束時間、說話人、文本），支援導出為 JSON 或 SRT 字幕格式。

### 四、 性能評估與基準測試
*   **測試場景**：真實長音頻多人場景，涵蓋中文會議與英文播客/電影。
*   **核心指標**：字符錯誤率（CER），越低越好。
*   **數據對比**：
    *   **Azhel 4（中文會議）**：
        *   Mouse Transcribe Diaries：14.84%
        *   豆包：18.18%
        *   Gemini 3 Pro：22.75%
    *   **Movies（英文電影）**：
        *   Mouse Transcribe Diaries：6.36%
        *   GPT-4o：14.37%
        *   豆包：9.94%
    *   **Delta CER（說話人分離額外代價）**：
        *   Mouse Transcribe Diaries：0.99（幾乎為 0，意味著分離說話人不拖累轉寫準確率）。
*   **對比傳統方案**：
    *   **Whisper**：只管轉寫，不管分離。
    *   **Whisper X**：社區常見組合，但仍是拼接流水線，存在錯誤累積。
    *   **PiNote**：專門分離工具，轉寫需另找工具。
    *   **結論**：傳統生態被切碎，Mouse 將磚塊燒成整塊瓷磚，從根本上消除縫隙。

### 五、 部署方式與工具
*   **研究用途**：使用原生 Transformers 庫加載，幾行 Python 代碼即可運行，適合二次開發。
*   **生產環境（高吞吐）**：
    *   使用 **SGLang Omni**（註：逐字稿提及「SGLine Omni」）服務框架。
    *   單張 H100 顯卡可支持 16 路併發，每秒處理 82 秒音頻（實時率 0.092）。
    *   長音頻單路實時率最低可達 0.0197（處理速度為音頻時長的 50 倍）。
*   **兼容性選擇**：
    *   若環境為 CUDA 12，建議使用 **vLLM**（因 SGLang Omni 目前要求 CUDA 13）。
*   **網頁應用**：
    *   名稱：**MPD Subtitle Web**。
    *   功能：瀏覽器界面，上傳音頻/視頻，自動跑模型，網頁審閱，一鍵導出 JSON/SRT/MP4。
    *   特性：支持中英文界面，支援「熱詞」功能以引導專有名詞識別。

### 六、 應用場景
1.  **會議紀要**：快速生成帶說話人和時間戳的全文，節省整理時間。
2.  **播客與視頻字幕**：直接輸出 SRT，標註說話人。
3.  **訪談整理**：記者、研究員處理大量錄音，解放生產力。
4.  **專業領域**：法庭記錄、醫療口述、客服質檢（對準確率和說話人識別要求高）。

### 七、 安裝與使用指南
*   **環境要求**：Python 3.12。
*   **安裝步驟**：
    1.  使用 **UV** 包管理器建立虛擬環境。
    2.  從 GitHub 倉庫安裝依賴：`uv pip install ...`。
    3.  自動處理 PyTorch GPU 後端。
*   **運行方式**：
    *   研究：直接使用 Transformers 加載模型進行推理。
    *   服務：使用 SGLang Omni 或 vLLM 啟動 API 服務。
    *   API 兼容性：兼容 OpenAI 音頻接口，原有 Whisper API 代碼改地址即可遷移。
*   **權重下載**：從 Hugging Face 拉取，首次運行約下載 2GB。

### 八、 項目影響力與成就
*   **開源時間**：7 月 9 日開源，不到 20 天。
*   **GitHub 數據**：Star 數超過 1300，登上 Trendshift 當日 Python 倉庫第 11 名。
*   **競賽成績**：在 2026 年語音領域頂會 **Interspeech** 舉辦的第二屆多語言低資源語音挑戰賽中獲得第一名，覆蓋 14 種語言。
*   **總結**：在長音頻多說話人場景中，同時贏得了準確率和效率，且代碼與權重完全公開。

## 工具 / 模型 / 名詞整理

*   **模型名稱**：
    *   Mouse Transcribe Diaries
    *   Whisper Medium (OpenAI)
    *   QAM3 0.6B (註：逐字稿提及，亦稱「通一千問的小模型」，疑為 Qwen3 0.6B)
    *   MOS (邱熙鵬團隊之前的對話大模型)
    *   GPT-4o
    *   Gemini 3 Pro
    *   豆包
    *   Whisper X
    *   PiNote
*   **組織/團隊名稱**：
    *   OpenMOSS (中文名：模斯智能)
    *   復旦大學 (邱熙鵬教授團隊)
    *   Hugging Face
    *   GitHub
    *   Trendshift
    *   Interspeech (2026)
*   **技術/工具名稱**：
    *   ASR (自動語音識別)
    *   VAD (語音活動檢測)
    *   Diarization (說話人分離)
    *   Transformers 庫
    *   Python
    *   SGLang Omni (註：逐字稿中亦出現「SGLine Omni」)
    *   vLLM
    *   CUDA 12 / CUDA 13
    *   MPD Subtitle Web
    *   UV (包管理器)
    *   PyTorch
    *   JSON, SRT, MP4
    *   OpenAI API (音頻接口)

## 操作流程整理

1.  **環境準備**：
    *   安裝 Python 3.12。
    *   使用 UV 包管理器建立虛擬環境。
    *   從 GitHub 倉庫安裝依賴 (`uv pip install ...`)，自動處理 PyTorch GPU 後端。
2.  **模型加載**：
    *   從 Hugging Face 拉取權重（首次運行約下載 2GB）。
    *   研究用途：使用原生 Transformers 庫加載模型。
    *   服務用途：使用 SGLang Omni 或 vLLM 啟動 API 服務。
3.  **輸入處理**：
    *   準備 16000 Hz 單聲道音頻文件。
    *   若使用網頁應用，可直接上傳音頻/視頻文件。
4.  **模型推理**：
    *   模型將音頻特徵進行四倍時間壓縮後輸入文本模型。
    *   生成包含時間戳與說話人編號的緊湊時間流格式輸出。
5.  **後處理與導出**：
    *   解析輸出為結構化段落（起始時間、結束時間、說話人、文本）。
    *   導出為 JSON、SRT 字幕格式或 MP4 視頻文件。
    *   可在網頁應用中進行審閱，並使用「熱詞」功能優化專有名詞識別。

## 值得注意的限制或風險

*   **技術架構依賴**：模型依賴 Whisper Medium 編碼器與 Qwen3 0.6B 解碼器，其性能可能受基礎模型限制。
*   **部署環境要求**：
    *   生產環境高吞吐部署需要特定 CUDA 版本（SGLang Omni 要求 CUDA 13，若為 CUDA 12 則建議使用 vLLM）。
    *   高併發需求可能需要 H100 顯卡等高級硬體支援。
*   **長上下文處理**：雖然支援 128,000 上下文窗口，但處理極長音頻時仍需注意記憶體與計算資源消耗。
*   **開源時間短**：開源不到 20 天，生態系統與社區支援可能仍在發展初期。
*   **特定場景表現**：雖在多個基準測試中表現優異，但在極端噪音或特殊語言環境下的表現需進一步驗證。

## 逐字稿辨識疑點

*   **Mouse Transcribe Diaries**：此名稱在逐字稿中多次出現，但與常見的語音模型命名習慣略有不同，需查證是否為正確的全稱或口誤。
*   **QAM3 0.6B**：逐字稿提及此模型名稱，並註解為「通一千問的小模型」。通常千問系列為 Qwen，此處「QAM3」可能為聽寫錯誤或特定內部版本名稱，需查證。
*   **SGLine Omni**：逐字稿中出現此名稱，但隨後又提到「SGLang Omni」。需查證正確的服務框架名稱是否為 SGLang 相關產品。
*   **2026 年 Interspeech**：逐字稿明確提到「2026 年語音領域的鼎會 Interspeech」。若當前時間未到 2026 年，此處可能為口誤（如實際為 2024 或 2025），或指未來的預測/規劃，需查證實際舉辦年份。
*   **Azhel 4**：作為中文會議基準測試名稱，需查證是否為標準測試集名稱（如可能為 AISHELL 或其他變體）。
*   **Moth**：在對比傳統方案時，逐字稿提到「Moth 這套做法」，前文一直在討論 Mouse Transcribe Diaries，此處「Moth」可能為口誤或筆誤。
*   **1300 多 star**：對於一個剛開源不到 20 天的模型，1300 Star 的數據需查證其真實性與時間點。
*   **覆蓋 14 種語言**：在 Interspeech 挑戰賽中，一個 0.9B 參數模型覆蓋 14 種語言並獲第一名，此數據需查證具體比賽規則與結果。

## 可延伸追問

*   Mouse Transcribe Diaries 的聯合訓練具體如何實現轉寫與分離的端到端優化？
*   在實際生產環境中，SGLang Omni 與 vLLM 的效能差異與選擇建議為何？
*   MPD Subtitle Web 的「熱詞」功能具體如何影響專有名詞的識別準確率？
*   該模型在處理非中文、非英語的多語言場景下的具體表現數據為何？
*   開源協議 Apache 2.0 下，商業應用的具體限制與注意事項有哪些？