# 影片筆記：只听指定的人：小米这款开源ASR，把参考声音变成识别开关


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 全文快速校讀發現待確認修正

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：⚠️ 全文快速校讀：已套用暫定修正，請確認（segment=2 已先套用暫定修正：機子說清了,先聽一組官方演示。第一段是目標人的參考聲音,第二段是帶識別的混合語音。 → 機器說清了，先聽一組官方演示。第一段是目標人的參考聲音，第二段是待識別的混合語音。；segment=7 已先套用暫定修正：聽到效果後,再看真實會議數據。官方報告中,這個模型在AM&SDM上的詞錯率是21.81%,在ElimitingFar上是20.63%,對比表裡都明顯低於直接處理混合語音的通用模型。 → 聽到效果後，再看真實會議數據。官方報告中，這個模型在AM&SDM上的詞錯率是21.81%，在EliminatingFar上是20.63%，對比表裡都明顯低於直接處理混合語音的通用模型。）
- 待修正：逐字稿可先使用，但有待校正清單（segment=11 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=13 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

小米開源的 **Xiaomi Cocktail ASR-1** 模型採用「參考聲音」作為聲文鑰匙，在多人混合語音中直接約束並轉錄指定說話人的內容，而非先分離音軌，適用於追蹤固定說話人或指定受訪者轉錄。

## 核心重點

*   **核心機制**：不採用「先分離音軌再識別」的傳統思路，而是輸入「目標人的參考聲音」與「混合語音」，利用參考聲音作為約束條件，直接輸出與參考聲音匹配的說話人文本。
*   **性能表現**：在 AM&SDM 和 EliminatingFar 測試集上，詞錯率（WER）分別為 21.81% 和 20.63%，優於直接處理混合語音的通用模型。
*   **負樣本能力**：當參考聲音的人不在待識別音頻中時，模型會返回空結果（保持沉默），符合預期。
*   **適用場景**：適合指定受訪者轉錄、以登記用戶語音入口或多人環境中跟蹤固定說話人；不適合需要保留所有發言人的完整會議記錄。

## 詳細大綱

### 1. 問題背景與傳統困境
*   普通語音識別在多人同時說話時面臨困難：不僅聽不清，更難以判斷該聽誰。
*   傳統思路通常嘗試先分離每個人，但這未必是最直接的路徑。

### 2. Xiaomi Cocktail ASR-1 技術原理
*   **輸入結構**：
    1.  目標人的參考聲音（註冊音頻）。
    2.  單人或多人混合語音（待識別音頻）。
*   **運作邏輯**：
    *   參考聲音作為「聲文鑰匙」。
    *   模型直接轉錄對應的說話人，不先分出每一路音頻。
    *   用參考聲音直接約束轉寫目標。

### 3. 官方演示與數據驗證
*   **演示流程**：
    *   第一段播放目標人參考聲音。
    *   第二段播放待識別的混合語音。
    *   結果顯示模型輸出了與參考聲音匹配的文本。
*   **性能指標（詞錯率 WER）**：
    *   AM&SDM 測試集：21.81%。
    *   EliminatingFar 測試集：20.63%。
    *   對比結果：明顯低於直接處理混合語音的通用模型。
*   **負樣本測試**：
    *   測試情境：參考聲音的人不在待識別音頻中。
    *   測試結果：模型返回空結果（副樣本測試結果為空），符合預期。
*   **正樣本測試集表現**：
    *   句實率數據：分別為 79.59%、75.35%、68.54%。
    *   準確性分析：句實率並非 100%，存在最高 0.73% 的物據率（疑點）。

### 4. 技術實現與應用建議
*   **依賴條件**：
    *   需要四個依賴。
    *   需要兩段音頻。
    *   只需一次模型調用。
*   **輸入要求**：期望是 16000 赫茲單聲道。
*   **預期輸出**：
    *   成功後只返回目標人文本。
    *   不相關參考聲音預期結果為空。
*   **技術細節**：
    *   官方示例使用約 80 億參數模型。
    *   使用 CUDA。
    *   涉及遠程自定義代碼。
*   **適用與不適用場景**：
    *   **適用**：指定受訪者轉錄、以登記用戶語音入口或多人環境跟蹤固定說話人。
    *   **不適用**：需要保留所有發言人的完整會議（此類情況應使用說話人日誌或分離流程）。
*   **建議流程**：先做小樣本驗證再接入。

## 工具 / 模型 / 名詞整理

*   **Xiaomi Cocktail ASR-1**：小米開源的語音識別模型，具備參考聲音約束能力。
*   **聲文 / 聲文鑰匙 / 聲文工坊**：影片中提及的名詞，指代聲音特徵或相關品牌/平台。
*   **智聲工坊**：影片中提及的平台或組織名稱（「這裡是智聲工坊」、「我們在智聲工坊」）。
*   **CUDA**：計算平台與編程模型。
*   **AM&SDM**：測試集名稱。
*   **EliminatingFar**：測試集名稱。
*   **句實率**：影片中使用的評估指標，數據包括 79.59%、75.35%、68.54%。
*   **物據率**：影片中提及的評估指標，數據為最高 0.73%。
*   **四個依賴**：模型運行所需的依賴項數量，具體內容未詳述。

## 操作流程整理

1.  **準備參考聲音**：錄製目標人的參考音頻（註冊音頻）。
2.  **準備混合語音**：錄製包含目標人及其他人的混合語音。
3.  **設定輸入格式**：確保音頻為 16000 赫茲單聲道。
4.  **執行模型調用**：
    *   輸入參考聲音與混合語音。
    *   調用 Xiaomi Cocktail ASR-1 模型（約 80 億參數，基於 CUDA）。
5.  **獲取結果**：
    *   若參考人在混合語音中：返回匹配的文本。
    *   若參考人不在混合語音中：返回空結果。
6.  **驗證與部署**：建議先進行小樣本驗證，確認符合預期後再接入實際應用。

## 值得注意的限制或風險

*   **非通用會議記錄工具**：該模型設計初衷並非為了保留所有發言人的完整會議記錄，若需完整記錄，應使用說話人日誌或分離流程。
*   **依賴環境要求**：需要特定的四個依賴項、CUDA 環境以及遠程自定義代碼支持，部署門檻可能較高。
*   **準確率非完美**：正樣本測試中句實率最高僅約 79.59%，且存在物據率（疑點），表明識別結果並非 100% 準確。
*   **參考聲音依賴**：必須提供準確的參考聲音作為「鑰匙」，若參考聲音質量不佳或不匹配，可能影響識別效果。

## 逐字稿辨識疑點

*   **聲文 / 聲文鑰匙 / 聲文工坊**：文中多次出現此詞彙，若指代聲音特徵或品牌，建議查證是否為「聲紋」之聽寫錯誤，但依規則僅標註為「聲文」。
*   **物據率**：文中提到「最高 0.73% 的物據率」。在語音識別評估中，常見指標為「誤識率」（False Acceptance Rate / FRR 等）或「漏識率」。此處「物據率」疑似錯字或特定術語，需查證。
*   **句實率**：文中使用「句實率」一詞，通常語音識別指標為「句準確率」（Sentence Accuracy）或「字元錯誤率」（WER/CER）。此處「句實率」疑似聽寫錯誤，需查證。
*   **這很對提**：文中提到「這很對提」，語意不明，疑似口誤或聽寫錯誤，可能意指「這很對題」或「這很對得起」等，需查證。
*   **嗨有關系**：副樣本測試中出現「嗨有關系」，語意不明，疑似聽寫錯誤，可能為「嗨，有關係」或其他內容，需查證。
*   **四個依賴**：文中提到「只需要四個依賴」，未具體說明是哪四個依賴，需查證具體技術棧。
*   **遠程自定義代碼**：文中提到「遠程自定義代碼」，需確認是否指代特定的 API 調用方式或框架。

## 可延伸追問

*   Xiaomi Cocktail ASR-1 的「四個依賴」具體指哪些軟體庫或框架？
*   「聲文」與「聲紋」在該技術文獻中是否有明確定義區別？
*   如何優化參考聲音的錄製質量以提高識別準確率？
*   在多人同時說話且語音重疊嚴重的情況下，該模型的表現是否有進一步的數據支持？
*   「物據率」和「句實率」的具體計算公式是什麼？