影片筆記：只听指定的人：小米这款开源ASR，把参考声音变成识别开关

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 全文快速校讀發現待確認修正

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：⚠️ 全文快速校讀：已套用暫定修正，請確認（segment=2 已先套用暫定修正：機子說清了,先聽一組官方演示。第一段是目標人的參考聲音,第二段是帶識別的混合語音。 → 機器說清了，先聽一組官方演示。第一段是目標人的參考聲音，第二段是待識別的混合語音。；segment=7 已先套用暫定修正：聽到效果後,再看真實會議數據。官方報告中,這個模型在AM&SDM上的詞錯率是21.81%,在ElimitingFar上是20.63%,對比表裡都明顯低於直接處理混合語音的通用模型。 → 聽到效果後，再看真實會議數據。官方報告中，這個模型在AM&SDM上的詞錯率是21.81%，在EliminatingFar上是20.63%，對比表裡都明顯低於直接處理混合語音的通用模型。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=11 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=13 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

小米開源的 Xiaomi Cocktail ASR-1 模型採用「參考聲音」作為聲文鑰匙，在多人混合語音中直接約束並轉錄指定說話人的內容，而非先分離音軌，適用於追蹤固定說話人或指定受訪者轉錄。

核心重點

• 核心機制：不採用「先分離音軌再識別」的傳統思路，而是輸入「目標人的參考聲音」與「混合語音」，利用參考聲音作為約束條件，直接輸出與參考聲音匹配的說話人文本。
• 性能表現：在 AM&SDM 和 EliminatingFar 測試集上，詞錯率（WER）分別為 21.81% 和 20.63%，優於直接處理混合語音的通用模型。
• 負樣本能力：當參考聲音的人不在待識別音頻中時，模型會返回空結果（保持沉默），符合預期。
• 適用場景：適合指定受訪者轉錄、以登記用戶語音入口或多人環境中跟蹤固定說話人；不適合需要保留所有發言人的完整會議記錄。

詳細大綱

1. 問題背景與傳統困境

• 普通語音識別在多人同時說話時面臨困難：不僅聽不清，更難以判斷該聽誰。
• 傳統思路通常嘗試先分離每個人，但這未必是最直接的路徑。

2. Xiaomi Cocktail ASR-1 技術原理

• 輸入結構：

1. 目標人的參考聲音（註冊音頻）。
2. 單人或多人混合語音（待識別音頻）。

• 運作邏輯：
• 參考聲音作為「聲文鑰匙」。
• 模型直接轉錄對應的說話人，不先分出每一路音頻。
• 用參考聲音直接約束轉寫目標。

3. 官方演示與數據驗證

• 演示流程：
• 第一段播放目標人參考聲音。
• 第二段播放待識別的混合語音。
• 結果顯示模型輸出了與參考聲音匹配的文本。
• 性能指標（詞錯率 WER）：
• AM&SDM 測試集：21.81%。
• EliminatingFar 測試集：20.63%。
• 對比結果：明顯低於直接處理混合語音的通用模型。
• 負樣本測試：
• 測試情境：參考聲音的人不在待識別音頻中。
• 測試結果：模型返回空結果（副樣本測試結果為空），符合預期。
• 正樣本測試集表現：
• 句實率數據：分別為 79.59%、75.35%、68.54%。
• 準確性分析：句實率並非 100%，存在最高 0.73% 的物據率（疑點）。

4. 技術實現與應用建議

• 依賴條件：
• 需要四個依賴。
• 需要兩段音頻。
• 只需一次模型調用。
• 輸入要求：期望是 16000 赫茲單聲道。
• 預期輸出：
• 成功後只返回目標人文本。
• 不相關參考聲音預期結果為空。
• 技術細節：
• 官方示例使用約 80 億參數模型。
• 使用 CUDA。
• 涉及遠程自定義代碼。
• 適用與不適用場景：
• 適用：指定受訪者轉錄、以登記用戶語音入口或多人環境跟蹤固定說話人。
• 不適用：需要保留所有發言人的完整會議（此類情況應使用說話人日誌或分離流程）。
• 建議流程：先做小樣本驗證再接入。

工具 / 模型 / 名詞整理

• Xiaomi Cocktail ASR-1：小米開源的語音識別模型，具備參考聲音約束能力。
• 聲文 / 聲文鑰匙 / 聲文工坊：影片中提及的名詞，指代聲音特徵或相關品牌/平台。
• 智聲工坊：影片中提及的平台或組織名稱（「這裡是智聲工坊」、「我們在智聲工坊」）。
• CUDA：計算平台與編程模型。
• AM&SDM：測試集名稱。
• EliminatingFar：測試集名稱。
• 句實率：影片中使用的評估指標，數據包括 79.59%、75.35%、68.54%。
• 物據率：影片中提及的評估指標，數據為最高 0.73%。
• 四個依賴：模型運行所需的依賴項數量，具體內容未詳述。

操作流程整理

1. 準備參考聲音：錄製目標人的參考音頻（註冊音頻）。
2. 準備混合語音：錄製包含目標人及其他人的混合語音。
3. 設定輸入格式：確保音頻為 16000 赫茲單聲道。
4. 執行模型調用：

• 輸入參考聲音與混合語音。
• 調用 Xiaomi Cocktail ASR-1 模型（約 80 億參數，基於 CUDA）。

1. 獲取結果：

• 若參考人在混合語音中：返回匹配的文本。
• 若參考人不在混合語音中：返回空結果。

1. 驗證與部署：建議先進行小樣本驗證，確認符合預期後再接入實際應用。

值得注意的限制或風險

• 非通用會議記錄工具：該模型設計初衷並非為了保留所有發言人的完整會議記錄，若需完整記錄，應使用說話人日誌或分離流程。
• 依賴環境要求：需要特定的四個依賴項、CUDA 環境以及遠程自定義代碼支持，部署門檻可能較高。
• 準確率非完美：正樣本測試中句實率最高僅約 79.59%，且存在物據率（疑點），表明識別結果並非 100% 準確。
• 參考聲音依賴：必須提供準確的參考聲音作為「鑰匙」，若參考聲音質量不佳或不匹配，可能影響識別效果。

逐字稿辨識疑點

• 聲文 / 聲文鑰匙 / 聲文工坊：文中多次出現此詞彙，若指代聲音特徵或品牌，建議查證是否為「聲紋」之聽寫錯誤，但依規則僅標註為「聲文」。
• 物據率：文中提到「最高 0.73% 的物據率」。在語音識別評估中，常見指標為「誤識率」（False Acceptance Rate / FRR 等）或「漏識率」。此處「物據率」疑似錯字或特定術語，需查證。
• 句實率：文中使用「句實率」一詞，通常語音識別指標為「句準確率」（Sentence Accuracy）或「字元錯誤率」（WER/CER）。此處「句實率」疑似聽寫錯誤，需查證。
• 這很對提：文中提到「這很對提」，語意不明，疑似口誤或聽寫錯誤，可能意指「這很對題」或「這很對得起」等，需查證。
• 嗨有關系：副樣本測試中出現「嗨有關系」，語意不明，疑似聽寫錯誤，可能為「嗨，有關係」或其他內容，需查證。
• 四個依賴：文中提到「只需要四個依賴」，未具體說明是哪四個依賴，需查證具體技術棧。
• 遠程自定義代碼：文中提到「遠程自定義代碼」，需確認是否指代特定的 API 調用方式或框架。

可延伸追問

• Xiaomi Cocktail ASR-1 的「四個依賴」具體指哪些軟體庫或框架？
• 「聲文」與「聲紋」在該技術文獻中是否有明確定義區別？
• 如何優化參考聲音的錄製質量以提高識別準確率？
• 在多人同時說話且語音重疊嚴重的情況下，該模型的表現是否有進一步的數據支持？
• 「物據率」和「句實率」的具體計算公式是什麼？