WEBVTT 00:00.000 --> 00:10.000 哎,會議裡幾個人同時說話,普通語音識別的問題不只是聽不清,更是不知道該聽誰。如果你只需要其中一個人的文字,先把每個人都分離出來,未必是最直接的路。 00:10.000 --> 00:22.000 Xiaomi Cocktail ASR-1給出了另一個思路。先輸入一段目標人的參考聲音,再輸入單人或多人混合語音。參考聲音就像一把聲文鑰匙,模型直接只轉錄對應的說話人。 00:22.000 --> 00:29.000 機子說清了,先聽一組官方演示。第一段是目標人的參考聲音,第二段是帶識別的混合語音。 00:30.000 --> 00:35.000 我想註冊一下聲文,這是一條註冊音頻。 00:35.000 --> 00:41.000 人們設計AI配方的過程,本質上主要還是一個不斷試錯的過程。 00:41.000 --> 00:48.000 模型最後輸出的是,人們設計AI配方的過程,本質上主要還是一個不斷試錯的過程。 00:48.000 --> 00:53.000 這裡不是先分出每一路音頻,而是用參考聲音直接約束轉寫目標。 00:53.000 --> 01:07.000 聽到效果後,再看真實會議數據。官方報告中,這個模型在AM&SDM上的詞錯率是21.81%,在ElimitingFar上是20.63%,對比表裡都明顯低於直接處理混合語音的通用模型。 01:07.000 --> 01:14.000 但只會轉路還不夠,如果參考聲音的人根本沒在待識別音頻裡,模型應該保持沉默。 01:14.000 --> 01:16.000 下面再聽一組副樣本。 01:16.000 --> 01:17.000 嗨同學。 01:17.000 --> 01:20.000 嗨有關系。 01:20.000 --> 01:22.000 這組副樣本的官方結果是空。 01:22.000 --> 01:33.000 三個副樣本測試集上,句實率分別是79.59%,75.35%和68.54%,但句實不是100%,正樣本也有最高0.73%的物據率。 01:33.000 --> 01:37.000 選行時要同時看詞錯率、句實率和物據率。 01:37.000 --> 01:40.000 開始試跑,只需要四個依賴,兩段音頻和一次模型調用。 01:40.000 --> 01:43.000 準備一段目標人參考音頻和一段代識別音頻。 01:43.000 --> 01:47.000 輸入期望是16000赫兹聲道,成功後應該只返回目標人文本。 01:47.000 --> 01:50.000 再換一段不相關的參考聲音,預期結果是空。 01:50.000 --> 01:56.000 最後的選行結論很清楚,指定受訪者轉路,以登記用戶語音入口或多人環境跟踪固定說話人。 01:56.000 --> 01:57.000 他很對提。 01:57.000 --> 02:01.000 需要保留所有發言人的完整會議,就應該用說話人日誌或分離流程。 02:01.000 --> 02:07.000 官方示例使用約80億參數模型、CUDA和遠程自定義代碼,先做小樣本驗證再接入。 02:07.000 --> 02:08.000 這裡是智聲工坊。 02:08.000 --> 02:10.000 我們在智聲工坊。 02:10.000 --> 02:11.000 我們在智聲工坊。 02:11.000 --> 02:12.000 我們在智聲工坊。 02:12.000 --> 02:13.000 我們在智聲工坊。 02:13.000 --> 02:14.000 我們在智聲工坊。 02:14.000 --> 02:15.000 我們在智聲工坊。 02:15.000 --> 02:16.000 我們在智聲工坊。 02:16.000 --> 02:17.000 我們在智聲工坊。 02:17.000 --> 02:18.000 我們在智聲工坊。 02:18.000 --> 02:19.000 我們在智聲工坊。 02:19.000 --> 02:20.000 我們在智聲工坊。 02:20.000 --> 02:21.000 我們在智聲工坊。 02:21.000 --> 02:22.000 我們在智聲工坊。 02:22.000 --> 02:23.000 我們在智聲工坊。 02:23.000 --> 02:24.000 我們在智聲工坊。 02:24.000 --> 02:25.000 我們在智聲工坊。 02:25.000 --> 02:26.000 我們在智聲工坊。 02:26.000 --> 02:27.000 我們在智聲工坊。 02:27.000 --> 02:28.000 我們在智聲工坊。 02:28.000 --> 02:29.000 我們在智聲工坊。