哎,會議裡幾個人同時說話,普通語音識別的問題不只是聽不清,更是不知道該聽誰。如果你只需要其中一個人的文字,先把每個人都分離出來,未必是最直接的路。
Xiaomi Cocktail ASR-1給出了另一個思路。先輸入一段目標人的參考聲音,再輸入單人或多人混合語音。參考聲音就像一把聲文鑰匙,模型直接只轉錄對應的說話人。
機子說清了,先聽一組官方演示。第一段是目標人的參考聲音,第二段是帶識別的混合語音。
我想註冊一下聲文,這是一條註冊音頻。
人們設計AI配方的過程,本質上主要還是一個不斷試錯的過程。
模型最後輸出的是,人們設計AI配方的過程,本質上主要還是一個不斷試錯的過程。
這裡不是先分出每一路音頻,而是用參考聲音直接約束轉寫目標。
聽到效果後,再看真實會議數據。官方報告中,這個模型在AM&SDM上的詞錯率是21.81%,在ElimitingFar上是20.63%,對比表裡都明顯低於直接處理混合語音的通用模型。
但只會轉路還不夠,如果參考聲音的人根本沒在待識別音頻裡,模型應該保持沉默。
下面再聽一組副樣本。
嗨同學。
嗨有關系。
這組副樣本的官方結果是空。
三個副樣本測試集上,句實率分別是79.59%,75.35%和68.54%,但句實不是100%,正樣本也有最高0.73%的物據率。
選行時要同時看詞錯率、句實率和物據率。
開始試跑,只需要四個依賴,兩段音頻和一次模型調用。
準備一段目標人參考音頻和一段代識別音頻。
輸入期望是16000赫兹聲道,成功後應該只返回目標人文本。
再換一段不相關的參考聲音,預期結果是空。
最後的選行結論很清楚,指定受訪者轉路,以登記用戶語音入口或多人環境跟踪固定說話人。
他很對提。
需要保留所有發言人的完整會議,就應該用說話人日誌或分離流程。
官方示例使用約80億參數模型、CUDA和遠程自定義代碼,先做小樣本驗證再接入。
這裡是智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。
我們在智聲工坊。