1
00:00:00,000 --> 00:00:10,000
哎,會議裡幾個人同時說話,普通語音識別的問題不只是聽不清,更是不知道該聽誰。如果你只需要其中一個人的文字,先把每個人都分離出來,未必是最直接的路。

2
00:00:10,000 --> 00:00:22,000
Xiaomi Cocktail ASR-1給出了另一個思路。先輸入一段目標人的參考聲音,再輸入單人或多人混合語音。參考聲音就像一把聲文鑰匙,模型直接只轉錄對應的說話人。

3
00:00:22,000 --> 00:00:29,000
機子說清了,先聽一組官方演示。第一段是目標人的參考聲音,第二段是帶識別的混合語音。

4
00:00:30,000 --> 00:00:35,000
我想註冊一下聲文,這是一條註冊音頻。

5
00:00:35,000 --> 00:00:41,000
人們設計AI配方的過程,本質上主要還是一個不斷試錯的過程。

6
00:00:41,000 --> 00:00:48,000
模型最後輸出的是,人們設計AI配方的過程,本質上主要還是一個不斷試錯的過程。

7
00:00:48,000 --> 00:00:53,000
這裡不是先分出每一路音頻,而是用參考聲音直接約束轉寫目標。

8
00:00:53,000 --> 00:01:07,000
聽到效果後,再看真實會議數據。官方報告中,這個模型在AM&SDM上的詞錯率是21.81%,在ElimitingFar上是20.63%,對比表裡都明顯低於直接處理混合語音的通用模型。

9
00:01:07,000 --> 00:01:14,000
但只會轉路還不夠,如果參考聲音的人根本沒在待識別音頻裡,模型應該保持沉默。

10
00:01:14,000 --> 00:01:16,000
下面再聽一組副樣本。

11
00:01:16,000 --> 00:01:17,000
嗨同學。

12
00:01:17,000 --> 00:01:20,000
嗨有關系。

13
00:01:20,000 --> 00:01:22,000
這組副樣本的官方結果是空。

14
00:01:22,000 --> 00:01:33,000
三個副樣本測試集上,句實率分別是79.59%,75.35%和68.54%,但句實不是100%,正樣本也有最高0.73%的物據率。

15
00:01:33,000 --> 00:01:37,000
選行時要同時看詞錯率、句實率和物據率。

16
00:01:37,000 --> 00:01:40,000
開始試跑,只需要四個依賴,兩段音頻和一次模型調用。

17
00:01:40,000 --> 00:01:43,000
準備一段目標人參考音頻和一段代識別音頻。

18
00:01:43,000 --> 00:01:47,000
輸入期望是16000赫兹聲道,成功後應該只返回目標人文本。

19
00:01:47,000 --> 00:01:50,000
再換一段不相關的參考聲音,預期結果是空。

20
00:01:50,000 --> 00:01:56,000
最後的選行結論很清楚,指定受訪者轉路,以登記用戶語音入口或多人環境跟踪固定說話人。

21
00:01:56,000 --> 00:01:57,000
他很對提。

22
00:01:57,000 --> 00:02:01,000
需要保留所有發言人的完整會議,就應該用說話人日誌或分離流程。

23
00:02:01,000 --> 00:02:07,000
官方示例使用約80億參數模型、CUDA和遠程自定義代碼,先做小樣本驗證再接入。

24
00:02:07,000 --> 00:02:08,000
這裡是智聲工坊。

25
00:02:08,000 --> 00:02:10,000
我們在智聲工坊。

26
00:02:10,000 --> 00:02:11,000
我們在智聲工坊。

27
00:02:11,000 --> 00:02:12,000
我們在智聲工坊。

28
00:02:12,000 --> 00:02:13,000
我們在智聲工坊。

29
00:02:13,000 --> 00:02:14,000
我們在智聲工坊。

30
00:02:14,000 --> 00:02:15,000
我們在智聲工坊。

31
00:02:15,000 --> 00:02:16,000
我們在智聲工坊。

32
00:02:16,000 --> 00:02:17,000
我們在智聲工坊。

33
00:02:17,000 --> 00:02:18,000
我們在智聲工坊。

34
00:02:18,000 --> 00:02:19,000
我們在智聲工坊。

35
00:02:19,000 --> 00:02:20,000
我們在智聲工坊。

36
00:02:20,000 --> 00:02:21,000
我們在智聲工坊。

37
00:02:21,000 --> 00:02:22,000
我們在智聲工坊。

38
00:02:22,000 --> 00:02:23,000
我們在智聲工坊。

39
00:02:23,000 --> 00:02:24,000
我們在智聲工坊。

40
00:02:24,000 --> 00:02:25,000
我們在智聲工坊。

41
00:02:25,000 --> 00:02:26,000
我們在智聲工坊。

42
00:02:26,000 --> 00:02:27,000
我們在智聲工坊。

43
00:02:27,000 --> 00:02:28,000
我們在智聲工坊。

44
00:02:28,000 --> 00:02:29,000
我們在智聲工坊。