1
00:00:00,000 --> 00:00:07,100
好的,现在市面上有很多优秀的语音识别模型。我们有Whisper,有Parachute,还有Canary。

2
00:00:09,200 --> 00:00:14,300
如果你只需要简单的转录文本,可能会觉得这已经是解决好的问题了。

3
00:00:14,800 --> 00:00:23,720
但最大的挑战在于,如果你想为大语言模型或正在构建的应用获取上下文,仅靠转录文本是不够的。

4
00:00:24,220 --> 00:00:28,100
你通常还需要时间出来知道某句话是何时说的。

5
00:00:28,100 --> 00:00:33,000
但往往更重要的是,你需要知道到底是谁说的。

6
00:00:34,320 --> 00:00:39,620
也就是说,如果你正在为四个人互相辩论的播客制作转录文本,

7
00:00:39,940 --> 00:00:43,940
你需要知道谁说了什么,谁持哪方观点等。

8
00:00:43,940 --> 00:00:47,680
如果你想做会议纪要之类的东西,道理也是一样的。

9
00:00:48,140 --> 00:00:50,700
你需要知道谁同意了哪项行动,

10
00:00:51,280 --> 00:00:54,900
尤其是现在我们要构建智能体来处理这些事物,

11
00:00:54,900 --> 00:00:58,680
能够提取引语并准确归属于对应的人

12
00:00:58,680 --> 00:01:05,220
而不是只有一份所有人都在同一通话中逐字说出的转录文本

13
00:01:05,220 --> 00:01:07,360
就像只有一个人说话是那样

14
00:01:07,360 --> 00:01:10,000
那么一直都有办法做到这一点,对吧?

15
00:01:10,720 --> 00:01:12,080
在我之前的一些视频中

16
00:01:12,080 --> 00:01:16,560
我就展示过用Whisper配合当时的一些开源工具来做到这一点

17
00:01:16,560 --> 00:01:18,740
但这一直是一场猫鼠游戏

18
00:01:18,740 --> 00:01:20,120
看你能做到多准确

19
00:01:20,120 --> 00:01:23,180
而且你还得面对如何处理

20
00:01:23,180 --> 00:01:26,140
由不同提供商制作的多个模型等挑战

21
00:01:26,140 --> 00:01:30,740
这就引出了NVIDIA刚刚发布的东西

22
00:01:30,740 --> 00:01:33,700
这是一个专门针对该问题的新模型

23
00:01:33,700 --> 00:01:36,560
这就是NEMU闯三 说话人分离

24
00:01:36,560 --> 00:01:38,240
它是一个开放权重模型

25
00:01:38,240 --> 00:01:40,940
它采用的许可证允许商业使用

26
00:01:40,940 --> 00:01:42,220
凭借这种许可证

27
00:01:42,220 --> 00:01:44,480
你当然可以做大多数你想做的事

28
00:01:44,480 --> 00:01:45,920
这里酷的一点是

29
00:01:45,920 --> 00:01:47,880
它只有大约1亿参数量

30
00:01:47,880 --> 00:01:51,760
所以只需要4GB显存的GPU就能运行

31
00:01:51,760 --> 00:01:52,660
除此之外

32
00:01:52,660 --> 00:01:54,660
当我们谈论准确率时

33
00:01:54,660 --> 00:01:56,920
它可以处理多达8位说话人

34
00:01:56,920 --> 00:02:00,120
过去大多数模型的上限

35
00:02:00,120 --> 00:02:02,380
大概是3到4位说话人

36
00:02:02,380 --> 00:02:05,340
而它不仅能在大家清晰说话时

37
00:02:05,340 --> 00:02:06,780
处理8位说话人

38
00:02:06,780 --> 00:02:09,260
即使人们互相打断说话

39
00:02:09,260 --> 00:02:10,800
它也能做得相当不错

40
00:02:10,800 --> 00:02:11,700
此外

41
00:02:11,700 --> 00:02:14,120
它的设计初衷是与你正在使用的

42
00:02:14,120 --> 00:02:16,520
任何语音识别模型配合使用

43
00:02:16,520 --> 00:02:22,040
所以如果你有一个特别喜欢的模型,比如PireKit,你就可以基本上使用这个模型。

44
00:02:22,340 --> 00:02:27,280
稍后我会展示一个演示,我们将原始播客录音转换为转录文本。

45
00:02:27,440 --> 00:02:30,340
每一行都归属于对应的说话人。

46
00:02:30,520 --> 00:02:33,840
但首先,让我介绍一下这个模型的背景。

47
00:02:34,260 --> 00:02:38,360
VDII将其作为Nemotron语音模型系列的一部分推出。

48
00:02:38,820 --> 00:02:42,360
在这个频道上,我谈过Nemotron大语言模型的,

49
00:02:42,360 --> 00:02:44,860
但我认为很多人没有意识到

50
00:02:44,860 --> 00:02:47,840
这一系列还包含很多语音模型

51
00:02:47,840 --> 00:02:49,080
在识别方面

52
00:02:49,080 --> 00:02:52,300
你有PowerKit、Canary和Nemotron ASR

53
00:02:52,300 --> 00:02:59,060
它们共同支持43种语言的流逝和批量转路

54
00:02:59,060 --> 00:03:02,220
它们还有一个叫Magpie的TTS模型

55
00:03:02,220 --> 00:03:05,420
支持多语言并具备语音定制等功能

56
00:03:05,420 --> 00:03:07,660
此外,它们还有一些进行翻译

57
00:03:07,660 --> 00:03:10,380
甚至全双公语音到语音处理的模型

58
00:03:10,380 --> 00:03:12,480
比如PersonaPlex

59
00:03:12,480 --> 00:03:13,560
直到最近

60
00:03:13,560 --> 00:03:15,500
他们的说话人分离选项

61
00:03:15,500 --> 00:03:16,980
叫做Sortformer

62
00:03:16,980 --> 00:03:18,920
最多支持四位说话人

63
00:03:18,920 --> 00:03:19,780
有一段时间

64
00:03:19,780 --> 00:03:21,860
他实际上相当受欢迎

65
00:03:21,860 --> 00:03:23,300
在很多方面

66
00:03:23,300 --> 00:03:24,880
你可以把这个新模型

67
00:03:24,880 --> 00:03:26,880
看作是对他的直接替换

68
00:03:26,880 --> 00:03:27,800
而且好得多

69
00:03:27,800 --> 00:03:28,560
我们知道

70
00:03:28,560 --> 00:03:30,100
人们已在生产环境中

71
00:03:30,100 --> 00:03:31,180
使用这些模型

72
00:03:31,180 --> 00:03:33,100
因为旧版Sortformer模型

73
00:03:33,100 --> 00:03:34,580
仅在8月就获得了

74
00:03:34,580 --> 00:03:36,060
超过30万次下载

75
00:03:36,060 --> 00:03:38,500
虽然NVIDIA没有直接说明

76
00:03:38,500 --> 00:03:39,620
但在我看来

77
00:03:39,620 --> 00:03:42,420
他们正在系统地改进这些模型

78
00:03:42,420 --> 00:03:46,080
以构建完整的Nemotron语音模型套件

79
00:03:46,080 --> 00:03:48,820
这完全说得通

80
00:03:48,820 --> 00:03:51,720
因为如果你看看对语音的需求

81
00:03:51,720 --> 00:03:56,100
无论是单用户与智能体交互

82
00:03:56,100 --> 00:04:01,980
智能体获取YouTube视频等多模态内容

83
00:04:01,980 --> 00:04:03,740
等等

84
00:04:03,740 --> 00:04:07,860
以便在研究和执行任务时提取信息作为上下文

85
00:04:07,860 --> 00:04:09,760
需求都在不断增加

86
00:04:09,760 --> 00:04:10,120
好的

87
00:04:10,120 --> 00:04:11,580
如果你是新手

88
00:04:11,580 --> 00:04:13,480
说话人分离到底是什么

89
00:04:13,480 --> 00:04:14,980
最简单的说法是

90
00:04:14,980 --> 00:04:17,280
语音识别告诉你说了什么

91
00:04:17,280 --> 00:04:20,060
而说话人分离告诉你谁说的

92
00:04:20,060 --> 00:04:23,220
当我们把它们结合起来

93
00:04:23,220 --> 00:04:26,720
就得到了所谓的带说话人信息的转录文本

94
00:04:26,720 --> 00:04:29,060
我认为大家凭直觉都知道

95
00:04:29,060 --> 00:04:30,100
这非常重要

96
00:04:30,100 --> 00:04:31,860
如果你在转录会议

97
00:04:31,860 --> 00:04:33,160
有人问了一个问题

98
00:04:33,160 --> 00:04:34,620
然后有些人回答是

99
00:04:34,620 --> 00:04:36,240
有些人回答否

100
00:04:36,240 --> 00:04:38,820
你大概希望你的智能体知道

101
00:04:38,820 --> 00:04:40,280
谁将会跟进

102
00:04:40,280 --> 00:04:42,040
谁不会采取行动

103
00:04:42,040 --> 00:04:44,200
所有这些对于智能体确定

104
00:04:44,200 --> 00:04:47,120
接下来应采取何种行动的上下文

105
00:04:47,120 --> 00:04:48,140
都至关重要

106
00:04:48,140 --> 00:04:50,520
那么它会自动知道每个说话人的名字吗

107
00:04:50,520 --> 00:04:51,340
不

108
00:04:51,340 --> 00:04:53,240
它基本上只会说说话人

109
00:04:53,240 --> 00:04:55,100
一说话人二

110
00:04:55,100 --> 00:04:56,280
说话人三

111
00:04:56,280 --> 00:04:57,820
说话人七等等

112
00:04:57,820 --> 00:04:59,640
随着处理过程进行

113
00:04:59,640 --> 00:05:01,200
但这并不难

114
00:05:01,200 --> 00:05:03,320
你可以写一些代码将其替换掉

115
00:05:03,320 --> 00:05:05,460
一旦你告诉模型谁在说话

116
00:05:05,460 --> 00:05:06,840
你就可以将转入文本

117
00:05:06,840 --> 00:05:08,000
转换为包含真实性能的版本

118
00:05:08,000 --> 00:05:10,400
现在这方面一直最大的挑战之一是

119
00:05:10,400 --> 00:05:12,260
人们会互相打断

120
00:05:12,260 --> 00:05:12,580
对吧

121
00:05:12,580 --> 00:05:14,580
即使他们并不想故意打断

122
00:05:14,580 --> 00:05:17,280
当有人在会议通话中提问时

123
00:05:17,280 --> 00:05:19,840
往往会有两三个人同时回答

124
00:05:19,840 --> 00:05:24,840
旧版说话人分离系统面临的挑战在于

125
00:05:24,840 --> 00:05:26,760
他们会因此变得混乱

126
00:05:26,760 --> 00:05:29,580
他们不擅长区分不同的声音

127
00:05:29,580 --> 00:05:31,820
尤其是在声音重叠时

128
00:05:31,820 --> 00:05:34,060
我想说

129
00:05:34,060 --> 00:05:37,820
我认为没有任何模型能在这件事上做到完美

130
00:05:37,820 --> 00:05:38,780
即使是人类

131
00:05:38,780 --> 00:05:41,460
这也可能是一项艰难的任务

132
00:05:41,460 --> 00:05:43,140
但这些模型的评分方式

133
00:05:43,140 --> 00:05:46,040
是使用所谓的说话人分离错误率

134
00:05:46,040 --> 00:05:47,400
即D.E.R

135
00:05:47,400 --> 00:05:49,980
它基本上是将三种错误相加

136
00:05:49,980 --> 00:05:52,000
模型遗漏的语音

137
00:05:52,000 --> 00:05:54,460
模型误判为非语音的内容

138
00:05:54,460 --> 00:05:58,180
以及将语音错误归属于他人的次数

139
00:05:58,180 --> 00:06:00,780
显然这里的分数越低越好

140
00:06:00,780 --> 00:06:03,640
你可以看到NVIDIA的最新模型

141
00:06:03,640 --> 00:06:05,400
不仅击败了竞争对手

142
00:06:05,400 --> 00:06:09,020
还大幅超越了他们自己的前代模型

143
00:06:09,020 --> 00:06:11,700
这里需要理解的另一个概念

144
00:06:11,700 --> 00:06:14,060
是流逝与离线的区别

145
00:06:14,060 --> 00:06:15,600
在离线模式下

146
00:06:15,600 --> 00:06:17,880
模型可以查看整个录音

147
00:06:17,880 --> 00:06:19,780
包括后面的内容

148
00:06:19,780 --> 00:06:21,120
而在流逝模式下

149
00:06:21,120 --> 00:06:23,880
它必须在音频到达时做出决定

150
00:06:23,880 --> 00:06:26,540
所以对于已经录制好的播客等

151
00:06:26,540 --> 00:06:29,020
你总是希望使用离线模式

152
00:06:29,020 --> 00:06:32,340
对于任何实时字幕或语音智能体

153
00:06:32,340 --> 00:06:34,240
你必须使用流逝模式

154
00:06:34,240 --> 00:06:34,820
好的

155
00:06:34,820 --> 00:06:37,080
那么Nemotron 3说话人分离

156
00:06:37,080 --> 00:06:38,280
到底有什么新特点

157
00:06:38,280 --> 00:06:40,220
它大约有1亿参数量

158
00:06:40,220 --> 00:06:41,900
不包括ASR部分

159
00:06:41,900 --> 00:06:43,780
运行它的最低GPU要求

160
00:06:43,780 --> 00:06:44,680
约为4GB

161
00:06:44,680 --> 00:06:45,960
所以它实际上

162
00:06:45,960 --> 00:06:48,360
可以在许多小型GPU上运行

163
00:06:48,360 --> 00:06:50,240
而且应该在笔记本电脑的

164
00:06:50,240 --> 00:06:51,640
RTX显卡上

165
00:06:51,640 --> 00:06:53,000
也能跑得相当好

166
00:06:53,000 --> 00:06:54,340
我之前提到过

167
00:06:54,340 --> 00:06:56,120
它支持多达8位说话人

168
00:06:56,120 --> 00:06:58,300
另一点是它是语言无关的

169
00:06:58,300 --> 00:07:00,080
并且在流逝和离线模式下

170
00:07:00,080 --> 00:07:00,740
都能工作

171
00:07:00,740 --> 00:07:01,740
所以我认为

172
00:07:01,740 --> 00:07:04,420
最好的办法是直接进入演示

173
00:07:04,420 --> 00:07:06,800
看看它实际上是如何运作的

174
00:07:06,800 --> 00:07:07,660
好的

175
00:07:07,660 --> 00:07:09,020
进入演示

176
00:07:09,020 --> 00:07:11,040
让我先展示一下设置方式

177
00:07:11,040 --> 00:07:11,460
首先

178
00:07:11,460 --> 00:07:14,600
感谢NVIDIA赞助这里的计算资源

179
00:07:14,600 --> 00:07:16,540
我使用DGX Spark

180
00:07:16,540 --> 00:07:19,580
来实际运行这里的三个语音模型

181
00:07:19,580 --> 00:07:22,540
让我带大家过一遍设置架构图

182
00:07:22,540 --> 00:07:26,600
你在这里看到的是NextGS应用

183
00:07:26,600 --> 00:07:28,800
它在我的Mac上本地运行

184
00:07:28,800 --> 00:07:34,000
然后通过Tail Scale调用后端道DGX Spark。

185
00:07:35,695 --> 00:07:40,995
你可以看到,我在上面有一個包含NVIDIA NEMO的Docker容器。

186
00:07:41,495 --> 00:07:46,095
VDI NEMO既提供我們正在討論的說話人分離模型,

187
00:07:46,095 --> 00:07:52,935
也提供ParaKit ASR模型和Nimetron 3.5多语言 ASR模型。

188
00:07:53,555 --> 00:07:57,355
为了使用这些,我设置了一个Fast API应用。

189
00:07:57,515 --> 00:07:59,955
这是一种实现此类功能的简单方法。

190
00:08:00,495 --> 00:08:05,615
如果我要大规模部署,我可能会选择Dynamo或Triton来提供服务。

191
00:08:05,735 --> 00:08:09,935
但对于我想要的功能,目前的设置运行得非常完美。

192
00:08:10,295 --> 00:08:15,095
如果我们进入这个应用,你可以看到我基本上可以直接使用它们的演示。

193
00:08:15,095 --> 00:08:18,615
我可以选择想要使用哪个AS2模型

194
00:08:18,615 --> 00:08:20,295
我打算用ParaKit

195
00:08:20,295 --> 00:08:22,515
因为它在处理多说话人方面

196
00:08:22,515 --> 00:08:23,835
通常表现更好

197
00:08:23,835 --> 00:08:25,015
我可以开始转录

198
00:08:25,015 --> 00:08:28,435
你可以看到字面上只需要三四秒钟

199
00:08:28,435 --> 00:08:30,495
它就处理并转录了这里

200
00:08:30,495 --> 00:08:32,595
一分三十多分钟的音频

201
00:08:32,595 --> 00:08:39,455
由于我之前在摆弄这个并设置了一些名字

202
00:08:39,455 --> 00:08:41,975
它实际上记住了这里这个人的名字

203
00:08:41,975 --> 00:08:44,795
让我们听一下

204
00:08:44,795 --> 00:08:48,555
看看当多个说话人同时说话时会发生什么

205
00:08:48,555 --> 00:08:52,535
为了庆祝Nemotron三说话人分离的发布

206
00:08:52,535 --> 00:08:55,895
我们邀请了另外七位开放文本转语音声音加入派对

207
00:08:55,895 --> 00:08:58,455
我是Chris NVIDIA的Nemotron声音

208
00:08:58,455 --> 00:09:00,235
大家好 谢谢邀请

209
00:09:00,235 --> 00:09:03,355
我是Jane来自QTI的Pocket声音

210
00:09:03,355 --> 00:09:05,915
很高兴见到你们Chris和Jane

211
00:09:05,915 --> 00:09:08,015
我是Serena Quinn三的声音

212
00:09:08,015 --> 00:09:09,635
我是来自Cocorro的Adam

213
00:09:09,635 --> 00:09:11,375
只有8200万参数量

214
00:09:11,375 --> 00:09:12,795
我还是入选了嘉宾名单

215
00:09:12,795 --> 00:09:13,695
你好你好

216
00:09:13,695 --> 00:09:15,835
我是来自Resemble AI的Chatterbox

217
00:09:15,835 --> 00:09:17,815
我带来了富有表现力的能量

218
00:09:17,815 --> 00:09:18,055
嗨

219
00:09:18,055 --> 00:09:20,435
我是来自Nari Labs的John Dyer声音

220
00:09:20,435 --> 00:09:22,175
我们这里已经聚集了很棒的人群

221
00:09:22,175 --> 00:09:22,795
大家好

222
00:09:22,795 --> 00:09:23,595
最近怎么样

223
00:09:23,595 --> 00:09:26,175
我是来自Maya Research的Maya E声音

224
00:09:26,175 --> 00:09:26,955
好了

225
00:09:26,955 --> 00:09:28,975
现在我们有八位合成开放声音

226
00:09:28,975 --> 00:09:29,855
做满了场子

227
00:09:29,855 --> 00:09:32,055
让我们来测试一下Nemotron三说话人分离

228
00:09:32,055 --> 00:09:32,255
好的

229
00:09:32,255 --> 00:09:33,875
新的说话人分离模型

230
00:09:33,875 --> 00:09:35,915
可以在转路时标记我们的每个声音

231
00:09:35,915 --> 00:09:38,055
但它能在我们所有人一起说话时

232
00:09:38,055 --> 00:09:38,775
做到这一点吗

233
00:09:38,775 --> 00:09:39,515
让我们来看看

234
00:09:39,515 --> 00:09:40,915
即使我们互相打断

235
00:09:40,915 --> 00:09:42,755
它也能叫出我们俩的名字

236
00:09:42,755 --> 00:09:43,775
逐针标记

237
00:09:43,775 --> 00:09:45,515
谁在何时说话

238
00:09:45,515 --> 00:09:46,475
好的

239
00:09:46,475 --> 00:09:48,715
正如你在这里看到的

240
00:09:48,715 --> 00:09:51,115
它在转录每一个声音方面

241
00:09:51,115 --> 00:09:51,935
做得很好

242
00:09:51,935 --> 00:09:53,375
如果我们往下看看

243
00:09:53,375 --> 00:09:55,555
可以看到每个声音都被转录了

244
00:09:55,555 --> 00:09:57,175
我想我的UI在这方面

245
00:09:57,175 --> 00:09:58,495
稍微有点滞后

246
00:09:58,495 --> 00:09:59,915
但你完全可以感受到

247
00:09:59,915 --> 00:10:01,355
它是如何组装起来的

248
00:10:01,355 --> 00:10:02,215
实际上

249
00:10:02,215 --> 00:10:03,415
如果我们放大一点

250
00:10:03,415 --> 00:10:04,755
来自QTI的声音

251
00:10:04,755 --> 00:10:05,915
很高兴见到你们

252
00:10:05,915 --> 00:10:07,175
Chris和Jen

253
00:10:07,175 --> 00:10:07,975
我是Serena

254
00:10:07,975 --> 00:10:09,335
Queen3的声音

255
00:10:09,335 --> 00:10:10,755
你可以很快看到

256
00:10:10,755 --> 00:10:15,055
我们基本上可以组装出一个能转录这些声音的东西

257
00:10:15,055 --> 00:10:17,775
如果我们想在这里输入他们的名字

258
00:10:17,775 --> 00:10:20,815
它会便利并为我们重命名所有人

259
00:10:20,815 --> 00:10:25,495
现在如果我们想看看实际模型返回的是什么

260
00:10:25,495 --> 00:10:28,915
你可以看到这里是模型返回的原始Jason

261
00:10:28,915 --> 00:10:32,655
我们可以看到这里实际使用的是什么

262
00:10:32,655 --> 00:10:35,475
我们可以看到不同的说话人被标记等

263
00:10:35,475 --> 00:10:40,515
然后这个软件基本上将speaker三重写为Adam等

264
00:10:40,515 --> 00:10:41,855
便利这个过程

265
00:10:41,855 --> 00:10:43,835
做这样的事情

266
00:10:43,835 --> 00:10:44,955
很酷的一点是

267
00:10:44,955 --> 00:10:46,015
我们可以很快

268
00:10:46,015 --> 00:10:47,055
获得统计数据

269
00:10:47,055 --> 00:10:48,875
比如每个人

270
00:10:48,875 --> 00:10:50,095
在那里说了多久

271
00:10:50,095 --> 00:10:52,335
说了多少次

272
00:10:52,335 --> 00:10:53,715
有多少次发言

273
00:10:53,715 --> 00:10:55,675
如果我们想在这里

274
00:10:55,675 --> 00:10:57,135
放入更长的内容

275
00:10:57,135 --> 00:10:58,315
这会非常有用

276
00:10:58,315 --> 00:10:58,795
好的

277
00:10:58,795 --> 00:11:00,115
这里酷的是

278
00:11:00,115 --> 00:11:01,875
我们可以处理长文件

279
00:11:01,875 --> 00:11:03,335
所以我基本上

280
00:11:03,335 --> 00:11:03,935
放入了

281
00:11:03,935 --> 00:11:05,035
All in 播客的

282
00:11:05,035 --> 00:11:06,195
一集完整节目

283
00:11:06,195 --> 00:11:07,455
他们采访了黄仁勋

284
00:11:07,455 --> 00:11:08,355
你可以看到

285
00:11:08,355 --> 00:11:09,815
他基本上已经处理完了

286
00:11:09,815 --> 00:11:12,115
我们得到了输出

287
00:11:12,115 --> 00:11:14,435
我命名了这里的实际说话人

288
00:11:14,435 --> 00:11:15,795
所以我们可以看到

289
00:11:15,795 --> 00:11:17,555
说话人依次出现

290
00:11:17,555 --> 00:11:19,095
现在我们有了每个人

291
00:11:19,095 --> 00:11:21,075
说了什么的完整转录文本

292
00:11:21,075 --> 00:11:23,935
这里酷的是我们可以查看统计数据

293
00:11:23,935 --> 00:11:26,315
我们可以看到他们各自的说话时长

294
00:11:26,315 --> 00:11:28,415
我们可以看到

295
00:11:28,415 --> 00:11:29,415
果然

296
00:11:29,415 --> 00:11:30,035
显然

297
00:11:30,035 --> 00:11:31,615
黄仁勋是这里的嘉宾

298
00:11:31,615 --> 00:11:33,615
所以他是说话最多的

299
00:11:33,615 --> 00:11:36,395
而这一切都在148秒内完成

300
00:11:36,395 --> 00:11:39,855
所以对于这个超过一小时的长文件

301
00:11:39,855 --> 00:11:41,815
这大约花了两分半钟

302
00:11:41,815 --> 00:11:44,415
这让我们基本上可以便利

303
00:11:44,415 --> 00:11:45,615
你可以看到

304
00:11:45,615 --> 00:11:48,555
现在我们基本上可以直接阅读转录文本

305
00:11:48,555 --> 00:11:51,035
我可以将其导出为文本文件

306
00:11:51,035 --> 00:11:52,915
或者在这里导出为srt

307
00:11:52,915 --> 00:11:54,135
这里酷的是

308
00:11:54,135 --> 00:11:56,595
如果我确实想做多语言

309
00:11:56,595 --> 00:11:58,075
或其他类似的事情

310
00:11:58,075 --> 00:11:59,695
我可以切换模型

311
00:11:59,695 --> 00:12:01,015
使用这个模型

312
00:12:01,015 --> 00:12:03,335
而不是这里的paraket模型

313
00:12:03,335 --> 00:12:04,355
你可以看到

314
00:12:04,355 --> 00:12:05,535
用这个模型

315
00:12:05,535 --> 00:12:07,775
我们支持很多不同的语言

316
00:12:07,775 --> 00:12:10,115
如果你记得我做过关于这个的视频

317
00:12:10,115 --> 00:12:12,455
你实际上可以微调这个模型

318
00:12:12,455 --> 00:12:15,535
使其在其他语言上表现非常好

319
00:12:15,535 --> 00:12:17,735
他们在这里称之为适配就绪

320
00:12:17,735 --> 00:12:20,695
现在我还没有真正设置这个应用去做

321
00:12:20,695 --> 00:12:22,555
但模型能做的另一件事

322
00:12:22,555 --> 00:12:24,595
是你也可以进行流逝响应

323
00:12:24,595 --> 00:12:24,955
当然

324
00:12:24,955 --> 00:12:27,555
那样你的准确率可能会下降一点

325
00:12:27,555 --> 00:12:31,255
但你在那里仍然应该能获得相当好的结果

326
00:12:31,255 --> 00:12:32,235
所以

327
00:12:32,235 --> 00:12:34,735
如果你有兴趣做任何语音转录

328
00:12:34,735 --> 00:12:37,535
并且希望其中包含说话人分离等

329
00:12:37,535 --> 00:12:39,675
这是一个很好的设置方法

330
00:12:39,675 --> 00:12:42,155
你可以批量完成所有转路等

331
00:12:42,155 --> 00:12:43,055
最重要的是

332
00:12:43,055 --> 00:12:45,335
能够完全在本地完成所有这一切

333
00:12:45,335 --> 00:12:46,115
所以

334
00:12:46,115 --> 00:12:47,995
如果你对这方面有任何问题

335
00:12:47,995 --> 00:12:49,355
请在评论区告诉我

336
00:12:49,355 --> 00:12:50,935
我认为看到NVIDIA

337
00:12:50,935 --> 00:12:52,995
接下来在这些语音模型上

338
00:12:52,995 --> 00:12:54,555
会做什么将会非常酷

339
00:12:54,555 --> 00:12:55,855
就像我说的

340
00:12:55,855 --> 00:12:57,095
从我看到的来看

341
00:12:57,095 --> 00:12:58,015
它们不断迭代

342
00:12:58,015 --> 00:12:59,115
以改进这些模型

343
00:12:59,115 --> 00:13:00,695
并为不同的用力

344
00:13:00,695 --> 00:13:02,815
提供不同类型的模型

345
00:13:02,815 --> 00:13:03,475
总之

346
00:13:03,475 --> 00:13:04,515
一如既往

347
00:13:04,515 --> 00:13:05,975
如果你觉得视频有用

348
00:13:05,975 --> 00:13:07,335
请点赞并订阅

349
00:13:07,335 --> 00:13:08,535
我们下个视频见

350
00:13:08,535 --> 00:13:09,195
再见