0:00.533–0:04.555
zh大家好这里是 Hex-电脑课堂 本期要跟大家分享的是
0:04.555–0:08.911
zh一款开源的同声传译的神器 那这款工具在我自己使用体验后
0:08.911–0:13.603
zh我发现它的效果真的很惊艳 它不只是跨平台 支持Windows
0:13.603–0:18.462
zhLinux还有macos 并且整个过程是完全免费的 更重要的是
0:18.462–0:19.300
zh它的效果是
0:19.300–0:29.487
zh我觉得是可以跟很多 商用闭源的去扳扳手腕的 OK那我们废话不多说
0:29.487–0:39.335
zh先给大家直接展示效果 人工智能 是一项对社会影响非常深远的技术
0:39.335–0:46.466
zh它将重塑社会的各行各业 OK那我们从现在开始
0:46.466–0:58.310
zh就要密切的关注这项技术并且 保持与时俱进 所以关注HEX电脑课堂
0:58.310–1:06.600
zh并且持续的学习 让我们一起在AI时代保持进步
1:16.933–1:38.000
zh人工智能是一项对社会 发展影响深远的技术 它将重塑我们社会各行各业 人工智能
1:38.066–1:59.866
zh它是一项对社会发展影响深远的技术 它将重塑我们社会各行各业 OK那大家可以看到刚才的演示
1:59.866–2:04.017
zh是不是它的效果非常好 那本期 我就将带大家手把手的来
2:04.017–2:08.514
zh完成这样项目的一个部署OK 那首先 它对系统是有些要求的
2:08.514–2:10.244
zh就是你是win10,
2:10.244–2:14.741
zhwin11 这个都没关系 然后你的电脑如果 没有GPU的话
2:14.741–2:18.200
zh也是ok的 它要求比较低 但是如果你有GPU
2:18.200–2:22.844
zh有英伟达的显卡 那更好了 那建议显存是大于等于8G以上
2:22.844–2:27.674
zh然后你的内存最低要4G 这是最低的 然后你的磁盘空间的话
2:27.674–2:32.132
zh是200兆以上 这个都是很低的条件 然后你的麦克风和
2:32.132–2:37.333
zh扬声器要正常工作 第一步我们去下载这个终端 我们来到这个网页
2:37.333–2:42.573
zh这他的官方网页 我们点击这个下载 然后点击下载之后 这个终端就会来
2:42.573–2:46.242
zh下载到有这样一个exe的文件 然后我们双击它
2:46.242–2:50.260
zh然后点击下一步下一步安装 就可以安装到本地了OK
2:50.260–2:55.500
zh然后我顺便提一下 因为它有两种形式 我们今天讲的是这种终端的形式
2:55.500–2:58.593
zh还有一种是它浏览器的 一个拓展插件的形式
2:58.593–3:02.500
zh那这个后面有机会我再给大家讲 那ok你终端装好之后
3:02.500–3:06.733
zh你桌面就会有这样一个LOGO图标 那我们现在双击打开它
3:06.733–3:10.152
zh它就会来到这样一个页面 我们可以看到右上角有
3:10.152–3:13.733
zh登录有字幕有设置等按钮 那我们这里 点击这个设置
3:14.266–3:19.109
zh我们这里可以选择我说什么语言 我这里选中文 然后对方听到什么语言
3:19.109–3:22.661
zh你可以去选的 就是这里选英语 那你一开始进来这里
3:22.661–3:26.374
zh都是没有什么东西的 你要自己去选 然后这些选的话也
3:26.374–3:29.925
zh不是你可以任意去选的 要根据你自己去配置的模型
3:29.925–3:33.800
zh那模型具体怎么配置 我跟大家说一下 比如大家可以看到
3:33.933–3:38.075
zh它这里总共是包括了三个模块 这里比如说有语音识别
3:38.075–3:41.316
zh有语音的那个文本的翻译 还有语音的合成
3:41.316–3:46.178
zh那这几个模型是我自己下载的 那我为什么选择下载这几个模型
3:46.178–3:51.040
zh我给大家说一下这个原因 因为我自己做了很多的一些测试OK
3:51.040–3:52.300
zh那这第二步的话
3:52.300–3:55.830
zh我们本期先不讲 因为这个东西是跟插件相关的
3:55.830–4:01.126
zh跟我们这期内容不是很相关 所以我们这边先过 然后我们先看到第三步
4:01.126–4:05.363
zh就是模型下载这里 模型下载这里了 首先它分成三个模型
4:05.363–4:10.305
zh刚刚跟大家提过了 然后我建议大家去下载哪个模型 去下载这一个
4:10.305–4:12.600
zh这个模型 这个mini 4B的
4:12.600–4:17.146
zh你可以看到为什么 因为这个模型 它的整体的效果是最好的
4:17.146–4:22.238
zh在这个地方你可以看到 它不管是它的精度还是速度 它都是5颗星
4:22.238–4:26.238
zh是满星的 所以我这边是给 用这个模型给大家去演示
4:26.238–4:30.966
zh然后我等下会教大家怎么去下载 对然后 我顺便给大家提一下
4:30.966–4:34.075
zh它这里有提到一个概念 就是什么webgpu
4:34.075–4:38.273
zh这个东西就是相当于是用GPU去做 网页端的一个渲染加速的
4:38.273–4:41.538
zh以往都是CPU 所以你选它的话会更好 速度更快
4:41.538–4:45.425
zh第二步的话去下载机器翻译的模型 那机器翻译的模型官方
4:45.425–4:49.623
zh这边推荐我们是用这个模型 就是这个叫做translate
4:49.623–4:50.400
enGemma
4:50.600–4:54.012
zh它的速度和质量整体也是最好的 所以我们就选它
4:54.012–4:58.073
zh然后这边下载的好了之后 这个模型大概是有将近3G左右
4:58.073–5:02.785
zh然后你可以看到它这边 支持了各种各样的语言 语种也比较丰富 OK
5:02.785–5:06.846
zh然后TTS模型就是语音合成 就是那个播音的 那这个的话
5:06.846–5:09.933
zh我这边是选的是这个supersonic
5:10.000–5:14.677
zh那这个模型我们可以 看到它只有380多兆 对吧它比较小
5:14.677–5:17.857
zh然后它支持的语种也很丰富 那这样的话
5:17.857–5:22.908
zh就是你组合起来就会非常的丰富了 对吧你语音识别跟语音合成
5:22.908–5:28.333
zh包括那个翻译 那语种的范围就很丰富了 你的可拓展性就很强了对吧
5:28.366–5:32.661
zhOK那它怎么样配来 教大家首先我们来到语音识别这里
5:32.661–5:37.315
zh你默认的话它是会 这里有一个叫做浏览模型库 我们点击一下
5:37.315–5:42.684
zh然后这边有很多的模型 大家可以看到 这边我们就选择刚才已经下好的
5:42.684–5:46.800
zh我这边已经下好了 它就会显示使用中 你没有下载好的
5:46.800–5:50.103
zh我举个例子 你就点一下这个下载按钮 你点一下下载
5:50.103–5:54.307
zh它就会给你开始在本地去下载了 然后你就只要等个几分钟就好了
5:54.307–5:58.811
zh那这里的话 需要注意的就是你的 网络一定要保持全局模式 网络要稳定
5:58.811–6:02.714
zh你看他就现在已经开始下载了OK 那我这边暂时不用给他下
6:02.714–6:04.966
zh我就给他叉掉 我还是依然用我们的
6:04.966–6:08.075
zh这个mini的4B的这个模型OK然后
6:08.075–6:12.738
zh我们再接着去找刚才另外几个模型 比如说 语音那个翻译的模型
6:12.738–6:17.401
zh这个也有 这里我们 点击这个浏览模型库 都是一样的 很容易操作
6:17.401–6:21.718
zh这边我已经下载好了这个translate Gemma
6:21.718–6:23.100
zh刚才那个4B模型
6:23.166–6:27.772
zh那其他的模型你要下载也是一样的 在这个地方点下载按钮就好了
6:27.772–6:32.050
zh很简单 然后最后一个这个模型就是 那个语音合成的这个模型
6:32.050–6:36.327
zh同样还是在这里点浏览模型库 可以看到这底下有很多待选的
6:36.327–6:40.769
zh你根据自己的需求来选 那它这边会有一些标签 就是什么en,
6:40.769–6:43.566
zhfa这些 这些是代表你这个语音的模型
6:43.566–6:47.211
zh它支持哪些语种 我这里选择一个很多的 大家可以看到
6:47.211–6:51.014
zh我把它也下载好了 下载好之后 这三个模型都配好了OK
6:51.014–6:54.501
zh那我们现在要把它选中了 就是你已经把它都选好了
6:54.501–6:58.463
zh然后这里有语音合成的一个速度 这个东西 它默认是1.0
6:58.463–7:02.266
zh我这里给它改成了1.2 可能我觉得稍微速度会快一点
7:02.266–7:05.866
zh这个根据个人的一个需求吧 都没有一个绝对的标准
7:05.866–7:10.775
zh然后底下这几个参数 我要给大家稍微提一下 这些都是默认已经配好的
7:10.775–7:15.193
zh它都是一个比较成熟的参数 你不用一般不用去改的 像这个什么
7:15.193–7:19.448
zh比如说这个最小的静音时长 这一项它一般是设置为1.4秒
7:19.448–7:20.266
zh是什么意思
7:20.266–7:24.555
zh就是我们说话的时候 如果两句话间隔超过了1.4秒的话
7:24.555–7:29.530
zh那么它就会把这里切割开 分成两句话 就这意思 然后最小的语音时长
7:29.530–7:33.819
zh它这里默认写的是0.4秒 也就是说 如果你说话的有一些
7:33.819–7:38.966
zh那种声音比较零碎 那个声音的片段小于0.4秒 他就不会给你去识别
7:38.966–7:42.786
zh就相当于是杂音对吧 这也是比较节省算力的一种方法
7:42.786–7:47.271
zhOK那这个都弄好之后 我们这里还有一个音频 这一项也是你的
7:47.271–7:50.925
zh就是你的物理的外设 我们要选什么 首先你的麦克风
7:50.925–7:55.908
zh你要选你的实际的物理的外设 你不要选其他的 不然他到时候连不通的
7:55.908–7:58.400
zh然后 这个东西其他一般就不用管了
7:58.400–8:03.703
zh然后还有这个供提供商 这个刚刚我们已经说过了 对然后就是常规这里
8:03.703–8:08.475
zh然后你要说什么 你要说中文 然后你希望对方听到什么 我选英文
8:08.475–8:12.363
zh那你这里的语言你要注意 因为我刚才选的那些模型
8:12.363–8:17.666
zh它支持了很多种语种 所以我这里才有的这么多选 如果你选的模型它就
8:17.666–8:21.320
zh支持一两种语种的话 你这个下拉框是没这么多选的
8:21.320–8:26.136
zh那我们这边选好之后 我们就点击这里开始会话 然后左边 它是有3个
8:26.136–8:30.289
zh这里是我 还有一个对方 还有一个两者 那我们目前主要是用
8:30.289–8:33.943
zh我这种方式就好了 如果是对方的话 那就是另外一种
8:33.943–8:36.600
zh这后面这两个我们今天不演示了OK
8:36.666–8:46.856
zh然后我们点击开始会话 这里加载好了之后 我们现在就可以说话了
8:46.856–8:57.409
zh然后你可以看到左上角 它正在识别我们讲的话 然后它这个是实时的
8:57.409–9:07.599
zh是流式的 那这个字有点小 我们可以点一下右上角 这里有一个字幕
9:07.599–9:11.966
zh把它放大一些 对整体看上去
9:11.966–9:22.375
zh它这个效果还可以 虽然说有时候可能 识别的个别字不太精准
9:22.375–9:33.584
zh那当然这可能也是我个人 有时候普通话不太标准 所以它识别起来
9:33.584–9:45.594
zh可能会有一些点误差 但是也不影响它的一个翻译 我们可以看到它整体
9:45.594–9:52.800
zh我觉得效果还是不错的 OK我们退出的话
9:52.800–9:58.070
zh我们就点一下ESC 然后这些字幕的话 它有一个删除的小按钮点一下
9:58.070–10:03.165
zh它就给它清空了 然后我们要结束的话 我们点击下方的这个结束会话
10:03.165–10:06.678
zh那这个就结束了 OK那如果你希望对方听到的
10:06.678–10:10.719
zh就我刚刚给大家演示了不同的语种 这个地方比如说你
10:10.719–10:12.300
zh想要他听到西班牙语
10:12.300–10:20.928
zh或者是你想要他听到日本语 那你这个地方切换一下就好了
10:20.928–10:28.866
zh然后你这里点击开始会话 你好可以听到我声音吗 你好
10:28.866–10:34.733
zh我想现在跟你分享一些事情 你可以看到
10:34.733–10:48.888
zh他这个字幕还是 就是逐步的播过去的 这个我觉得效果是非常好的
10:48.888–11:00.010
zh就是有你讲话 然后你可以看到这个字幕是在流动的
11:00.010–11:05.066
zhOK然后我们把它结束
11:05.066–11:09.328
zh然后我们可以再切换其他的这种语言 那这些都是类似的
11:09.328–11:14.655
zh我就不给大家一一去演示了 然后这上面有一些东西 我再给大家讲一下
11:14.655–11:19.982
zh就是提供商 那因为本地的其实我已经试过了 这几个模型它都是在本地
11:19.982–11:24.066
zh就没有去走任何在线的API 那如果有些小伙伴他说
11:24.066–11:27.529
zh我有在线的这种API的话 你也可以去用 这个都行
11:27.529–11:32.095
zh因为我觉得其实本地 的效果已经很棒了 大家可以看到 那这边怎么选
11:32.095–11:36.503
zh你可以看到 首先在这个地方点常规 然后这里有个AI服务提供商
11:36.503–11:40.753
zh我们点一下 这里有Openai 有一些其他的 比如说什么豆包
11:40.753–11:42.800
zh还有那个谷歌Gemini呀
11:42.800–11:46.343
zh等等的这些 你有买哪个API 你就给它对应的输入
11:46.343–11:50.048
zh比如我点Openai的 你看你点进Openai的
11:50.048–11:53.913
zh这个地方填入你的密钥 然后这里音频的话 这个保持不动
11:53.913–11:56.651
zh提供商这一块的话 你可以选 在这里选择
11:56.651–12:01.000
zh就是Openai那个语音的模型对应的 发音的那个角色对吧
12:01.000–12:07.282
zh你自己去选 然后这些东西你可以把 它参数对应的填过去 它就可以调在线的API了,
12:07.282–12:11.527
zh对 那原理是一样的 但是我自己是觉得 就是其实我们免费的
12:11.527–12:15.433
zh就是我今天给大家 展示的主要是免费的 已经够用了对
12:15.433–12:18.998
zh所以整体实现下来这个效果是 我觉得是在我目前
12:18.998–12:20.866
zh就是看过的所有的开源的
12:20.866–12:25.035
zh这种同声传译的项目里面 应该是最好的了 所以我强烈建议大家
12:25.035–12:29.513
zh尤其是很多小伙伴经常需要 就是用到外语去交流 但是自己可能外语
12:29.513–12:33.992
zh水平可能还没那么好 用这些工具我觉得是 对你有很大的帮助的OK
12:33.992–12:37.698
zh那本期的这些课程资源其实比较少 但是我会放到评论区
12:37.698–12:38.933
zh大家直接可以去用
12:38.933–12:43.367
zh那我最后还要提到一个注意点 就是我在实际使用过程中
12:43.367–12:48.171
zh很多小伙伴使用的时候会报错 那这个报错是什么原因造成的
12:48.171–12:53.714
zh就是我们一定要注意 我们用到的这三个模型 它支持的语种范围是什么
12:53.714–12:58.333
zh举个例子 比如说我这里的语种 它有一个粤语 这也是支持的
12:58.400–13:04.466
zh我们可以看到这有粤语对吧但是 我这里说话的话 我说的是普通话然后
13:04.466–13:08.914
zh我这个语音识别可能它这个模型 它能够识别普通话
13:08.914–13:14.374
zh但是它语音合成的那个模型 它不支持播放粤语 那么它就会报错
13:14.374–13:16.800
zh你这三个模型 大家可以看到
13:16.800–13:28.380
zh就是你这三个模型 它们支持的语种一定要有共同的 那么这个链路才是通的 有一个不支持的 那么你这个链路就通不了 小伙伴可能遇到的这些 大部分可能是这一方
13:28.380–13:36.100
zh面的问题 还有就是你网络不好 你网络如果有问题的话 你没开全局模式的话 你这些模型是下载不到你本地的
13:36.100–13:40.119
zh还有一个细节就是 关于这里有个登录 这里刚才跟大家有讲过
13:40.119–13:44.756
zh你看这个登录这里 你可以点击去注册 或者是就已经有账号就登录进去
13:44.756–13:49.238
zh那它本质上 它会用到它云端的这个sokuji 它自己的翻译服务
13:49.238–13:52.638
zhapi 那对于有些小伙伴不想去折腾 你可以去用它
13:52.638–13:55.266
zh那这样的话你就不用 去本地下载模型了
13:55.266–13:59.690
zh但是要提醒一下大家就是 你这样的话 你的数据是会经过它的服务器的
13:59.690–14:03.229
zh就是说数据的隐私性 就保障没那么好 根据自己的需求来
14:03.229–14:06.031
zh如果你全都想让数据不 出自己的本地的电脑
14:06.031–14:08.833
zh那么你就用我刚刚给大家讲的方法 还有一点
14:08.833–14:12.520
zh也是我个人使用的一个经验 这个东西对大家应该很有帮助
14:12.520–14:13.700
zh同声传译这个东西
14:13.700–14:18.249
zh大家要知道它最看重的是什么 就是一个是翻译的准确性
14:18.249–14:23.367
zh一个是它的一个时延 就是我们那个翻译的 那个时间不能太久了
14:23.367–14:27.538
zh这样的话就做不到同声了 那我们要想在这个项目中
14:27.538–14:32.466
zh要尽量的去把它时延降低 让它的用户体验更好 应该怎么去做
14:32.500–14:35.976
zh首先刚才我跟大家是讲了 它里面有很多模型对吧
14:35.976–14:40.445
zh大家可以看到这模型是有一大堆的 那么我们应该怎么去选模型
14:40.445–14:45.245
zh大家要记住 你要选肯定要去选流式的 也就是说不要选非流式的模型
14:45.245–14:49.714
zh那流式的模型一般会带上 一个叫realtime的这个字段
14:49.714–14:51.700
zh然后有这个Web GPU的
14:51.700–14:56.852
zh你就尽量去选它对 这个是一个细节 很重要的 就是你选那种非流式的
14:56.852–15:01.472
zh它推你的话 那整个链路就会很慢了 等于说你说完半句话以后
15:01.472–15:04.492
zh别人都已经说完下一句了 它还没翻译完
15:04.492–15:08.579
zh那当然那那体验就很不好了对吧 所以大家一定要记住
15:08.579–15:10.533
zh就是要尽量选流式的模型
15:10.700–15:15.413
zh不管是语音识别 还是那个翻译 或者是那个语音合成 都要去选流式的
15:15.413–15:20.289
zh然后有GPU的话 就要去把那个webgpu那个也选好 那本期视频
15:20.289–15:24.678
zh我就跟大家分享到这了 大家如果觉得我的 视频对你有帮助的话
15:24.678–15:29.066
zh也请支持一下我的创作 帮我点赞关注转发 那本期内容到此结束
15:29.066–15:30.200
zh我们下期再会
0:00.533–0:04.555
大家好这里是 Hex-电脑课堂 本期要跟大家分享的是
0:04.555–0:08.911
一款开源的同声传译的神器 那这款工具在我自己使用体验后
0:08.911–0:13.603
我发现它的效果真的很惊艳 它不只是跨平台 支持Windows
0:13.603–0:18.462
Linux还有macos 并且整个过程是完全免费的 更重要的是
0:18.462–0:19.300
它的效果是
0:19.300–0:29.487
我觉得是可以跟很多 商用闭源的去扳扳手腕的 OK那我们废话不多说
0:29.487–0:39.335
先给大家直接展示效果 人工智能 是一项对社会影响非常深远的技术
0:39.335–0:46.466
它将重塑社会的各行各业 OK那我们从现在开始
0:46.466–0:58.310
就要密切的关注这项技术并且 保持与时俱进 所以关注HEX电脑课堂
0:58.310–1:06.600
并且持续的学习 让我们一起在AI时代保持进步
1:16.933–1:38.000
人工智能是一项对社会 发展影响深远的技术 它将重塑我们社会各行各业 人工智能
1:38.066–1:59.866
它是一项对社会发展影响深远的技术 它将重塑我们社会各行各业 OK那大家可以看到刚才的演示
1:59.866–2:04.017
是不是它的效果非常好 那本期 我就将带大家手把手的来
2:04.017–2:08.514
完成这样项目的一个部署OK 那首先 它对系统是有些要求的
2:08.514–2:10.244
就是你是win10,
2:10.244–2:14.741
win11 这个都没关系 然后你的电脑如果 没有GPU的话
2:14.741–2:18.200
也是ok的 它要求比较低 但是如果你有GPU
2:18.200–2:22.844
有英伟达的显卡 那更好了 那建议显存是大于等于8G以上
2:22.844–2:27.674
然后你的内存最低要4G 这是最低的 然后你的磁盘空间的话
2:27.674–2:32.132
是200兆以上 这个都是很低的条件 然后你的麦克风和
2:32.132–2:37.333
扬声器要正常工作 第一步我们去下载这个终端 我们来到这个网页
2:37.333–2:42.573
这他的官方网页 我们点击这个下载 然后点击下载之后 这个终端就会来
2:42.573–2:46.242
下载到有这样一个exe的文件 然后我们双击它
2:46.242–2:50.260
然后点击下一步下一步安装 就可以安装到本地了OK
2:50.260–2:55.500
然后我顺便提一下 因为它有两种形式 我们今天讲的是这种终端的形式
2:55.500–2:58.593
还有一种是它浏览器的 一个拓展插件的形式
2:58.593–3:02.500
那这个后面有机会我再给大家讲 那ok你终端装好之后
3:02.500–3:06.733
你桌面就会有这样一个LOGO图标 那我们现在双击打开它
3:06.733–3:10.152
它就会来到这样一个页面 我们可以看到右上角有
3:10.152–3:13.733
登录有字幕有设置等按钮 那我们这里 点击这个设置
3:14.266–3:19.109
我们这里可以选择我说什么语言 我这里选中文 然后对方听到什么语言
3:19.109–3:22.661
你可以去选的 就是这里选英语 那你一开始进来这里
3:22.661–3:26.374
都是没有什么东西的 你要自己去选 然后这些选的话也
3:26.374–3:29.925
不是你可以任意去选的 要根据你自己去配置的模型
3:29.925–3:33.800
那模型具体怎么配置 我跟大家说一下 比如大家可以看到
3:33.933–3:38.075
它这里总共是包括了三个模块 这里比如说有语音识别
3:38.075–3:41.316
有语音的那个文本的翻译 还有语音的合成
3:41.316–3:46.178
那这几个模型是我自己下载的 那我为什么选择下载这几个模型
3:46.178–3:51.040
我给大家说一下这个原因 因为我自己做了很多的一些测试OK
3:51.040–3:52.300
那这第二步的话
3:52.300–3:55.830
我们本期先不讲 因为这个东西是跟插件相关的
3:55.830–4:01.126
跟我们这期内容不是很相关 所以我们这边先过 然后我们先看到第三步
4:01.126–4:05.363
就是模型下载这里 模型下载这里了 首先它分成三个模型
4:05.363–4:10.305
刚刚跟大家提过了 然后我建议大家去下载哪个模型 去下载这一个
4:10.305–4:12.600
这个模型 这个mini 4B的
4:12.600–4:17.146
你可以看到为什么 因为这个模型 它的整体的效果是最好的
4:17.146–4:22.238
在这个地方你可以看到 它不管是它的精度还是速度 它都是5颗星
4:22.238–4:26.238
是满星的 所以我这边是给 用这个模型给大家去演示
4:26.238–4:30.966
然后我等下会教大家怎么去下载 对然后 我顺便给大家提一下
4:30.966–4:34.075
它这里有提到一个概念 就是什么webgpu
4:34.075–4:38.273
这个东西就是相当于是用GPU去做 网页端的一个渲染加速的
4:38.273–4:41.538
以往都是CPU 所以你选它的话会更好 速度更快
4:41.538–4:45.425
第二步的话去下载机器翻译的模型 那机器翻译的模型官方
4:45.425–4:49.623
这边推荐我们是用这个模型 就是这个叫做translate
4:49.623–4:50.400
Gemma
4:50.600–4:54.012
它的速度和质量整体也是最好的 所以我们就选它
4:54.012–4:58.073
然后这边下载的好了之后 这个模型大概是有将近3G左右
4:58.073–5:02.785
然后你可以看到它这边 支持了各种各样的语言 语种也比较丰富 OK
5:02.785–5:06.846
然后TTS模型就是语音合成 就是那个播音的 那这个的话
5:06.846–5:09.933
我这边是选的是这个supersonic
5:10.000–5:14.677
那这个模型我们可以 看到它只有380多兆 对吧它比较小
5:14.677–5:17.857
然后它支持的语种也很丰富 那这样的话
5:17.857–5:22.908
就是你组合起来就会非常的丰富了 对吧你语音识别跟语音合成
5:22.908–5:28.333
包括那个翻译 那语种的范围就很丰富了 你的可拓展性就很强了对吧
5:28.366–5:32.661
OK那它怎么样配来 教大家首先我们来到语音识别这里
5:32.661–5:37.315
你默认的话它是会 这里有一个叫做浏览模型库 我们点击一下
5:37.315–5:42.684
然后这边有很多的模型 大家可以看到 这边我们就选择刚才已经下好的
5:42.684–5:46.800
我这边已经下好了 它就会显示使用中 你没有下载好的
5:46.800–5:50.103
我举个例子 你就点一下这个下载按钮 你点一下下载
5:50.103–5:54.307
它就会给你开始在本地去下载了 然后你就只要等个几分钟就好了
5:54.307–5:58.811
那这里的话 需要注意的就是你的 网络一定要保持全局模式 网络要稳定
5:58.811–6:02.714
你看他就现在已经开始下载了OK 那我这边暂时不用给他下
6:02.714–6:04.966
我就给他叉掉 我还是依然用我们的
6:04.966–6:08.075
这个mini的4B的这个模型OK然后
6:08.075–6:12.738
我们再接着去找刚才另外几个模型 比如说 语音那个翻译的模型
6:12.738–6:17.401
这个也有 这里我们 点击这个浏览模型库 都是一样的 很容易操作
6:17.401–6:21.718
这边我已经下载好了这个translate Gemma
6:21.718–6:23.100
刚才那个4B模型
6:23.166–6:27.772
那其他的模型你要下载也是一样的 在这个地方点下载按钮就好了
6:27.772–6:32.050
很简单 然后最后一个这个模型就是 那个语音合成的这个模型
6:32.050–6:36.327
同样还是在这里点浏览模型库 可以看到这底下有很多待选的
6:36.327–6:40.769
你根据自己的需求来选 那它这边会有一些标签 就是什么en,
6:40.769–6:43.566
fa这些 这些是代表你这个语音的模型
6:43.566–6:47.211
它支持哪些语种 我这里选择一个很多的 大家可以看到
6:47.211–6:51.014
我把它也下载好了 下载好之后 这三个模型都配好了OK
6:51.014–6:54.501
那我们现在要把它选中了 就是你已经把它都选好了
6:54.501–6:58.463
然后这里有语音合成的一个速度 这个东西 它默认是1.0
6:58.463–7:02.266
我这里给它改成了1.2 可能我觉得稍微速度会快一点
7:02.266–7:05.866
这个根据个人的一个需求吧 都没有一个绝对的标准
7:05.866–7:10.775
然后底下这几个参数 我要给大家稍微提一下 这些都是默认已经配好的
7:10.775–7:15.193
它都是一个比较成熟的参数 你不用一般不用去改的 像这个什么
7:15.193–7:19.448
比如说这个最小的静音时长 这一项它一般是设置为1.4秒
7:19.448–7:20.266
是什么意思
7:20.266–7:24.555
就是我们说话的时候 如果两句话间隔超过了1.4秒的话
7:24.555–7:29.530
那么它就会把这里切割开 分成两句话 就这意思 然后最小的语音时长
7:29.530–7:33.819
它这里默认写的是0.4秒 也就是说 如果你说话的有一些
7:33.819–7:38.966
那种声音比较零碎 那个声音的片段小于0.4秒 他就不会给你去识别
7:38.966–7:42.786
就相当于是杂音对吧 这也是比较节省算力的一种方法
7:42.786–7:47.271
OK那这个都弄好之后 我们这里还有一个音频 这一项也是你的
7:47.271–7:50.925
就是你的物理的外设 我们要选什么 首先你的麦克风
7:50.925–7:55.908
你要选你的实际的物理的外设 你不要选其他的 不然他到时候连不通的
7:55.908–7:58.400
然后 这个东西其他一般就不用管了
7:58.400–8:03.703
然后还有这个供提供商 这个刚刚我们已经说过了 对然后就是常规这里
8:03.703–8:08.475
然后你要说什么 你要说中文 然后你希望对方听到什么 我选英文
8:08.475–8:12.363
那你这里的语言你要注意 因为我刚才选的那些模型
8:12.363–8:17.666
它支持了很多种语种 所以我这里才有的这么多选 如果你选的模型它就
8:17.666–8:21.320
支持一两种语种的话 你这个下拉框是没这么多选的
8:21.320–8:26.136
那我们这边选好之后 我们就点击这里开始会话 然后左边 它是有3个
8:26.136–8:30.289
这里是我 还有一个对方 还有一个两者 那我们目前主要是用
8:30.289–8:33.943
我这种方式就好了 如果是对方的话 那就是另外一种
8:33.943–8:36.600
这后面这两个我们今天不演示了OK
8:36.666–8:46.856
然后我们点击开始会话 这里加载好了之后 我们现在就可以说话了
8:46.856–8:57.409
然后你可以看到左上角 它正在识别我们讲的话 然后它这个是实时的
8:57.409–9:07.599
是流式的 那这个字有点小 我们可以点一下右上角 这里有一个字幕
9:07.599–9:11.966
把它放大一些 对整体看上去
9:11.966–9:22.375
它这个效果还可以 虽然说有时候可能 识别的个别字不太精准
9:22.375–9:33.584
那当然这可能也是我个人 有时候普通话不太标准 所以它识别起来
9:33.584–9:45.594
可能会有一些点误差 但是也不影响它的一个翻译 我们可以看到它整体
9:45.594–9:52.800
我觉得效果还是不错的 OK我们退出的话
9:52.800–9:58.070
我们就点一下ESC 然后这些字幕的话 它有一个删除的小按钮点一下
9:58.070–10:03.165
它就给它清空了 然后我们要结束的话 我们点击下方的这个结束会话
10:03.165–10:06.678
那这个就结束了 OK那如果你希望对方听到的
10:06.678–10:10.719
就我刚刚给大家演示了不同的语种 这个地方比如说你
10:10.719–10:12.300
想要他听到西班牙语
10:12.300–10:20.928
或者是你想要他听到日本语 那你这个地方切换一下就好了
10:20.928–10:28.866
然后你这里点击开始会话 你好可以听到我声音吗 你好
10:28.866–10:34.733
我想现在跟你分享一些事情 你可以看到
10:34.733–10:48.888
他这个字幕还是 就是逐步的播过去的 这个我觉得效果是非常好的
10:48.888–11:00.010
就是有你讲话 然后你可以看到这个字幕是在流动的
11:00.010–11:05.066
OK然后我们把它结束
11:05.066–11:09.328
然后我们可以再切换其他的这种语言 那这些都是类似的
11:09.328–11:14.655
我就不给大家一一去演示了 然后这上面有一些东西 我再给大家讲一下
11:14.655–11:19.982
就是提供商 那因为本地的其实我已经试过了 这几个模型它都是在本地
11:19.982–11:24.066
就没有去走任何在线的API 那如果有些小伙伴他说
11:24.066–11:27.529
我有在线的这种API的话 你也可以去用 这个都行
11:27.529–11:32.095
因为我觉得其实本地 的效果已经很棒了 大家可以看到 那这边怎么选
11:32.095–11:36.503
你可以看到 首先在这个地方点常规 然后这里有个AI服务提供商
11:36.503–11:40.753
我们点一下 这里有Openai 有一些其他的 比如说什么豆包
11:40.753–11:42.800
还有那个谷歌Gemini呀
11:42.800–11:46.343
等等的这些 你有买哪个API 你就给它对应的输入
11:46.343–11:50.048
比如我点Openai的 你看你点进Openai的
11:50.048–11:53.913
这个地方填入你的密钥 然后这里音频的话 这个保持不动
11:53.913–11:56.651
提供商这一块的话 你可以选 在这里选择
11:56.651–12:01.000
就是Openai那个语音的模型对应的 发音的那个角色对吧
12:01.000–12:07.282
你自己去选 然后这些东西你可以把 它参数对应的填过去 它就可以调在线的API了,
12:07.282–12:11.527
对 那原理是一样的 但是我自己是觉得 就是其实我们免费的
12:11.527–12:15.433
就是我今天给大家 展示的主要是免费的 已经够用了对
12:15.433–12:18.998
所以整体实现下来这个效果是 我觉得是在我目前
12:18.998–12:20.866
就是看过的所有的开源的
12:20.866–12:25.035
这种同声传译的项目里面 应该是最好的了 所以我强烈建议大家
12:25.035–12:29.513
尤其是很多小伙伴经常需要 就是用到外语去交流 但是自己可能外语
12:29.513–12:33.992
水平可能还没那么好 用这些工具我觉得是 对你有很大的帮助的OK
12:33.992–12:37.698
那本期的这些课程资源其实比较少 但是我会放到评论区
12:37.698–12:38.933
大家直接可以去用
12:38.933–12:43.367
那我最后还要提到一个注意点 就是我在实际使用过程中
12:43.367–12:48.171
很多小伙伴使用的时候会报错 那这个报错是什么原因造成的
12:48.171–12:53.714
就是我们一定要注意 我们用到的这三个模型 它支持的语种范围是什么
12:53.714–12:58.333
举个例子 比如说我这里的语种 它有一个粤语 这也是支持的
12:58.400–13:04.466
我们可以看到这有粤语对吧但是 我这里说话的话 我说的是普通话然后
13:04.466–13:08.914
我这个语音识别可能它这个模型 它能够识别普通话
13:08.914–13:14.374
但是它语音合成的那个模型 它不支持播放粤语 那么它就会报错
13:14.374–13:16.800
你这三个模型 大家可以看到
13:16.800–13:28.380
就是你这三个模型 它们支持的语种一定要有共同的 那么这个链路才是通的 有一个不支持的 那么你这个链路就通不了 小伙伴可能遇到的这些 大部分可能是这一方
13:28.380–13:36.100
面的问题 还有就是你网络不好 你网络如果有问题的话 你没开全局模式的话 你这些模型是下载不到你本地的
13:36.100–13:40.119
还有一个细节就是 关于这里有个登录 这里刚才跟大家有讲过
13:40.119–13:44.756
你看这个登录这里 你可以点击去注册 或者是就已经有账号就登录进去
13:44.756–13:49.238
那它本质上 它会用到它云端的这个sokuji 它自己的翻译服务
13:49.238–13:52.638
api 那对于有些小伙伴不想去折腾 你可以去用它
13:52.638–13:55.266
那这样的话你就不用 去本地下载模型了
13:55.266–13:59.690
但是要提醒一下大家就是 你这样的话 你的数据是会经过它的服务器的
13:59.690–14:03.229
就是说数据的隐私性 就保障没那么好 根据自己的需求来
14:03.229–14:06.031
如果你全都想让数据不 出自己的本地的电脑
14:06.031–14:08.833
那么你就用我刚刚给大家讲的方法 还有一点
14:08.833–14:12.520
也是我个人使用的一个经验 这个东西对大家应该很有帮助
14:12.520–14:13.700
同声传译这个东西
14:13.700–14:18.249
大家要知道它最看重的是什么 就是一个是翻译的准确性
14:18.249–14:23.367
一个是它的一个时延 就是我们那个翻译的 那个时间不能太久了
14:23.367–14:27.538
这样的话就做不到同声了 那我们要想在这个项目中
14:27.538–14:32.466
要尽量的去把它时延降低 让它的用户体验更好 应该怎么去做
14:32.500–14:35.976
首先刚才我跟大家是讲了 它里面有很多模型对吧
14:35.976–14:40.445
大家可以看到这模型是有一大堆的 那么我们应该怎么去选模型
14:40.445–14:45.245
大家要记住 你要选肯定要去选流式的 也就是说不要选非流式的模型
14:45.245–14:49.714
那流式的模型一般会带上 一个叫realtime的这个字段
14:49.714–14:51.700
然后有这个Web GPU的
14:51.700–14:56.852
你就尽量去选它对 这个是一个细节 很重要的 就是你选那种非流式的
14:56.852–15:01.472
它推你的话 那整个链路就会很慢了 等于说你说完半句话以后
15:01.472–15:04.492
别人都已经说完下一句了 它还没翻译完
15:04.492–15:08.579
那当然那那体验就很不好了对吧 所以大家一定要记住
15:08.579–15:10.533
就是要尽量选流式的模型
15:10.700–15:15.413
不管是语音识别 还是那个翻译 或者是那个语音合成 都要去选流式的
15:15.413–15:20.289
然后有GPU的话 就要去把那个webgpu那个也选好 那本期视频
15:20.289–15:24.678
我就跟大家分享到这了 大家如果觉得我的 视频对你有帮助的话
15:24.678–15:29.066
也请支持一下我的创作 帮我点赞关注转发 那本期内容到此结束
15:29.066–15:30.200
我们下期再会
0:00.533–0:04.555
zh大家好这里是 Hex-电脑课堂 本期要跟大家分享的是
大家好这里是 Hex-电脑课堂 本期要跟大家分享的是
0:04.555–0:08.911
zh一款开源的同声传译的神器 那这款工具在我自己使用体验后
一款开源的同声传译的神器 那这款工具在我自己使用体验后
0:08.911–0:13.603
zh我发现它的效果真的很惊艳 它不只是跨平台 支持Windows
我发现它的效果真的很惊艳 它不只是跨平台 支持Windows
0:13.603–0:18.462
zhLinux还有macos 并且整个过程是完全免费的 更重要的是
Linux还有macos 并且整个过程是完全免费的 更重要的是
0:18.462–0:19.300
zh它的效果是
它的效果是
0:19.300–0:29.487
zh我觉得是可以跟很多 商用闭源的去扳扳手腕的 OK那我们废话不多说
我觉得是可以跟很多 商用闭源的去扳扳手腕的 OK那我们废话不多说
0:29.487–0:39.335
zh先给大家直接展示效果 人工智能 是一项对社会影响非常深远的技术
先给大家直接展示效果 人工智能 是一项对社会影响非常深远的技术
0:39.335–0:46.466
zh它将重塑社会的各行各业 OK那我们从现在开始
它将重塑社会的各行各业 OK那我们从现在开始
0:46.466–0:58.310
zh就要密切的关注这项技术并且 保持与时俱进 所以关注HEX电脑课堂
就要密切的关注这项技术并且 保持与时俱进 所以关注HEX电脑课堂
0:58.310–1:06.600
zh并且持续的学习 让我们一起在AI时代保持进步
并且持续的学习 让我们一起在AI时代保持进步
1:16.933–1:38.000
zh人工智能是一项对社会 发展影响深远的技术 它将重塑我们社会各行各业 人工智能
人工智能是一项对社会 发展影响深远的技术 它将重塑我们社会各行各业 人工智能
1:38.066–1:59.866
zh它是一项对社会发展影响深远的技术 它将重塑我们社会各行各业 OK那大家可以看到刚才的演示
它是一项对社会发展影响深远的技术 它将重塑我们社会各行各业 OK那大家可以看到刚才的演示
1:59.866–2:04.017
zh是不是它的效果非常好 那本期 我就将带大家手把手的来
是不是它的效果非常好 那本期 我就将带大家手把手的来
2:04.017–2:08.514
zh完成这样项目的一个部署OK 那首先 它对系统是有些要求的
完成这样项目的一个部署OK 那首先 它对系统是有些要求的
2:08.514–2:10.244
zh就是你是win10,
就是你是win10,
2:10.244–2:14.741
zhwin11 这个都没关系 然后你的电脑如果 没有GPU的话
win11 这个都没关系 然后你的电脑如果 没有GPU的话
2:14.741–2:18.200
zh也是ok的 它要求比较低 但是如果你有GPU
也是ok的 它要求比较低 但是如果你有GPU
2:18.200–2:22.844
zh有英伟达的显卡 那更好了 那建议显存是大于等于8G以上
有英伟达的显卡 那更好了 那建议显存是大于等于8G以上
2:22.844–2:27.674
zh然后你的内存最低要4G 这是最低的 然后你的磁盘空间的话
然后你的内存最低要4G 这是最低的 然后你的磁盘空间的话
2:27.674–2:32.132
zh是200兆以上 这个都是很低的条件 然后你的麦克风和
是200兆以上 这个都是很低的条件 然后你的麦克风和
2:32.132–2:37.333
zh扬声器要正常工作 第一步我们去下载这个终端 我们来到这个网页
扬声器要正常工作 第一步我们去下载这个终端 我们来到这个网页
2:37.333–2:42.573
zh这他的官方网页 我们点击这个下载 然后点击下载之后 这个终端就会来
这他的官方网页 我们点击这个下载 然后点击下载之后 这个终端就会来
2:42.573–2:46.242
zh下载到有这样一个exe的文件 然后我们双击它
下载到有这样一个exe的文件 然后我们双击它
2:46.242–2:50.260
zh然后点击下一步下一步安装 就可以安装到本地了OK
然后点击下一步下一步安装 就可以安装到本地了OK
2:50.260–2:55.500
zh然后我顺便提一下 因为它有两种形式 我们今天讲的是这种终端的形式
然后我顺便提一下 因为它有两种形式 我们今天讲的是这种终端的形式
2:55.500–2:58.593
zh还有一种是它浏览器的 一个拓展插件的形式
还有一种是它浏览器的 一个拓展插件的形式
2:58.593–3:02.500
zh那这个后面有机会我再给大家讲 那ok你终端装好之后
那这个后面有机会我再给大家讲 那ok你终端装好之后
3:02.500–3:06.733
zh你桌面就会有这样一个LOGO图标 那我们现在双击打开它
你桌面就会有这样一个LOGO图标 那我们现在双击打开它
3:06.733–3:10.152
zh它就会来到这样一个页面 我们可以看到右上角有
它就会来到这样一个页面 我们可以看到右上角有
3:10.152–3:13.733
zh登录有字幕有设置等按钮 那我们这里 点击这个设置
登录有字幕有设置等按钮 那我们这里 点击这个设置
3:14.266–3:19.109
zh我们这里可以选择我说什么语言 我这里选中文 然后对方听到什么语言
我们这里可以选择我说什么语言 我这里选中文 然后对方听到什么语言
3:19.109–3:22.661
zh你可以去选的 就是这里选英语 那你一开始进来这里
你可以去选的 就是这里选英语 那你一开始进来这里
3:22.661–3:26.374
zh都是没有什么东西的 你要自己去选 然后这些选的话也
都是没有什么东西的 你要自己去选 然后这些选的话也
3:26.374–3:29.925
zh不是你可以任意去选的 要根据你自己去配置的模型
不是你可以任意去选的 要根据你自己去配置的模型
3:29.925–3:33.800
zh那模型具体怎么配置 我跟大家说一下 比如大家可以看到
那模型具体怎么配置 我跟大家说一下 比如大家可以看到
3:33.933–3:38.075
zh它这里总共是包括了三个模块 这里比如说有语音识别
它这里总共是包括了三个模块 这里比如说有语音识别
3:38.075–3:41.316
zh有语音的那个文本的翻译 还有语音的合成
有语音的那个文本的翻译 还有语音的合成
3:41.316–3:46.178
zh那这几个模型是我自己下载的 那我为什么选择下载这几个模型
那这几个模型是我自己下载的 那我为什么选择下载这几个模型
3:46.178–3:51.040
zh我给大家说一下这个原因 因为我自己做了很多的一些测试OK
我给大家说一下这个原因 因为我自己做了很多的一些测试OK
3:51.040–3:52.300
zh那这第二步的话
那这第二步的话
3:52.300–3:55.830
zh我们本期先不讲 因为这个东西是跟插件相关的
我们本期先不讲 因为这个东西是跟插件相关的
3:55.830–4:01.126
zh跟我们这期内容不是很相关 所以我们这边先过 然后我们先看到第三步
跟我们这期内容不是很相关 所以我们这边先过 然后我们先看到第三步
4:01.126–4:05.363
zh就是模型下载这里 模型下载这里了 首先它分成三个模型
就是模型下载这里 模型下载这里了 首先它分成三个模型
4:05.363–4:10.305
zh刚刚跟大家提过了 然后我建议大家去下载哪个模型 去下载这一个
刚刚跟大家提过了 然后我建议大家去下载哪个模型 去下载这一个
4:10.305–4:12.600
zh这个模型 这个mini 4B的
这个模型 这个mini 4B的
4:12.600–4:17.146
zh你可以看到为什么 因为这个模型 它的整体的效果是最好的
你可以看到为什么 因为这个模型 它的整体的效果是最好的
4:17.146–4:22.238
zh在这个地方你可以看到 它不管是它的精度还是速度 它都是5颗星
在这个地方你可以看到 它不管是它的精度还是速度 它都是5颗星
4:22.238–4:26.238
zh是满星的 所以我这边是给 用这个模型给大家去演示
是满星的 所以我这边是给 用这个模型给大家去演示
4:26.238–4:30.966
zh然后我等下会教大家怎么去下载 对然后 我顺便给大家提一下
然后我等下会教大家怎么去下载 对然后 我顺便给大家提一下
4:30.966–4:34.075
zh它这里有提到一个概念 就是什么webgpu
它这里有提到一个概念 就是什么webgpu
4:34.075–4:38.273
zh这个东西就是相当于是用GPU去做 网页端的一个渲染加速的
这个东西就是相当于是用GPU去做 网页端的一个渲染加速的
4:38.273–4:41.538
zh以往都是CPU 所以你选它的话会更好 速度更快
以往都是CPU 所以你选它的话会更好 速度更快
4:41.538–4:45.425
zh第二步的话去下载机器翻译的模型 那机器翻译的模型官方
第二步的话去下载机器翻译的模型 那机器翻译的模型官方
4:45.425–4:49.623
zh这边推荐我们是用这个模型 就是这个叫做translate
这边推荐我们是用这个模型 就是这个叫做translate
4:49.623–4:50.400
enGemma
Gemma
4:50.600–4:54.012
zh它的速度和质量整体也是最好的 所以我们就选它
它的速度和质量整体也是最好的 所以我们就选它
4:54.012–4:58.073
zh然后这边下载的好了之后 这个模型大概是有将近3G左右
然后这边下载的好了之后 这个模型大概是有将近3G左右
4:58.073–5:02.785
zh然后你可以看到它这边 支持了各种各样的语言 语种也比较丰富 OK
然后你可以看到它这边 支持了各种各样的语言 语种也比较丰富 OK
5:02.785–5:06.846
zh然后TTS模型就是语音合成 就是那个播音的 那这个的话
然后TTS模型就是语音合成 就是那个播音的 那这个的话
5:06.846–5:09.933
zh我这边是选的是这个supersonic
我这边是选的是这个supersonic
5:10.000–5:14.677
zh那这个模型我们可以 看到它只有380多兆 对吧它比较小
那这个模型我们可以 看到它只有380多兆 对吧它比较小
5:14.677–5:17.857
zh然后它支持的语种也很丰富 那这样的话
然后它支持的语种也很丰富 那这样的话
5:17.857–5:22.908
zh就是你组合起来就会非常的丰富了 对吧你语音识别跟语音合成
就是你组合起来就会非常的丰富了 对吧你语音识别跟语音合成
5:22.908–5:28.333
zh包括那个翻译 那语种的范围就很丰富了 你的可拓展性就很强了对吧
包括那个翻译 那语种的范围就很丰富了 你的可拓展性就很强了对吧
5:28.366–5:32.661
zhOK那它怎么样配来 教大家首先我们来到语音识别这里
OK那它怎么样配来 教大家首先我们来到语音识别这里
5:32.661–5:37.315
zh你默认的话它是会 这里有一个叫做浏览模型库 我们点击一下
你默认的话它是会 这里有一个叫做浏览模型库 我们点击一下
5:37.315–5:42.684
zh然后这边有很多的模型 大家可以看到 这边我们就选择刚才已经下好的
然后这边有很多的模型 大家可以看到 这边我们就选择刚才已经下好的
5:42.684–5:46.800
zh我这边已经下好了 它就会显示使用中 你没有下载好的
我这边已经下好了 它就会显示使用中 你没有下载好的
5:46.800–5:50.103
zh我举个例子 你就点一下这个下载按钮 你点一下下载
我举个例子 你就点一下这个下载按钮 你点一下下载
5:50.103–5:54.307
zh它就会给你开始在本地去下载了 然后你就只要等个几分钟就好了
它就会给你开始在本地去下载了 然后你就只要等个几分钟就好了
5:54.307–5:58.811
zh那这里的话 需要注意的就是你的 网络一定要保持全局模式 网络要稳定
那这里的话 需要注意的就是你的 网络一定要保持全局模式 网络要稳定
5:58.811–6:02.714
zh你看他就现在已经开始下载了OK 那我这边暂时不用给他下
你看他就现在已经开始下载了OK 那我这边暂时不用给他下
6:02.714–6:04.966
zh我就给他叉掉 我还是依然用我们的
我就给他叉掉 我还是依然用我们的
6:04.966–6:08.075
zh这个mini的4B的这个模型OK然后
这个mini的4B的这个模型OK然后
6:08.075–6:12.738
zh我们再接着去找刚才另外几个模型 比如说 语音那个翻译的模型
我们再接着去找刚才另外几个模型 比如说 语音那个翻译的模型
6:12.738–6:17.401
zh这个也有 这里我们 点击这个浏览模型库 都是一样的 很容易操作
这个也有 这里我们 点击这个浏览模型库 都是一样的 很容易操作
6:17.401–6:21.718
zh这边我已经下载好了这个translate Gemma
这边我已经下载好了这个translate Gemma
6:21.718–6:23.100
zh刚才那个4B模型
刚才那个4B模型
6:23.166–6:27.772
zh那其他的模型你要下载也是一样的 在这个地方点下载按钮就好了
那其他的模型你要下载也是一样的 在这个地方点下载按钮就好了
6:27.772–6:32.050
zh很简单 然后最后一个这个模型就是 那个语音合成的这个模型
很简单 然后最后一个这个模型就是 那个语音合成的这个模型
6:32.050–6:36.327
zh同样还是在这里点浏览模型库 可以看到这底下有很多待选的
同样还是在这里点浏览模型库 可以看到这底下有很多待选的
6:36.327–6:40.769
zh你根据自己的需求来选 那它这边会有一些标签 就是什么en,
你根据自己的需求来选 那它这边会有一些标签 就是什么en,
6:40.769–6:43.566
zhfa这些 这些是代表你这个语音的模型
fa这些 这些是代表你这个语音的模型
6:43.566–6:47.211
zh它支持哪些语种 我这里选择一个很多的 大家可以看到
它支持哪些语种 我这里选择一个很多的 大家可以看到
6:47.211–6:51.014
zh我把它也下载好了 下载好之后 这三个模型都配好了OK
我把它也下载好了 下载好之后 这三个模型都配好了OK
6:51.014–6:54.501
zh那我们现在要把它选中了 就是你已经把它都选好了
那我们现在要把它选中了 就是你已经把它都选好了
6:54.501–6:58.463
zh然后这里有语音合成的一个速度 这个东西 它默认是1.0
然后这里有语音合成的一个速度 这个东西 它默认是1.0
6:58.463–7:02.266
zh我这里给它改成了1.2 可能我觉得稍微速度会快一点
我这里给它改成了1.2 可能我觉得稍微速度会快一点
7:02.266–7:05.866
zh这个根据个人的一个需求吧 都没有一个绝对的标准
这个根据个人的一个需求吧 都没有一个绝对的标准
7:05.866–7:10.775
zh然后底下这几个参数 我要给大家稍微提一下 这些都是默认已经配好的
然后底下这几个参数 我要给大家稍微提一下 这些都是默认已经配好的
7:10.775–7:15.193
zh它都是一个比较成熟的参数 你不用一般不用去改的 像这个什么
它都是一个比较成熟的参数 你不用一般不用去改的 像这个什么
7:15.193–7:19.448
zh比如说这个最小的静音时长 这一项它一般是设置为1.4秒
比如说这个最小的静音时长 这一项它一般是设置为1.4秒
7:19.448–7:20.266
zh是什么意思
是什么意思
7:20.266–7:24.555
zh就是我们说话的时候 如果两句话间隔超过了1.4秒的话
就是我们说话的时候 如果两句话间隔超过了1.4秒的话
7:24.555–7:29.530
zh那么它就会把这里切割开 分成两句话 就这意思 然后最小的语音时长
那么它就会把这里切割开 分成两句话 就这意思 然后最小的语音时长
7:29.530–7:33.819
zh它这里默认写的是0.4秒 也就是说 如果你说话的有一些
它这里默认写的是0.4秒 也就是说 如果你说话的有一些
7:33.819–7:38.966
zh那种声音比较零碎 那个声音的片段小于0.4秒 他就不会给你去识别
那种声音比较零碎 那个声音的片段小于0.4秒 他就不会给你去识别
7:38.966–7:42.786
zh就相当于是杂音对吧 这也是比较节省算力的一种方法
就相当于是杂音对吧 这也是比较节省算力的一种方法
7:42.786–7:47.271
zhOK那这个都弄好之后 我们这里还有一个音频 这一项也是你的
OK那这个都弄好之后 我们这里还有一个音频 这一项也是你的
7:47.271–7:50.925
zh就是你的物理的外设 我们要选什么 首先你的麦克风
就是你的物理的外设 我们要选什么 首先你的麦克风
7:50.925–7:55.908
zh你要选你的实际的物理的外设 你不要选其他的 不然他到时候连不通的
你要选你的实际的物理的外设 你不要选其他的 不然他到时候连不通的
7:55.908–7:58.400
zh然后 这个东西其他一般就不用管了
然后 这个东西其他一般就不用管了
7:58.400–8:03.703
zh然后还有这个供提供商 这个刚刚我们已经说过了 对然后就是常规这里
然后还有这个供提供商 这个刚刚我们已经说过了 对然后就是常规这里
8:03.703–8:08.475
zh然后你要说什么 你要说中文 然后你希望对方听到什么 我选英文
然后你要说什么 你要说中文 然后你希望对方听到什么 我选英文
8:08.475–8:12.363
zh那你这里的语言你要注意 因为我刚才选的那些模型
那你这里的语言你要注意 因为我刚才选的那些模型
8:12.363–8:17.666
zh它支持了很多种语种 所以我这里才有的这么多选 如果你选的模型它就
它支持了很多种语种 所以我这里才有的这么多选 如果你选的模型它就
8:17.666–8:21.320
zh支持一两种语种的话 你这个下拉框是没这么多选的
支持一两种语种的话 你这个下拉框是没这么多选的
8:21.320–8:26.136
zh那我们这边选好之后 我们就点击这里开始会话 然后左边 它是有3个
那我们这边选好之后 我们就点击这里开始会话 然后左边 它是有3个
8:26.136–8:30.289
zh这里是我 还有一个对方 还有一个两者 那我们目前主要是用
这里是我 还有一个对方 还有一个两者 那我们目前主要是用
8:30.289–8:33.943
zh我这种方式就好了 如果是对方的话 那就是另外一种
我这种方式就好了 如果是对方的话 那就是另外一种
8:33.943–8:36.600
zh这后面这两个我们今天不演示了OK
这后面这两个我们今天不演示了OK
8:36.666–8:46.856
zh然后我们点击开始会话 这里加载好了之后 我们现在就可以说话了
然后我们点击开始会话 这里加载好了之后 我们现在就可以说话了
8:46.856–8:57.409
zh然后你可以看到左上角 它正在识别我们讲的话 然后它这个是实时的
然后你可以看到左上角 它正在识别我们讲的话 然后它这个是实时的
8:57.409–9:07.599
zh是流式的 那这个字有点小 我们可以点一下右上角 这里有一个字幕
是流式的 那这个字有点小 我们可以点一下右上角 这里有一个字幕
9:07.599–9:11.966
zh把它放大一些 对整体看上去
把它放大一些 对整体看上去
9:11.966–9:22.375
zh它这个效果还可以 虽然说有时候可能 识别的个别字不太精准
它这个效果还可以 虽然说有时候可能 识别的个别字不太精准
9:22.375–9:33.584
zh那当然这可能也是我个人 有时候普通话不太标准 所以它识别起来
那当然这可能也是我个人 有时候普通话不太标准 所以它识别起来
9:33.584–9:45.594
zh可能会有一些点误差 但是也不影响它的一个翻译 我们可以看到它整体
可能会有一些点误差 但是也不影响它的一个翻译 我们可以看到它整体
9:45.594–9:52.800
zh我觉得效果还是不错的 OK我们退出的话
我觉得效果还是不错的 OK我们退出的话
9:52.800–9:58.070
zh我们就点一下ESC 然后这些字幕的话 它有一个删除的小按钮点一下
我们就点一下ESC 然后这些字幕的话 它有一个删除的小按钮点一下
9:58.070–10:03.165
zh它就给它清空了 然后我们要结束的话 我们点击下方的这个结束会话
它就给它清空了 然后我们要结束的话 我们点击下方的这个结束会话
10:03.165–10:06.678
zh那这个就结束了 OK那如果你希望对方听到的
那这个就结束了 OK那如果你希望对方听到的
10:06.678–10:10.719
zh就我刚刚给大家演示了不同的语种 这个地方比如说你
就我刚刚给大家演示了不同的语种 这个地方比如说你
10:10.719–10:12.300
zh想要他听到西班牙语
想要他听到西班牙语
10:12.300–10:20.928
zh或者是你想要他听到日本语 那你这个地方切换一下就好了
或者是你想要他听到日本语 那你这个地方切换一下就好了
10:20.928–10:28.866
zh然后你这里点击开始会话 你好可以听到我声音吗 你好
然后你这里点击开始会话 你好可以听到我声音吗 你好
10:28.866–10:34.733
zh我想现在跟你分享一些事情 你可以看到
我想现在跟你分享一些事情 你可以看到
10:34.733–10:48.888
zh他这个字幕还是 就是逐步的播过去的 这个我觉得效果是非常好的
他这个字幕还是 就是逐步的播过去的 这个我觉得效果是非常好的
10:48.888–11:00.010
zh就是有你讲话 然后你可以看到这个字幕是在流动的
就是有你讲话 然后你可以看到这个字幕是在流动的
11:00.010–11:05.066
zhOK然后我们把它结束
OK然后我们把它结束
11:05.066–11:09.328
zh然后我们可以再切换其他的这种语言 那这些都是类似的
然后我们可以再切换其他的这种语言 那这些都是类似的
11:09.328–11:14.655
zh我就不给大家一一去演示了 然后这上面有一些东西 我再给大家讲一下
我就不给大家一一去演示了 然后这上面有一些东西 我再给大家讲一下
11:14.655–11:19.982
zh就是提供商 那因为本地的其实我已经试过了 这几个模型它都是在本地
就是提供商 那因为本地的其实我已经试过了 这几个模型它都是在本地
11:19.982–11:24.066
zh就没有去走任何在线的API 那如果有些小伙伴他说
就没有去走任何在线的API 那如果有些小伙伴他说
11:24.066–11:27.529
zh我有在线的这种API的话 你也可以去用 这个都行
我有在线的这种API的话 你也可以去用 这个都行
11:27.529–11:32.095
zh因为我觉得其实本地 的效果已经很棒了 大家可以看到 那这边怎么选
因为我觉得其实本地 的效果已经很棒了 大家可以看到 那这边怎么选
11:32.095–11:36.503
zh你可以看到 首先在这个地方点常规 然后这里有个AI服务提供商
你可以看到 首先在这个地方点常规 然后这里有个AI服务提供商
11:36.503–11:40.753
zh我们点一下 这里有Openai 有一些其他的 比如说什么豆包
我们点一下 这里有Openai 有一些其他的 比如说什么豆包
11:40.753–11:42.800
zh还有那个谷歌Gemini呀
还有那个谷歌Gemini呀
11:42.800–11:46.343
zh等等的这些 你有买哪个API 你就给它对应的输入
等等的这些 你有买哪个API 你就给它对应的输入
11:46.343–11:50.048
zh比如我点Openai的 你看你点进Openai的
比如我点Openai的 你看你点进Openai的
11:50.048–11:53.913
zh这个地方填入你的密钥 然后这里音频的话 这个保持不动
这个地方填入你的密钥 然后这里音频的话 这个保持不动
11:53.913–11:56.651
zh提供商这一块的话 你可以选 在这里选择
提供商这一块的话 你可以选 在这里选择
11:56.651–12:01.000
zh就是Openai那个语音的模型对应的 发音的那个角色对吧
就是Openai那个语音的模型对应的 发音的那个角色对吧
12:01.000–12:07.282
zh你自己去选 然后这些东西你可以把 它参数对应的填过去 它就可以调在线的API了,
你自己去选 然后这些东西你可以把 它参数对应的填过去 它就可以调在线的API了,
12:07.282–12:11.527
zh对 那原理是一样的 但是我自己是觉得 就是其实我们免费的
对 那原理是一样的 但是我自己是觉得 就是其实我们免费的
12:11.527–12:15.433
zh就是我今天给大家 展示的主要是免费的 已经够用了对
就是我今天给大家 展示的主要是免费的 已经够用了对
12:15.433–12:18.998
zh所以整体实现下来这个效果是 我觉得是在我目前
所以整体实现下来这个效果是 我觉得是在我目前
12:18.998–12:20.866
zh就是看过的所有的开源的
就是看过的所有的开源的
12:20.866–12:25.035
zh这种同声传译的项目里面 应该是最好的了 所以我强烈建议大家
这种同声传译的项目里面 应该是最好的了 所以我强烈建议大家
12:25.035–12:29.513
zh尤其是很多小伙伴经常需要 就是用到外语去交流 但是自己可能外语
尤其是很多小伙伴经常需要 就是用到外语去交流 但是自己可能外语
12:29.513–12:33.992
zh水平可能还没那么好 用这些工具我觉得是 对你有很大的帮助的OK
水平可能还没那么好 用这些工具我觉得是 对你有很大的帮助的OK
12:33.992–12:37.698
zh那本期的这些课程资源其实比较少 但是我会放到评论区
那本期的这些课程资源其实比较少 但是我会放到评论区
12:37.698–12:38.933
zh大家直接可以去用
大家直接可以去用
12:38.933–12:43.367
zh那我最后还要提到一个注意点 就是我在实际使用过程中
那我最后还要提到一个注意点 就是我在实际使用过程中
12:43.367–12:48.171
zh很多小伙伴使用的时候会报错 那这个报错是什么原因造成的
很多小伙伴使用的时候会报错 那这个报错是什么原因造成的
12:48.171–12:53.714
zh就是我们一定要注意 我们用到的这三个模型 它支持的语种范围是什么
就是我们一定要注意 我们用到的这三个模型 它支持的语种范围是什么
12:53.714–12:58.333
zh举个例子 比如说我这里的语种 它有一个粤语 这也是支持的
举个例子 比如说我这里的语种 它有一个粤语 这也是支持的
12:58.400–13:04.466
zh我们可以看到这有粤语对吧但是 我这里说话的话 我说的是普通话然后
我们可以看到这有粤语对吧但是 我这里说话的话 我说的是普通话然后
13:04.466–13:08.914
zh我这个语音识别可能它这个模型 它能够识别普通话
我这个语音识别可能它这个模型 它能够识别普通话
13:08.914–13:14.374
zh但是它语音合成的那个模型 它不支持播放粤语 那么它就会报错
但是它语音合成的那个模型 它不支持播放粤语 那么它就会报错
13:14.374–13:16.800
zh你这三个模型 大家可以看到
你这三个模型 大家可以看到
13:16.800–13:28.380
zh就是你这三个模型 它们支持的语种一定要有共同的 那么这个链路才是通的 有一个不支持的 那么你这个链路就通不了 小伙伴可能遇到的这些 大部分可能是这一方
就是你这三个模型 它们支持的语种一定要有共同的 那么这个链路才是通的 有一个不支持的 那么你这个链路就通不了 小伙伴可能遇到的这些 大部分可能是这一方
13:28.380–13:36.100
zh面的问题 还有就是你网络不好 你网络如果有问题的话 你没开全局模式的话 你这些模型是下载不到你本地的
面的问题 还有就是你网络不好 你网络如果有问题的话 你没开全局模式的话 你这些模型是下载不到你本地的
13:36.100–13:40.119
zh还有一个细节就是 关于这里有个登录 这里刚才跟大家有讲过
还有一个细节就是 关于这里有个登录 这里刚才跟大家有讲过
13:40.119–13:44.756
zh你看这个登录这里 你可以点击去注册 或者是就已经有账号就登录进去
你看这个登录这里 你可以点击去注册 或者是就已经有账号就登录进去
13:44.756–13:49.238
zh那它本质上 它会用到它云端的这个sokuji 它自己的翻译服务
那它本质上 它会用到它云端的这个sokuji 它自己的翻译服务
13:49.238–13:52.638
zhapi 那对于有些小伙伴不想去折腾 你可以去用它
api 那对于有些小伙伴不想去折腾 你可以去用它
13:52.638–13:55.266
zh那这样的话你就不用 去本地下载模型了
那这样的话你就不用 去本地下载模型了
13:55.266–13:59.690
zh但是要提醒一下大家就是 你这样的话 你的数据是会经过它的服务器的
但是要提醒一下大家就是 你这样的话 你的数据是会经过它的服务器的
13:59.690–14:03.229
zh就是说数据的隐私性 就保障没那么好 根据自己的需求来
就是说数据的隐私性 就保障没那么好 根据自己的需求来
14:03.229–14:06.031
zh如果你全都想让数据不 出自己的本地的电脑
如果你全都想让数据不 出自己的本地的电脑
14:06.031–14:08.833
zh那么你就用我刚刚给大家讲的方法 还有一点
那么你就用我刚刚给大家讲的方法 还有一点
14:08.833–14:12.520
zh也是我个人使用的一个经验 这个东西对大家应该很有帮助
也是我个人使用的一个经验 这个东西对大家应该很有帮助
14:12.520–14:13.700
zh同声传译这个东西
同声传译这个东西
14:13.700–14:18.249
zh大家要知道它最看重的是什么 就是一个是翻译的准确性
大家要知道它最看重的是什么 就是一个是翻译的准确性
14:18.249–14:23.367
zh一个是它的一个时延 就是我们那个翻译的 那个时间不能太久了
一个是它的一个时延 就是我们那个翻译的 那个时间不能太久了
14:23.367–14:27.538
zh这样的话就做不到同声了 那我们要想在这个项目中
这样的话就做不到同声了 那我们要想在这个项目中
14:27.538–14:32.466
zh要尽量的去把它时延降低 让它的用户体验更好 应该怎么去做
要尽量的去把它时延降低 让它的用户体验更好 应该怎么去做
14:32.500–14:35.976
zh首先刚才我跟大家是讲了 它里面有很多模型对吧
首先刚才我跟大家是讲了 它里面有很多模型对吧
14:35.976–14:40.445
zh大家可以看到这模型是有一大堆的 那么我们应该怎么去选模型
大家可以看到这模型是有一大堆的 那么我们应该怎么去选模型
14:40.445–14:45.245
zh大家要记住 你要选肯定要去选流式的 也就是说不要选非流式的模型
大家要记住 你要选肯定要去选流式的 也就是说不要选非流式的模型
14:45.245–14:49.714
zh那流式的模型一般会带上 一个叫realtime的这个字段
那流式的模型一般会带上 一个叫realtime的这个字段
14:49.714–14:51.700
zh然后有这个Web GPU的
然后有这个Web GPU的
14:51.700–14:56.852
zh你就尽量去选它对 这个是一个细节 很重要的 就是你选那种非流式的
你就尽量去选它对 这个是一个细节 很重要的 就是你选那种非流式的
14:56.852–15:01.472
zh它推你的话 那整个链路就会很慢了 等于说你说完半句话以后
它推你的话 那整个链路就会很慢了 等于说你说完半句话以后
15:01.472–15:04.492
zh别人都已经说完下一句了 它还没翻译完
别人都已经说完下一句了 它还没翻译完
15:04.492–15:08.579
zh那当然那那体验就很不好了对吧 所以大家一定要记住
那当然那那体验就很不好了对吧 所以大家一定要记住
15:08.579–15:10.533
zh就是要尽量选流式的模型
就是要尽量选流式的模型
15:10.700–15:15.413
zh不管是语音识别 还是那个翻译 或者是那个语音合成 都要去选流式的
不管是语音识别 还是那个翻译 或者是那个语音合成 都要去选流式的
15:15.413–15:20.289
zh然后有GPU的话 就要去把那个webgpu那个也选好 那本期视频
然后有GPU的话 就要去把那个webgpu那个也选好 那本期视频
15:20.289–15:24.678
zh我就跟大家分享到这了 大家如果觉得我的 视频对你有帮助的话
我就跟大家分享到这了 大家如果觉得我的 视频对你有帮助的话
15:24.678–15:29.066
zh也请支持一下我的创作 帮我点赞关注转发 那本期内容到此结束
也请支持一下我的创作 帮我点赞关注转发 那本期内容到此结束
15:29.066–15:30.200
zh我们下期再会
我们下期再会