大家好,這裡是Hex電腦核糖。本期要跟大家分享的是一款開源的同聲傳異的神器。那這款工具在我自己使用體驗後呢,我發現它的效果真的很驚艷。它不只是跨平台,支持Windows、Ninogus還有MacOS,並且整個過程是完全免費的。更重要的是它的效果是我覺得是可以跟很多商用必源的去幫忙手腕的。OK,但我們廢話不多說,先給大家直接展示效果。
人工智能是一项对社会影响非常深远的技术
它将重塑社会的各行各业
我们从现在开始就要密切地关注这项技术
并且保持与时俱进
所以光注Hex电脑和谈
并且持续地学习
让文艺一起在AI时代保持进步
人工智能是一项对社会发展影响深远的技术
它将重塑我们社会够行够业
人工智能
它是一项对社会发展
影响深远的技术
它将重塑我们社会够行够业
OK 大家可以看到刚才的演示
是不是它的效果非常好
那本期呢 我就先带大家手把手了
来完成这个项目的一个部署
OK 那首先呢它的系统是有些要求的
就是你是 W10 W11
这个都没关系
然后你的电脑如果没有GPU的话
也是OK的
在要素比较低
但是如果你有GPU
有音伟达的显感那更好了
建议显存是大于8G以上
然后你的内存最低要4G
这是最低的
然后你的磁帮空间的话
是200兆以上
这个都是很低的条件
然后你的麦克风和延伸器
要正常工作
第一步我们去下载这个终端
我们来到这个网页
这是它的光团网页
我们点击这个下载
然后点击下载之后
这个中端就会来下载到
有这样一个exe的文件
我们双击它
然后点击下一步
下一步安装
就可以安装到本地了
OK
然后顺便提一下
因为它们两种形式
我们今天讲的是
这种中端的形式
还有一种是它浏览器的
一个拓展插件的形式
这个后面有机会
我再给大家讲
OK
你中端穿好之后
你桌面就会有
这样一个logo图标
我们现在双击打开它
它就会来到这样一页面
我们可以看到
右上角有登录
有字幕有设置等按钮
我们这里的点击设置
我们这里可以选的
我说什么语言
我这里选中文
然后对方听到什么语言
你可以去选的
就是这里选英语
你一开始进来
这里都是没有什么东西的
你要自己去选
然后这些选的话
也不是你可以任意去选的
要根据你自己去配置的模型
模型具体怎么配置
我给大家说一下
比如大家可以看到
它这里总共是包括了三个模块
这里比如说有语音识别
有语音的文本的翻译
还有语音的合成
这几个模型是我自己下载的
我为什么选择下载自己的模型
我给大家说一下原因
因为我自己做了很多的一些测试
这第二步的话
我们本期先不讲
因为这个东西是跟插件相关的
跟我们这一次内容不是很相关
所以我们这边先过
然后我们先看到第三步
就是模型下载这里
模型下载这里
首先它分的三个模型
刚刚给大家提过了
然后我建议大家去下载哪个模型
去下载这一个模型
这个mini 4B的
你可以看到为什么
因为这个模型
它的整体的效果是最好的
在这个地方你可以看到
它不管是它精度还是速度
它都是五颗星
是满星的
所以我这边是用这个模型
给大家去演示
然后我等一下会教大家
怎么去下载
对
然后我顺便给大家提一下
它这里有提到一个概念
就是什么web GPU
这个东西就是相当于是用GPU
去做网页端的一个渲染加速的
你网都是CPU
所以你选它的话会更好
速度更快
第二步的话
就下载机器发音的模型
那机器发音的模型
官方这边推荐
我们是用这个模型
就是这个叫做Translate Gemma
它的速度和质量整体也是最好的
所以我们就选它
然后这边下载的好了之后
这个模型大概是有将近3G左右
然后你也看到
它这边支持了各种各样的语言
语种也比较丰富
OK
然后TTS模型就是语音合成
这是那个波音的
这个的话我这边是选的是这个
Super Sonic
这个模型我们可以看到
它只有380多兆
对吧
它比较小
然后它支持的语种也很丰富
这样的话就是你
组合起来就会非常的丰富了
你语音识别跟语音合成
包括翻译
语种的范围就很丰富了
你的那种可拓展性就很强了
对吧
OK
那它怎么样配呢
来我教大家
首先我们来到语音识别这里
你默认的话
它是会
这里有一个叫做
浏览模型库
我们点击一下
然后这边有很多的模型
大家可以看到
这边我们就选择刚才已经下好的
我这边已经下好了
它就会显示使用中
你没有下载好的
我举个例子
你就点一下下载按钮
你点一下下载
它就会给你开始在本地去下载了
然后你就只要等了几分钟就好了
这里的话需要注意的
就是你的网络一定保持全局模式
网络要稳定
你看它就现在已经开始下载了
OK
我这边暂时不用给它下
我就给它插掉
我还是依然用我们的这个
mini的4B的这个模型
OK
然后呢
我们再接着去找
刚才另外几个模型
比如说
语音那个翻译的模型呢
这边也有啊
这里我们点击这个浏览模型库
都是一样的
很努力操作啊
这边我已经下载好了
这个Translator Gemma
刚才那个4B模型
那其他模型你要下载也是一样的
在这地方点下载按钮就好了
很简单
然后最后一个这个模型
就是那个语音合成的这个模型
同样还是在这里点浏览模型库
可以看到
这里就有很多代选的
你根据自己的叙述来选
它这边会有一些标签
就是什么
EN F AER这些
这边是代表你语音的模型
它支持哪些语种
我这里选择一个很多的
大家可以看到
它也下载好了
下载好之后
这三个模型都配好了
OK
我们现在要把它选中
就是你已经把它都选好了
然后这里有语音合成的一个速度
这个东西它默认是1.0
我这里给它改成了1.2
可能我觉得稍微速度会快一点
根据个人的一个需求
都没有一个绝对的标准
然后底下这几个参数
我要给大家稍微提一下
这些都是默认已经配好的
它都是一个比较成熟的参数
你不用一般不用去改的
像什么
比如说最小的静音时长
这一项它一般是设置为1.4秒
是什么意思呢
就是我们说话的时候
如果两句话间隔超过了1.4秒的话
那么它都会把这里切割开
分成两句话
就这意思
然后最小的语音时长
它这里默认写的是0.4秒
你就是说
如果你说话有一些那种
声音比较零碎
那个声音的片的小于0的4秒
它都不会给你去识别
这生的意思是杂音
对吧
这也是比较节省算力的一种方法
OK
这个都弄好之后
我们这里还有一个音频
这一家也是你的
就是你的物理的外设
我们要选什么呢
首先你的麦克风
你要选你的实际的物理的外设
你不要选其他的
不然它老实上连不通的
然后这个东西
其他一般就不用管
然后还有提供商
这个刚刚我们已经说过了
对然后就是常规这里
然后你要说什么
你要说中文
然后你希望对方听到什么
我选英文
那你这里的语言
你要注意
因为我刚才选的那些模型
它支持了很多种语种
所以我这里才有的这么多选
我们目前主要是用我挣动Planet就好了
如果是对方的话
那就是另外一种
挣后面的奶肉
我们今天不演示了
OK
我们点击开始绘画
这里加的好了之后
我们现在就可以说话了
然后你可以看到
左上角它正在识别我们讲的话
然后它这个是实时的
是牛式的
这个字有点小
我们可以点一下右上角
这里有一个字幕
把它放大一些
OK
所以你结束了
我们可以开始谈谈
你会看到它在最后的角度
它在认识我们的意思
而且因为它在实现时
的角度是小的
你可以在最后的角度
有一个下方的选择选择选择
对 整体汉塘基特的效果还可以
虽然说有时候可能识别的
个别字不再精准
当然这可能也是我个人
有时候普通话不再标读
所以它识别起来
可能会有一些点点误差
但是也不影响它的一个翻译
我目一看到和整体
我觉得效果还是不错的
Overall, it seems like it performs reasonably well.
Although sometimes it might not recognize individual characters with perfect accuracy,
Of course, that could also be due to my occasional inconsistencies in Mandarin.
As a result, there might be minor errors in the translation,
But it still provides a useful translation overall,
And I think the results are quite good.
OK,我们退出的话,我们就点下ESC,
然后呢,这些字幕的话,
我们才有一个删除的小按钮啊,
点一下
给清空
然后我们要结束的话
我们点击下方结束绘画
这就结束了
OK
如果你希望对方听到了
就刚刚给大家演示到不同的语种
这个一般
比如说你想要他听到西班牙语
或者是你想要他听到日本语
你这个地方切换你就好了
然后我们点击开始绘画
你好啊
可以听到我声音吗
你好
我想现在跟你分享一些事情
こんにちは
今私がお話したいことがあります
你可以看到
他这个字幕还是就是逐步的播放去的
这个我觉得效果是非常好的
就是有你讲话
然后你可以看到这个字幕是这样流动的
然后我们把它结束
然后我们可以再喜欢其他的这种语言
那这些都是类似的
我就不给大家一一去演示了
然后呢
这上面有一些东西
我再给大家讲一下
就是提供商
因为本地的
其实我已经试过了这几个模型
它都是在本地
就没有去走任何在线的API
如果有些小伙伴
他说我有在线的这种API的话
你也可以去用
这个都行
因为我觉得
其实本地的效果就很棒了
这里可以看到
这边怎么选
你可以看到
首先在这个地方点常规
然后这里有个AI服务提供商
我们点一下
这里有OpenAI
有一些其他的
比如说什么豆包
还有谷歌
Gemini等等的这些
你用买哪个API
你就给它对应的输入
比如我点openAI的
你看你点进openAI的
这个地方提用你的密钥
然后这里音频的话
这个保守不动
提供商这一块的话
你非在这里选择
就是openAI那个语音的模型
对应的角色的发音的角色
对吧
你自己去选
然后这些东西
你可以把它参数对应的填过去
它就可以调在线的API了
对
原理是一样的
但是我自己是觉得
其实我们免费的
我今天给大家展示的
主要是免费的
你已经够用了
对
所以整体实际下来这个效果是
我觉得是在我目前
就是看过的所有开源的这种
童真传映的项目里面
应该是最好的了
所以我强烈建议大家
尤其是很多小伙伴经常需要
用到外语去交流
但是自己可能外语水平
可能还没那么好
用这些工具
我觉得是对你有很大的帮助的
OK
本期的这些课程资源
其实比较少
但是我会放到评论区
大家直接可以去用
我最后还要提到一个注意点
就是我在实际使用步骤中
很多小伙伴使用的时候会报错
这个报错是什么原因造成的
我们一定要注意
我们用到的这三个模型
它支持的语语种范围是什么
举个例子
比如说我这里的语语种
它有一个粤语
这也是支持的
我们可以看到这有粤语
但是我这里说话的话
我说的是普通话
然后我语音识别
可能它这个模型
它能够识别普通话
但是它语音合成的模型
它不支持播放粤语
那么它就会报错
你的三个模型
大家可以看到吧
就是你的三个模型
它们支持的与种
一定要有共同的
那么这个念路才是通的
有一个不支持的
那么你这个念路就通不了
小伙伴可能遇到的这些
下部分可能是
这一方面的一个问题
还有就是你网络不好
你网络如果有问题的话
你没开全局模式的话
你这些模型是下载不到你本地的
还有一个细节就是
关明这里有个登录
这里刚才跟大家有讲过
你看这个登录这里
你可以点击去注册
或者是就已经有账号就登陆进去
那它本质上呢
它会用到它云端的这个Sirculture
它自己的翻译服务
那对于有些小伙伴不想去折腾
你可以去用它
那这样的话
也不用去本地下载模型了
但是呢
要提醒一下大家就是
你这样的话
你的数据是会经过它的服务器的
就是说数据的隐私性
找找没那么好嘛
根据自己的叙手来
如果你全都想让数据
不出自己的本地的电脑
那么你就用我刚刚给大家讲的方大
还有一点呢
也是我个人使用的一个经验
这个东西对大家应该很有帮助
同声传译这个东西
首先呢
大家要知道它最看重的是什么
就是一个是翻译的准确性
一个是它的一个实言
就是我们那个翻译的那个时间
不能太久了
这样的话就做不到同声了
那我们要想在这个项目中
要尽量的去把它实言占低
让大家的用户体验更好
应该怎么去做呢
首先刚才我跟大家是讲了
它里面有很多模型
对吧
大家可以看到这模型是有一大堆的
那么我们应该怎么去选模型的
大家要记住
你要选
可能要去选牛式的
也就是说
不要选非牛式的模型
牛式的模型一般
会带上一个叫
real time的字段
然后有webGPU的
你就进来就选它
对
这个是一个细节
很重要的
就是你选那种非牛式的
它推你的话
那整个内容就会很慢了
所以等于说
你说完半句话以后
别人都已经说完
下一句了
这还没翻译完
当然那体验就很不好
对吧
所以大家一定要记住
这是要近代选牛逝的模型
不管是语音识别
还是翻译
或者是语音合成
都要去选牛逝的
然后有GPU的话
就要去把webGPU也选好
本期视频我就跟大家分享到这了
大家如果觉得我的视频
对你有帮助的话
也请支持一下我的创作
帮我点赞 关注 转发
我们本期内容到此结束
我们下期再会