大家好我是小木头
OpenAI
近期又发布了一系列的新模型
其中有一款
是专门做实时的同传或实时翻译
似乎在 AI 时代
要做同声传译简单了许多
本期视频呢
我们就来实际地体验一下
这款实时翻译的模型
看看在同声传译上
它的质量究竟如何
我们首先来看个演示吧
我将模型呢
封装了一个小小的 Chrome 插件
AI 把它命名为了 Babelfish
插件的作用是
监听当前所浏览的页面中的音频
将音频呢转换成期望的目标语言
这个转换当然是语音层面的转换
我就以过去我所发布的一期视频为例
这是一个中文视频
我期望将目标语言呢翻译成英文
点击 start
开始监听当前浏览页面中的音频数据
那我们就来播放一段语音
看看它的转换效果
let me introduce its open source design
the op design in a recent video
i introduced closed design if you're interested
you can
re watch that video here i'll briefly go over its feature
in cloude design we can create curves
create blades
and develop things based on templates
unfortunately
clod design is a closed source product for various reasons
many friends can't use it properly
in this video we'll introduce an open souls design
op design is the star of today's shed
this project is currently very popular and in a short time
it has gathered nearly twenty thousand stars
i'll put the project's link in the video description
interested friends
please get it from the description
this is a local first open source clothes design
let's look at its main core features first
it's open source
好了演示就先到这里
大家觉得质量如何呢
刚才听到的英文的语音
完全是通过 OpenAI 的实时翻译
将我这个视频当中的中文音频
翻译出来
如果已经有使用过的朋友
欢迎在评论区来留言
你对这个实时模型翻译的效果的体验
以及在应用中的最佳实践
看看有没有什么经验
可以互相分享和学习的
接下来我们来做两件事情
首先呢
是把这个模型做一番清晰的介绍
接下来再来看看
我们用它来构建的这款 Chrome 插件
究竟是怎么回事
OpenAI 实际上是在 5 月 7 日
在实时 API 下放了三个新模型
gpt-realtime-2、gpt-realtime-translate、
gpt-realtime-whisper
在官方的
公告中列出了这三款模型
gpt-realtime-translate 是我们今天分享的主角
它做一件事就是把语音同步地翻译
70 多种输入语言自动检测
13 种输出语言任选
中文、英文、
西班牙语、
葡萄牙语、
法语、德语等等
计费层面来讲
0.034 美元每分钟
听一小时英文 audiobook 大约两美元
比人类同传便宜两个数量级
但它跟之前的通用语音模型
加 prompt 让它翻译并不是一回事
根据 OpenAI 的 Cookbook
他们说得很清晰
这个模型是用同传译员的语料训练的
具备两个特征
第一,它会等到上下文够了才开口
不会人家一开口它就抢着翻
这对语序差异大的语言特别重要
英语和日语、
英语和中文谓词、动词位置不一样
等不够上下文就乱翻
这是不行的
如果大家实际地测试一下
应该能感觉到
相较于原始的 YouTube 的音频
实时翻译的音频呢
在段句子之间呢可能会有一定的延迟
这也是在上下文等待中产生的效果
那第二个特征是它能边收音边吐译音
它并不是 speech to text 转文字再翻译
再通过 text to speech 这种三段的拼接
而是端到端的 speech to speech
做到真正的低延迟连续语音
API 形态走 realtime endpoint
浏览器用 WebRTC
服务端用 WebSocket
OpenAI Cookbook 有一个 demo
就是浏览器 tab 翻译
目前我所分享的这个项目呢
就是刚才咱们介绍的这个 demo
我会将链接也放在视频描述中
那么在刚才我们的演示中
所用到的 Chrome 插件呢
就是现在我所分享的这个代码仓库
这是一个 Chrome 插件
它包含了三个组件
一个是 service worker
一个是 offscreen document
还包含了一部分 content script
总共是一个不到 600 行的 TypeScript
代码非常简单
感兴趣的朋友可以克隆下来
自己尝试一下
大家要做的就是几步
首先呢克隆项目
我们通过 npm install、
npm run build 完成安装与打包
接下来来到 Chrome 浏览器管理插件
在插件这里
首先要在右上角启用开发者模式
然后点击 Load unpacked
在 openai-realtime-translate 目录当中选择 dist
这个目录呢就是打包后生成的目录
要使用这个插件也很简单
在扩展这里点击它
第一次使用的时候呢
需要配个 API key
大家去申请一个自己的 OpenAI 的 API key
可以配置进来保存
然后任意打开一个标签页
比如播放一段 YouTube 视频
那我们现在呢
再来做一番演示
比如我想将我这个语音呢
实时地转换成日语
来听听效果吧
so when you take crowd design
don't need that are you a swaggy
Johnny Kino to all
you're Gonna open source a setting of coach Christmas
open designer Genji Deno
open source a system that she's only him to not
he could tell the project to all go stay
must have to wait for another design yeah
hope that she's on KTT skinnable
open course design and open course design and all
细心的朋友可能注意到了
刚才我将视频暂停了
但是呢语音输出还
在持续了一小段时间
刚才我们在介绍模型的时候
也聊到这一块
模型会收集一段必要的上下文
再做翻译
因此呢在这个翻译和语音输出上
就会有一点小小的延迟
这也是它的特点吧
来看看开销情况吧
我大概前前后后在视频录制前的准备
到视频中的实际分享
大概在语音的输出上
花了可能有半小时
那么目前的开销是 0.9 美元
那现在就对咱们今天的分享
做一番简单的总结
首先呢这个 Chrome 插件
目前只是抓取的浏览器 Tab 中的音频
像 Zoom 桌面客户端、
Spotify 桌面、本地视频播放器等等呢
是抓不到的
不过同样的逻辑或者是代码呢
可以应用到不同的应用场景中
比如可以覆盖到
我们刚才介绍的这些桌面应用
至于具体的技术瓶颈在哪里
是否操作系统支持音频的捕获呢
这个就是我们在技术或工程层面
需要去考虑的了
第二点是 gpt-realtime-translate
这个实时翻译模型
它不支持自定义的提示词、
术语表、配音选择
如果你的场景对专有名词敏感
它会按一般的翻译习惯来处理
另外一点很重要的是
session 没有关掉
它会一直跑
一直计费
一小时大概两美元
4 小时大概就是 8 美元
因此呢大家用完记得要 stop
在插件层面
大家就记得点击 start translating、restart
如果大家不再使用了呢
点击 stop 停掉它
否则呢这个 session 一直会开着
整个扩展从想法到能用
目前在 AI 时代编写起来非常的快
给到它足够的参考文档、
API 手册很快就搞定了
你可以把它分叉下来
加自己想要的功能
比如把字幕导出到 SRT、
加 hotkey 切换语言、
把译音导进 OBS 做直播同传等等这
都是直接的扩展点
OpenAI 把同传从需要专业人员的服务
变成了一个 API 调用
这会不会是同传这个职业
也是跨语言
内容消费方式的一个明显的转折点呢
大家怎么看呢
那感兴趣的朋友
或者在这方面已经有应用经验的朋友
欢迎在评论区留言
那今天的分享就到这里
感谢大家收看
我们下期再见