大家好,我是小莫頭。OpenAI近期又發布了一系列的新模型。其中有一款是專門做實時的同傳或實時翻譯。似乎在AI時代要做同聲傳譯簡單了許多。本期視頻呢,我們就來實際的體驗一下這款實時翻譯的模型。看看在同聲傳譯上它的質量究竟如何。
我們首先來看個演示吧。我將模型封裝了一個小小的Chrome插件。AIN把它命名為了Bubblefish。插件的作用是真聽當前所瀏覽的頁面中的音頻。將音頻轉換成期望的目標語言。這個轉換當然是語音層面的轉換。我就以過去我所發布的一期視頻為例。這是一個中文視頻。我希望將目標語言翻譯成英文。點擊Start。
開始堅定當前瀏覽頁面中的音頻數據。我們就來播放一段語音。看看它的轉換效果。
我介紹一下它的開放的開放的設計。
在一段影片中,我介紹了閉設設計。如果您興趣,您可以再看這影片。我會介紹一下它的開放。
在CloDesign,我們可以建立的開放。
我們可以建立的開放。
建立開放的開放。
我們可以建立開放的開放。
在這影片中,我們會介紹一下開放的開放。
開放的開放。
在這影片中,我們會介紹一下開放的開放。
開放開放的開放。
在這影片中,我們會介紹開放開放開放的開放。
OPDesign是今天的星星星。
這個開放的開放。
這個開放的開放是現在非常有名的。
在短時間,它們會集中了約20,000星星星。
我會放開開放的開放。
影片的開放在影片的描述。
興趣的朋友,請給大家看看。
影片中的影片。
這個開放是一個第一次開放開放的開放。
我們會看看它的主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主要主
接下来我们来做两件事情首先呢是把这个模型做一番清晰的介绍
接下来再来看看我们用它来构建的这款Chrome插件究竟是怎么回事
OpenAI实际上是在5月7日在实施API下放了三个新模型
GPT Real-Time 2
GPT Real-Time Translate
GPT Real-Time Whisper
在官方的公告中列出了这三款模型
GPT Real-Time Translate是我们今天分享的主角
它做一件事就是把语音同步的翻译
70多种输入语言自动检测
13种输出语言任选
中文英文西班牙语葡萄牙语法语德语等等
机费层面来讲0.034美元每分钟
看一小时英文播客大约2美元
比人类同传便宜两个数量级
但它跟之前的通用语音模型加Prompt让它翻译并不是一回事
根据OpenAI的Cookbook
他们说得很清晰
这个模型是用同传演员的语料训练的
具备两个特征
第一
它会等到上下文够了才开口
不会人家一开口
它就抢着翻
这对语序差异大的语言特别重要
英语和日语
英语和中文
位置动词位置不一样
等不够上下文
就乱翻
这是不行的
如果大家实际的测试一下应该能感觉到相较于原始的YouTube的音频
实时翻译的音频在段句子之间可能会有一定的延迟
这也是在上下文等待中产生的效果
第二个特征是它能边收音边图异音
它并不是speech to text转文字
再翻译
再通过text speech这种三段的拼接
而是端到端的speech to speech
做到真正的低延迟连续语音
API形态则有real-time endpoint
浏览器用webrtc
服务端用websocket
OpenAI Cookbook有一个demo
就是浏览器tab翻译
目前我所分享的这个目录呢
就是刚才咱们介绍的这个demo
我会将链接也放在视频描述中
那么在刚才我们的演示中
所用到的chrome插件呢
就是现在我所分享的这个代码仓库
这是一个chrome插件
它包含了三个组件
一个是service worker
一个是offscreen document
还包含了一部分content script
总共是一个不到600行的type script代码
非常简单
感兴趣的朋友可以客套下来自己尝试一下
大家要做的就是几步
首先呢
客套项目
我们通过npm install
npm run build
完成安装与打包
接下来来到chrome浏览器
管理插件
在插件这里
首先要在右上角
启用开发者模式
然后点击load unpacked
在open real-time translate目录当中
选择dist
这个目录呢
就是打包后生成的目录
要使用这个插件也很简单
在扩展这里点击它
第一次使用的时候呢
需要配个api key
大家去寻一个自己的open-air的api key
配置进来保存
然后任意打开一个标签页
比如播放一段YouTube视频
那我们现在呢
再来做一番演示
比如我想将我这个语音呢
实时的转换成日语
来听听效果吧
音質的には
丹丸コーポレートアイデンティティは持たず
既存のコーポレートアイデンティティ機能や能力を活用して
open source のエコシステムにある
非常に豊かなスキルマッケージを統合し
それによって
クラウドデザインと似た
あるいはそれ以上に
機能統合の豊かなopen source 精神を構築しました
open design は
現時点のopen source エコシステムで
非常に人気のある
いくつかのプロジェクトを統合しています
例えば
花玉デザインや
北角師匠のPTTスキルなど
open course design なども含まれます
細心的朋友可能注意到了
剛才我將視頻暂停了
但是語音輸出还在持續了一小段時間
剛才我們在介绍模型的时候也聊到这一塊
模型会收集一段必要的上下文再做翻譯
因此在这个翻譯和語音輸出上
就会有一点小小的延遲
这也是它的特点吧
来看看開銷情况吧
我大概前前後後在視頻录制前的準備到
视频中的实际分享大概
在語音的輸出上花了可能有半小时
那么目前的开销是0.9亿美元
那现在就对咱们今天分享做一番简单的总结
首先呢
这个chrome插件
目前只是抓取的浏览器tab中的音频
像zoom桌面客户端
spotify桌面
本地视频播放器等等呢
是抓不到的
不过同样的逻辑或者是代码呢
可以应用到不同的应用场景中
比如可以覆盖到我们刚才介绍的这些桌面应用
至于具体的技术瓶颈在哪里
是否操作系统支持音频的捕获呢
这个就是我们在技术或工程层面需要去考虑的了
第二点是GPT Real-Time Translate
这个实时翻译模型
它不支持自定义的提示词
数语表
配音选择
如果你的场景对专有名词敏感
它会按一般的翻译习惯来处理
另外一点很重要的是
Session没有关掉
它会一直跑
一直击费
一小时大概2美元
四小时大概就是8美元
因此呢
大家用完记得要Stop
在插件层面
大家就记得点击Stop Translating
Restop
如果大家不再使用了呢
点击Stop
停掉它
否则呢
这个Session一直会开着
整个扩展从想法到能用
目前在AEA时代编写起来非常的快
给到它足够的参考文档
API手册
很快就搞定了
你可以把它分叉下来
加自己想要的功能
比如把字幕导出到SRT
加Hockey切换语言
把意音导进OBS做直播同传等等
这都是直接的扩展点
OpenAI把同传从需要专业人员的服务
变成了一个API调用
这会不会是同传这个职业
也是跨语言内容消费方式的一个明显的转折点呢
大家怎么看呢
那感兴趣的朋友
或者在这方面已经有应用经验的朋友
欢迎在评论区留言
那今天的分享就到这里
感谢大家收看
我们下期再见