一段日语视频,识别出说了什么,只是字幕制作的第一步。人名怎么写,句子怎么断,前后一名能不能统一,往往还需要反复校对,这就是Magic想改善的地方。它的名字,来自微软的麦语音识别服务和GV模型的组合。
比如这个名字,只听读音很难确定是哪两个汉字,但节目画面里,其实已经给出了答案,画面上的文字也应该成为翻译的一句。
先由外部OCR读出画面文字,再交给GV这个新模型,筛选人名等有用线索,把这类筛选任务交给Jeff,也是为了控制成本,接着结合全篇字幕整理成词库,让不同批次的翻译参考同一份写法。
这次对赵李加入画面线索后,译文中的同音人名就改成了人民条上的启字。
画面线索帮助确定名字怎么写,而字幕什么时候出现,要靠另一层基础。
这里用的是微软的语音识别服务MyASR,选择它,看中的是时间戳的准确性,以及每个词都有旗指时间。
有了这些时间锚点,程序就能按停顿,标点和说话人变化,先拆成待时间的小片段,我们叫它Atom。
Gemini在根据语义,决定哪些相邻片段应该合成一句。
字幕的旗指时间,由程序取回首尾片段的时间,先拆,再合。
模型判断怎么成句程序保留声音里的时间一句。
比如改了一个人名,就可以复用前面的转录和合并结果,再根据新词库重做翻译,自动整理提供底稿,人工确认的写法优先。
日常使用有图形界面,自动化可以走命令行,仓库也提供Agent skill,让智能体按说明调用同一套流程,最后可以导出日文、中文以及共用时间轴的中日双语字幕。
这些分工,也是在控制整套字幕流程的成本,按目前的估算,用Mayjave处理一小时素材,整体费用可能在两元左右。
用词及时间戳支撑先拆后盒,用画面线索补充词库,再通过模型分工控制成本,这就是Mayjave的思路。
识别和翻译仍会出错,最后的判断留给较对的人。
填写本地文件路径或视频链接,选择日文加中文,然后开始处理。
完成后先检查词库,人名之外,地名写法也能统一,比如,把工程线统一成工程线,再保存并重翻。
下载中日双语字幕,逐句对照校对,日文在上,中文在下,使用相同的时间轴。
即便没有OCR和Jave,也可以直接用Mayjavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejave