逐字稿文字預覽
一段日语视频,识别出说了什么,只是字幕制作的第一步。人名怎么写,句子怎么断,前后一名能不能统一,往往还需要反复校对,这就是Magic想改善的地方。它的名字,来自微软的麦语音识别服务和GV模型的组合。 比如这个名字,只听读音很难确定是哪两个汉字,但节目画面里,其实已经给出了答案,画面上的文字也应该成为翻译的一句。 先由外部OCR读出画面文字,再交给GV这个新模型,筛选人名等有用线索,把这类筛选任务交给Jeff,也是为了控制成本,接着结合全篇字幕整理成词库,让不同批次的翻译参考同一份写法。 这次对赵李加入画面线索后,译文中的同音人名就改成了人民条上的启字。 画面线索帮助确定名字怎么写,而字幕什么时候出现,要靠另一层基础。 这里用的是微软的语音识别服务MyASR,选择它,看中的是时间戳的准确性,以及每个词都有旗指时间。 有了这些时间锚点,程序就能按停顿,标点和说话人变化,先拆成待时间的小片段,我们叫它Atom。 Gemini在根据语义,决定哪些相邻片段应该合成一句。 字幕的旗指时间,由程序取回首尾片段的时间,先拆,再合。 模型判断怎么成句程序保留声音里的时间一句。 比如改了一个人名,就可以复用前面的转录和合并结果,再根据新词库重做翻译,自动整理提供底稿,人工确认的写法优先。 日常使用有图形界面,自动化可以走命令行,仓库也提供Agent skill,让智能体按说明调用同一套流程,最后可以导出日文、中文以及共用时间轴的中日双语字幕。 这些分工,也是在控制整套字幕流程的成本,按目前的估算,用Mayjave处理一小时素材,整体费用可能在两元左右。 用词及时间戳支撑先拆后盒,用画面线索补充词库,再通过模型分工控制成本,这就是Mayjave的思路。 识别和翻译仍会出错,最后的判断留给较对的人。 填写本地文件路径或视频链接,选择日文加中文,然后开始处理。 完成后先检查词库,人名之外,地名写法也能统一,比如,把工程线统一成工程线,再保存并重翻。 下载中日双语字幕,逐句对照校对,日文在上,中文在下,使用相同的时间轴。 即便没有OCR和Jave,也可以直接用Mayjavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejavejave
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：17.1 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：37.0 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：1.0 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.1 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.1 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：192.7 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.7 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.7 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：91.2 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.3 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.4 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 逐字稿可先使用，但有待校正清單
segment=45 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=66 sentence_boundary_unclear: 長段落沒有自然句尾，斷句位置待人工確認
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。