影片筆記：【字幕制作】告别逐句调轴！用微软MAI-ASR重做了日语字幕工具｜maijev

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=45 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=66 sentence_boundary_unclear: 長段落沒有自然句尾，斷句位置待人工確認）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片介紹了一款名為 Magic（或稱 Mayjave）的自動字幕製作工具，該工具結合微軟語音識別服務（MyASR/GMAI-ASR）與視覺 OCR 技術，透過「先拆後合」的邏輯，以極低成本（約兩元人民幣/小時）實現日語視頻的中日雙語字幕生成，並嘗試解決人名統一與斷句準確性等痛點，最終仍需人工校對。

核心重點

• 痛點解決：針對日語字幕製作中常見的人名寫法不統一、斷句錯誤及高昂的人工校對成本，提出自動化解決方案。
• 雙重線索機制：
• 語音線索：利用微軟語音識別服務獲取高精確度的時間戳（Time Stamp），將音頻拆分為帶時間標記的小片段（Atom）。
• 畫面線索：引入外部 OCR 技術讀取視頻畫面中的文字，作為翻譯參考及人名、專有名詞寫法的修正依據。
• 核心處理邏輯（先拆後合）：

1. 拆分：基於語音識別的時間錨點，根據停頓、標點或說話人變化，將音頻拆分為「Atom」。
2. 合併：由模型根據語義判斷相鄰片段是否應合併為一句，並計算字幕時間軸。
3. 統一：利用模型篩選人名與地名，結合全篇字幕整理詞庫，確保寫法一致（如修正同音人名）。

• 成本與效率：透過分工（OCR、語音識別、翻譯模型各司其職）將處理一小時素材的成本控制在約兩元人民幣。
• 輸出與校對：提供 GUI、命令行及 Agent skill 等多種使用方式，最終輸出中日雙語字幕，但仍需人工逐句對照校對以確保準確性。

詳細大綱

一、 背景與現有問題

• 僅依靠語音識別生成字幕僅是第一步，後續面臨多重挑戰：
• 人名寫法不統一。
• 句子斷句不準確。
• 前後人名或專有名詞需保持統一。
• 反覆人工校對成本高且耗時。
• 目標：透過技術手段減少人工干預，並大幅降低處理成本。

二、 核心技術架構

• 工具名稱：Magic（逐字稿中亦提及 Mayjave 或 Mayjavejave）。
• 技術組合：
• 語音識別：微軟的語音識別服務（MyASR，亦稱麥語音識別服務或 GMAI-ASR）。
• 語言模型：GV 模型（或提及 Gemini），用於語義合併與篩選。
• 視覺識別：外部 OCR 技術，用於讀取畫面文字。

三、 處理流程詳解

1. Atom 拆分階段：

• 利用 MyASR 獲取每個詞的時間戳。
• 根據停頓、標點符號或說話人變化，將音頻拆分為帶有時間標記的小片段，稱為「Atom」。

1. 合併與成句階段：

• 模型（GV/Gemini）根據語義分析，決定哪些相鄰的 Atom 應合併成一句話。
• 字幕時間軸由程序自動計算，取合併後句子的首尾片段時間。

1. 人名與詞庫統一階段：

• 將篩選任務交給特定模型（提及「Jeff」，疑為模型或組件名）以控制成本。
• 建立全篇詞庫，確保不同批次翻譯參考同一份人名與地名寫法。
• OCR 輔助修正：利用畫面 OCR 結果修正同音人名或地名。
• 範例：將聽起來像「人民條」的詞，根據畫面修正為「啟字」（或相關人名）。
• 範例：統一地名寫法，如統一為「工程線」。

四、 成本、靈活性與操作

• 成本控制：
• 透過模型分工降低整體費用。
• 估算處理一小時素材的費用約為兩元人民幣。
• 使用方式：
• GUI：提供圖形界面供日常使用。
• 命令行：支持自動化流程。
• Agent skill：倉庫提供智能體技能，讓 AI 智能體按說明調用流程。
• 操作流程：

1. 輸入本地文件路徑或視頻鏈接。
2. 選擇語言組合（例如：日文轉中文）。
3. 系統生成日文字幕與中文翻譯字幕。
4. 生成共用時間軸的中日雙語字幕。
5. 人工校對：

• 檢查詞庫，統一人名及地名。
• 保存並重新翻譯。
• 下載字幕，逐句對照校對（日文在上，中文在下，共用時間軸）。
• 最終判斷留給校對人員，因為識別和翻譯仍可能出錯。

工具 / 模型 / 名詞整理

• Magic / Mayjave / Mayjavejave：影片主要介紹的字幕製作工具名稱。逐字稿中名稱有變化，疑為聽寫錯誤或口誤。
• MyASR / 麥語音識別服務 / GMAI-ASR：微軟的語音識別服務。逐字稿中亦稱為「麥語音識別服務」，可能指 Microsoft ASR。
• GV 模型 / Gemini：用於篩選人名、語義合併的模型。逐字稿中交替出現，需確認是否為同一模型的不同稱呼。
• Jeff：逐字稿中提及「把這類篩選任務交給 Jeff」，疑為特定模型名稱、組件名或口誤。
• OCR：光學字符識別技術，用於讀取視頻畫面中的文字。
• Atom：程序將音頻拆分後，帶有時間標記的小片段名稱。
• Agent skill：用於讓智能體調用流程的功能模塊。
• 旗指時間：疑為「指時間」或「時間戳」的聽寫錯誤，指代時間標記。
• 人民條 / 啟字：逐字稿中提及「译文中的同音人名就改成了人民条上的启字」，語意不明，疑為特定人名或專有名詞的聽寫錯誤。
• 工程线：逐字稿中提及「把工程线统一成工程线」，語意不明，疑為特定地名或專有名詞。

操作流程整理

1. 準備輸入：填寫本地文件路徑或視頻鏈接，選擇語言組合（如日文加中文）。
2. 語音識別與拆分：

• 系統調用 MyASR 獲取高準確性時間戳。
• 根據停頓、標點或說話人變化，將音頻拆分為「Atom」。

1. 視覺輔助與語義合併：

• 調用 OCR 讀取畫面文字。
• 模型（GV/Gemini）根據語義將相鄰 Atom 合併為句子。
• 計算字幕時間軸（取首尾時間）。

1. 詞庫統一與修正：

• 利用模型（提及 Jeff）篩選人名與地名。
• 結合全篇字幕整理詞庫。
• 參考 OCR 結果修正同音人名與地名（如修正「人民條」為「啟字」，統一「工程線」）。

1. 生成與輸出：

• 生成日文字幕。
• 生成中文翻譯字幕。
• 生成共用時間軸的中日雙語字幕。

1. 人工校對：

• 檢查詞庫，確認人名及地名寫法統一。
• 保存設定並重新翻譯。
• 下載中日雙語字幕文件。
• 逐句對照校對（日文在上，中文在下，共用時間軸）。
• 由人工進行最終判斷與修正。

值得注意的限制或風險

• 識別準確性限制：語音識別和翻譯仍會出錯，無法完全依賴自動化，最終仍需人工校對。
• 成本估算風險：費用估算（約兩元人民幣/小時）可能隨模型調用次數、OCR 費用或語音服務定價變化而變動。
• 人名與專有名詞依賴 OCR：若畫面中無文字或 OCR 識別失敗，可能無法有效修正同音人名，導致錯誤保留。
• 模型分工複雜度：涉及多個模型（語音、語言模型、OCR）的協作，系統穩定性與整合難度可能較高。
• 工具名稱不確定：工具名稱在逐字稿中多次變化（Magic, Mayjave, Mayjavejave），可能影響使用者搜尋與使用。

逐字稿辨識疑點

• segment 45: unnatural_sentence_boundary：標點出現在句首或停在逗號位置，斷句可能不符合文法/口語。
• segment 66: sentence_boundary_unclear：長段落沒有自然句尾，斷句位置待人工確認。
• Magic / Mayjave / Mayjavejave：逐字稿中工具名稱多次變化，從「Magic」變為「Mayjave」，最後重複出現「Mayjavejavejave...」，需查證該工具實際名稱。
• 麥語音識別服務 / MyASR / GMAI-ASR：「麥」可能為「Microsoft」的音譯或口誤，實際指代 MyASR 或 GMAI-ASR。
• GV 模型 / Gemini：逐字稿中交替出現「GV模型」和「Gemini」，需確認是否為同一模型的不同稱呼或不同模塊。
• Jeff：「把這類篩選任務交給 Jeff」，「Jeff」在此處語境不明，疑為模型名稱、開發者代號或聽寫錯誤。
• 人民條 / 啟字：「译文中的同音人名就改成了人民条上的启字」，語意不通，疑為特定人名或專有名詞的聽寫錯誤，需查證原視頻畫面內容。
• 工程线：「把工程线统一成工程线」，前後一致但語意不明，疑為特定地名或專有名詞的聽寫錯誤。
• 旗指时间：應為「指時間」或「時間戳」的聽寫錯誤，指代時間標記。
• Mayjavejavejave...：逐字稿末尾大量重複「Mayjavejave...」，明顯為語音識別錯誤或錄音故障，無實際意義。

可延伸追問

• Magic/Mayjave 工具的實際官方名稱與下載/使用渠道為何？
• MyASR 與 GMAI-ASR 在該工具中的具體角色與差異為何？
• GV 模型與 Gemini 在該工具中的具體分工與技術實現細節為何？
• 「Jeff」在該工具架構中具體指代什麼組件或模型？
• 如何確保 OCR 識別失敗時，人名與地名仍能保持準確？
• 該工具的成本結構中，各模型調用的具體費用分佈為何？
• 對於長段落斷句不清（segment 66）的情況，工具是否有預設的處理機制或人工介入選項？