工作清單

Whisper 生态全景：15 个开源项目，我全用过了

逐字稿文字預覽

你敢信吗?
Github上跟Whisper相关的开源项目光星星过千的就有十几个,每个都说自己更快更强,但我全跑了一遍,真正能打的没几个。
先说一个前提,我选Whisper的核心原因只有一个,多语言之耻。
中文、英文、日文、韩文都得能识别。
如果只做中文,我根本不会选Whisper,翻译S2它不香吗?
但多语言这个需求目前只有Whisper能扛。
先说几个不适合实时场景的。
Whisper Fintune用LoRA微调,训练成本低,还做了三端部署,工程完整度很高。
但它是离线识别,先录完再转,流式识别用不了。
Whisper GX速度快70倍,但峰值性能依赖TPU,普通GPU上优势没那么多。
Buzz是桌面App,不适合后端部署。
再说几个功能聚焦,但场景窄的。
Faster Whisper用C-Translate 2加速,速度是原版4倍,内存更低,支持8位量化。
行业里用得非常广,但它只是推理引擎,不提供流式输出,你得自己组合其他工具。
YT Whisper只做YouTube字幕,场景太窄。
Whisper Transparent只做时间戳,没有加速和部署。
实时转录那一批呢?
Whisper Mic场景最贴合,麦克风输入实时转录,但只支持英文。
Whisper Real Time和Whisper Live思路类似,都是边录边识别,但都没有加速优化,中文延迟偏高。
Whisper Realization倒是厉害,能识别谁在什么时候说了什么,但串了四五个模型,太重了。
然后是两个重量级选手,Whisper X,综合评价最高。
Large V3做70倍实时速度,不到8GB显存就能跑。
关键是支持单词级时间戳,每个字精确对应到音频时间位置,做流式展示和字幕对齐,这个能力太重要了,短期方案它是最稳的。
另一个是Distil Whisper,把Large V3蒸馏成小模型,速度快六倍,体积小一半,错误率只涨不到1%,性价比太炸了。
但知名问题是,只发布了英文模型,其他语言得自己蒸馏。
门槛是有的,但走通了长期收益最大。
所以方向很清晰,多语言需求选Whisper没毛病,但具体用哪个项目得看你的场景。
短期上Whisper X最稳,长期自蒸馏Distil Whisper收益最大。
选项目不是选最好的,是选最合适的。

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://b23.tv/bzwT1xS --language zh

    來源：https://b23.tv/bzwT1xS

    辨識語言：zh ｜ 參數：--language zh

  2. 預期流程

    依指令產生的處理順序：

    1. 下載與語音辨識
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：19.6 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：13.2 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：0.3 秒

    關係：依序執行

    結果：完成

  6. 4. 句子密度平衡

    工具：videonote_balance_sentence_units.py

    處理：平衡句子長度與密度

    產出：sentence_units.json（句子單元）

    耗時：0.3 秒

    關係：依序執行

    結果：完成

  7. 5. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.3 秒

    關係：依序執行

    結果：完成

  8. 6. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：0.3 秒

    關係：依序執行

    結果：完成

  9. 7. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  10. 8. 逐字稿交叉檢查

    工具：videonote_cross_check_transcript.py

    處理：交叉檢查逐字稿與來源字幕

    產出：transcript_crosscheck_report.json（交叉檢查）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  11. 9. 來源句整理

    工具：videonote_prepare_source_entries.py

    處理：整理來源句子供時間軸與頁面使用

    產出：sentence_units.json（句子單元）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

  12. 10. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：84.9 秒

    關係：依序執行

    結果：完成

  13. 11. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

  14. 12. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench