工作清單

SubFlow 语幕｜跨越语种，链接世界

逐字稿文字預覽

大家好,歡迎回來。
今天給大家分享Subflow,是我們公司開發的一款AI自動識別語音。
然後進行AI的配音,以及視頻字幕的一個翻譯和視頻字幕的自動生成與燒錄的一款工具。
Subflow目前支持了Windows版本和MacOS的一個版本,大家可以去下載到完整的版本。
我們把整個項目已經開源了。
那我們看一下這個項目。
進到這個項目裡面來是這個樣式。
我們可以在這個地方去上傳本地的視頻。
也可以在這個地方下載YouTube或者Bilibili的視頻。
然後我們可以針對我們的視頻字幕進行處理。
如果你的原視頻是沒有任何字幕的,那我們可以用這款工具加上字幕。
那這裡還有就是如果原視頻它已經有了音頻對吧。
那有一個音頻的情況下,比如你想把它的語言,比如從中文換成英文對吧。
那它就會自動調用千問的配音的模型,然後去選擇一種音色。
然後我們就可以進行一個配音,然後生成中英文的字幕,然後燒入到整個系統裡面來。
那這裡面首先我們調用了配音或者說音色的這個模型,是謙問的TTS的一個開源模型。
大家可以在本地的算力上進行運行,也是免費的。
那除了之外呢也是支持了你自己用自己的原聲進行克隆。
直接用你自己的聲音然後去發出相關聲音來。
這裡的標準音色比如你是個中文的人,那你說英文那你的標準音色。
配下來沒有我們這種標準音色做的那麼流暢吧。
所以說這裡會有兩個版本,一個是標準音色版本,一個是克隆原聲的一個版本。
當然還有一個GPT的Soviet,用這個Soviet也可以去,有一些語音也是可以的。
但是這裡的那個語音與音色裡面就會更少一些。
那我這裡推薦大家用這個QN3TTS,如果你要用自己的語音,那你就用QN3TTS克隆的原聲。
好這是第一個關於配音和音色的一個選擇。
那此外呢我們還可以選擇字幕的一個顏色。
比如我這裡選了中音的字幕,或者說音中的字幕。
中音的字幕就是說中文在上面,英文在下面,那反過來就是英文在上面和中文在下面。
那也支持其他語種,包括什麼德語、法語、日語、繁體中文都是沒有問題。
那字幕的顏色大家也可以看到,比如我們這裡有中文和英文字幕的一個顏色,我們可以在這裡進行選擇。
比如你中文要一個顏色,英文要一個顏色也是可以的。
好,講到字幕的顏色,除此之外呢還有這個叫電影級的一個潤色。
可以把你的字幕做一些深度的AI校對,以及做相關的一個潤色處理,會表現更好一些。
這個也是推薦大家去勾上的。
但這個勾上的話,它調用的就是我們API站內的大語言模型。
我們可以看一下這裡有一個語音識別和翻譯功能。
那翻譯的話其實是需要用到我們的一個API的。
那我們也可以直接進到我們的API分發站裡面來,然後選擇自己的一個令牌,點擊控制台。
然後API密鑰。
我們複製自己的這個令牌。
然後填入到這個框框裡面來。
填入之後我們點擊保存令牌。
然後獲取模型。
比如我在這裡選一個5.
6的terra。
或者說選一個luna。
用來跑翻譯還是很方便的嘛。
那我就選這個terra了。
然後OK,我們現在就已經全部準備好了。
我們視頻也已經上傳了。
對吧。
或者說你直接通過鏈接去下載的。
也可以。
你直接鏈接下載之後,你那個視頻也會自動的加載過來。
就不需要你二次上傳了。
好,那我們處理完成之後,我們只要點一下開始處理這個按鈕就可以。
我們點擊開始處理。
那這裡會自動的進行配音環境的一個校對。
如果你缺相關的環境,它也會自動的幫你去裝。
那這個其實這個後戶端,我已經幫大家裝好了那個配音的環境。
然後還有千問3的這個模型也給大家配好了。
還有這個語音識別的whisper的模型。
這裡一點需要大家需要注意。
如果你本地有顯卡的話,你可以選這個median。
如果你本地沒有顯卡的話,你可以選這個small或者說tiny去做語音的識別。
這個是需要本地算力的,包括上面這個千問3這個TTS本質都是算力的。
那我可以給大家看一下。
像我任務管理器裡面的一些東西。
任務管理器點擊性能。
然後大家可以看到這裡的英偉達顯卡是會直接去占用的。
特別是macOS如果你是8GB的內存,你就不要想了。
這個你基本跑不了。
你至少也要有個16G或者說24G去運行,會比較流暢一些。
而這個整個客戶端會比較大一點。
大家需要注意,它大概是有10G
一個Gb左右吧。
大概這麼大。
因為裡面有一些模型。
然後還有就是除了說模型,還有就是一些依賴環境。
Python的一些依賴環境。
包括我們的配音模型和語音識別的這兩個模型。
本質都在本地跑。
你的這個雲端API只是用來跑那個翻譯的。
我覺得接一個API去跑翻譯,效果會更好一些。
等這個流程跑完。
我們去看一下它的效果就好。
好,我們來看一下這個任務快完成了。
首先它做的是這個音頻的抽取。
抽取完了音頻之後,進行語音的一個識別。
然後整理了我們的一個字幕。
然後再將字幕做了一個翻譯。
因為我們的目標語言是英文。
翻譯成了英語之後,再進行一個TTS的一個配音。
配音完成之後,最後就是合成我們的音頻。
那這次已經進行到了最後這一個片段,就是分成了70個片段嘛。
那這裡就是具體的一個工作流程。
整個操作其實就很簡單。
你上傳的視頻,然後選好你的目標語種。
對吧。
還有一些字幕的顏色。
或者說電影集的一些潤色。
然後配一個那個翻譯的模型。
那就在這裡。
我這裡選了一個翻譯的模型。
最後就是點一下開始處理。
然後這裡就會進行自動化的處理。
現在再進行混合音軌,並且封裝到這個視頻裡面來。
那我們可以點開去看一下。
到時候應該就會在我們這一個Subflow的,
這個項目裡面。
那這裡會生成一個視頻。
這裡是剛才的這一個視頻。
這是原版的視頻,我們可以先打開來看一眼。
然後通過這個。
這是原版的這個視頻。
然後它是完全沒有字幕的。
是我之前自己錄的一個視頻。
對吧。
然後完全沒有字幕。
那這裡生成的是這個音中版本的。
那這裡還沒有。
這裡已經生成完成了。
我們可以看一下。
打開這個。
打開這個。
音中字幕的一個版本。
那下面兩個是它的那個字幕。
SRT的一個字幕。
那我們打開這個視頻。
這個視頻已經燒錄好了。
就是把字幕那些東西都加進去了。
大家可以看到。
這裡不只是說。
我們把這個中文的視頻換成了一個英文的視頻。
而且配上了英文加中文的一個字幕。
那這裡的音色。
我用的是。
千文的TTS的一個音色。
然後選的是第一個男聲的一個聲音。
OK。
那這是。
這一個演示。
那大家可以看一下。
就每一塊。
大家都配。
配上了相關的音中字幕。
大家一般用的比較多的還是。
國內小夥伴。
一般用的比較多的就是這個中音字幕。
就是中音雙語字幕。
然後目標語種是中文。
那他就不需要這個配音。
和這個選音色。
因為就是用你自己的一個聲音。
那只有你選擇目標語種的時候。
他才會出來配音。
OK。
這是一塊。
第二塊就是說。
當大家在做這個subflow。
特別是。
在進行這個視頻下的時候。
你的那個視頻的那個cookie可能會到期。
你需要更換自己的cookie。
那怎麼去更換呢?
是需要在這個cookies的項目文件夾內有兩個文件。
一個是youtube的cookie。
一個是bilibili的cookies。
那我們怎麼去獲取這個cookie呢?
首先第一步我們是需要在那個我們的導航頁。
然後往下滑。
往下找。
找到有一個叫chrome插件的商店。
當然你用的edg。
你可以用這個edg的插件商店。
然後進到這裡面來之後。
我們搜索getcookies。
搜索getcookies。
大家可以看到我安裝的是這個版本。
叫getcookies.
textclean。
這個東西。
那怎麼去用呢?
比如我這裡是youtube。
那我只要在這個位置點一下。
然後我們就可以copy他的youtube的cookies。
那我們把這個cookies複製一下。
然後填到這一個文檔裡面來。
然後雙擊打開。
那填到這裡面來。
把原來這個刪除。
如果你沒有的話。
那你只貼進來。
然後保存上。
這個時候我們的cookies就更換成功了。
YouTube。
Bilibili是一樣的。
你只要隨機打開Bilibili的網頁。
然後用同樣的方法。
比如我這裡隨便打開一個Bilibili的網站。
然後我只要點一下這個按鈕。
然後點擊copy。
就可以把b站的cookies給他copy下來。
然後這樣的話就可以再線去把雲端的視頻給他下載下來。
當然如果你是本地視頻你直接上傳就好了。
有關於我們這一款叫Subflow語幕的這一款。
直接提供了我們Windows和MacOS的一個客戶端。
大家直接下載客戶端去使用就好了。
好。
大家對這個項目感興趣的話可以幫我們點一點小信心。
點一下fork。
謝謝。
這就是本期視頻的全部內容。
謝謝大家。

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://b23.tv/ZSMGHPv --language zh --auto-source-subtitles

    來源：https://b23.tv/ZSMGHPv

    辨識語言：zh ｜ 參數：--language zh --auto-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 自動字幕優先，Whisper 作為備援
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：55.0 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：35.0 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

  6. 4. 句子密度平衡

    工具：videonote_balance_sentence_units.py

    處理：平衡句子長度與密度

    產出：sentence_units.json（句子單元）

    耗時：0.0 秒

    關係：依序執行

    結果：完成

  7. 5. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  8. 6. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  9. 7. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  10. 8. 逐字稿交叉檢查

    工具：videonote_cross_check_transcript.py

    處理：交叉檢查逐字稿與來源字幕

    產出：transcript_crosscheck_report.json（交叉檢查）

    耗時：0.2 秒

    關係：依序執行

    結果：完成

  11. 9. 來源句整理

    工具：videonote_prepare_source_entries.py

    處理：整理來源句子供時間軸與頁面使用

    產出：sentence_units.json（句子單元）

    耗時：0.2 秒

    關係：依序執行

    結果：完成

  12. 10. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：118.2 秒

    關係：依序執行

    結果：完成

  13. 11. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：0.3 秒

    關係：依序執行

    結果：完成

  14. 12. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench