# 影片筆記:SubFlow 语幕|跨越语种,链接世界 ## ⚠️ 全文快速校讀發現待確認修正 本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。 - 待修正:⚠️ 全文快速校讀:已套用暫定修正,請確認(segment=1 已先套用暫定修正:然後進行AI的配音,以及視頻字幕的一個翻譯和視頻字幕的自動生成與騷錄的一款工具。 → 然後進行AI的配音,以及視頻字幕的一個翻譯和視頻字幕的自動生成與燒錄的一款工具。;segment=3 已先套用暫定修正:我們把整個項目已經開圓了。那我們看一下這個項目。進到這個項目裡面來是這個樣式。 → 我們把整個項目已經開源了。那我們看一下這個項目。進到這個項目裡面來是這個樣式。) - 待修正:逐字稿可先使用,但有待校正清單(segment=26 rapid_semantic_review: 全文速讀上下文判斷;尚未回聽或交叉比對;segment=35 rapid_semantic_review: 全文速讀上下文判斷;尚未回聽或交叉比對) > **⚠️ 警告:逐字稿辨識疑點與校正待辦** > > 根據可讀性檢核結果,以下片段存在高風險的辨識錯誤,**不得視為確定事實**。請在後續操作中特別留意,並參考「逐字稿辨識疑點」章節進行確認: > > 1. **Segment 26 & 35**: `rapid_semantic_review` — 全文速讀上下文判斷;尚未回聽或交叉比對。 > 2. **Segment 42**: Whisper 模型參數通常為 `tiny/base/small/medium/large` 等,筆記中出現的 **「median」** 非標準參數,極大概率为 **「medium」** 的口誤。 > > **請使用者務必回聽相關段落以確認具體內容,切勿直接依賴筆記中的「median」或未經核對的術語。** ## 一句話總結 SubFlow 是一款開源的 AI 語幕工具,支援 Windows 與 macOS,提供從視頻下載、語音識別(Whisper)、字幕翻譯、AI 配音(支援千問 QN3TTS 及聲音克隆)到字幕燒錄的全流程自動化處理,需配置本地環境與 API Token 以完成多語言視頻的本地化製作。 ## 核心重點 1. **功能定位**:SubFlow 是一個開源的 AI 工具,專注於語音自動識別、AI 配音、視頻字幕翻譯與自動生成燒錄。 2. **平台支援**:提供 Windows 和 macOS 客戶端,項目已開源。 3. **核心技術鏈**: * **語音識別**:使用 Whisper 模型(支援本地顯卡加速或 CPU 運行)。 * **AI 配音**:調用千問(Qwen)的 TTS 開源模型(QN3TTS),支援本地算力運行,免費且支援聲音克隆。 * **字幕翻譯**:需依賴雲端 API(需申請 Token),支援多語言互譯。 4. **硬體與環境**: * 客戶端約 10GB,預裝 Python 環境及相關模型。 * 記憶體建議至少 16GB 或 24GB(macOS 8GB 可能無法流暢運行)。 * 語音識別與配音依賴本地算力,僅翻譯依賴雲端 API。 5. **操作流程**:上傳/下載視頻 -> 音頻抽取 -> 語音識別生成字幕 -> 字幕翻譯 -> TTS 配音 -> 合成音軌 -> 燒錄字幕輸出視頻。 6. **Cookie 管理**:下載 YouTube 或 Bilibili 視頻時,若 Cookie 過期需手動更新,可透過瀏覽器插件獲取並替換。 ## 詳細大綱 ### 一、 SubFlow 工具簡介與功能 * **定義**:由公司開發的 AI 自動識別語音、AI 配音、視頻字幕翻譯與自動生成燒錄工具。 * **支援平台**:Windows 版本、MacOS 版本。 * **開源狀態**:項目已開源,使用者可下載完整版本。 * **主要操作介面**: * 上傳本地視頻文件。 * 透過連結下載 YouTube 或 Bilibili 視頻。 * 處理視頻字幕:無字幕可生成,有音頻可進行翻譯與配音。 ### 二、 配音與音色選擇 * **核心模型**:調用 **千問 (Qwen)** 的 TTS 開源模型(QN3TTS)。 * 可在本地算力運行,無需額外付費。 * **音色版本選項**: 1. **標準音色**:預設的標準聲音(影片提及中文人說英文可能不夠流暢)。 2. **克隆原聲**:支援使用使用者自己的聲音進行克隆,發出相關聲音(推薦此方式)。 3. **其他選項**:提及「GPT 的 Soviet」(疑點:名稱不確定,可能指特定模型或服務),但語音與音色選擇較少,不推薦。 * **推薦建議**:使用 QN3TTS 進行原聲克隆以獲得最佳效果。 ### 三、 字幕設定與處理 * **字幕排版格式**: * **中音字幕**:中文在上,英文在下。 * **音中字幕**:英文在上,中文在下。 * **支援語種**:德語、法語、日語、繁體中文等。 * **視覺設定**:可分別設定中文與英文字幕的顏色。 * **電影級潤色**: * **功能**:深度 AI 校對與潤色處理。 * **要求**:需勾選該選項,調用 API 站內的大語言模型。 * **建議**:推薦勾選以提升字幕表現品質。 ### 四、 API 設定與翻譯模型 * **翻譯需求**:翻譯功能需使用 API,使用者需申請 API Token。 * **設定步驟**: 1. 進入 API 分發站。 2. 選擇令牌,點擊控制台。 3. 複製 API 密鑰(Token)。 4. 填入 Subflow 介面框框並點擊「保存令牌」。 * **模型選擇**: * 可選模型包括「5.6 的 terra」或「luna」(疑點:版本號與模型名稱需確認)。 * 範例選擇:terra 用於翻譯任務。 ### 五、 本地環境與硬體需求 * **自動化安裝**:點擊「開始處理」後,若缺少環境會自動安裝依賴。 * **預裝內容**:客戶端已預裝配音環境、千問 3 模型、語音識別 Whisper 模型。 * **硬體建議**: * **語音識別**: * 有顯卡:選 `median`(疑點:極可能為 `medium` 的口誤,請參照警告章節)。 * 無顯卡:選 `small` 或 `tiny`(需依賴本地算力,速度較慢)。 * **TTS 配音**:本質依賴本地算力。 * **記憶體需求**: * macOS 8GB 記憶體基本跑不了。 * 建議至少 16GB 或 24GB 記憶體以確保流暢。 * **軟體體積**:客戶端約 10GB 左右,包含模型與 Python 依賴環境。 * **資源分配原則**:配音與語音識別模型在本地跑;雲端 API 僅用於翻譯。 ### 六、 工作流程與輸出 * **處理流程**: 1. 音頻抽取。 2. 語音識別(生成字幕)。 3. 字幕翻譯(目標語言,如英文)。 4. TTS 配音。 5. 合成音頻。 6. 混合音軌並封裝至視頻(燒錄字幕)。 * **輸出結果**: * 在 Subflow 項目文件夾內生成新視頻。 * 生成 SRT 字幕文件。 * 視頻已燒錄雙語字幕(如中文字幕與英文配音)。 * **使用場景差異**: * 若目標語種為中文(國內小夥伴常用),通常不需要配音與選音色,直接使用原聲。 * 僅當選擇非原聲的目標語種時,才會觸發配音流程。 ### 七、 Cookie 更換指南(針對視頻下載) * **問題背景**:下載視頻時,YouTube 或 Bilibili 的 Cookie 可能過期導致下載失敗。 * **解決方法**: 1. 找到 Subflow 項目文件夾內的 `cookies` 文件夾。 2. 該文件夾內包含 `youtube` 和 `bilibili` 的 cookie 文件。 3. **獲取 Cookie 工具**: * 在瀏覽器(Chrome/Edge)插件商店搜索 `getcookies`。 * 安裝 `getcookies.textclean` 插件。 4. **操作步驟**: * 打開 YouTube 或 Bilibili 網頁。 * 點擊插件按鈕複製 Cookie。 * 雙擊打開對應的 cookie 文件,刪除舊內容,貼上新複製的 Cookie。 * 保存文件。 5. 此方法適用於線上視頻下載;本地視頻則直接上傳。 ### 八、 結語 * Subflow 提供 Windows 和 MacOS 客戶端,建議下載使用。 * 邀請觀眾點讚(影片口語為「點一點小信心」,疑點:可能為「小心心」的聽寫錯誤)與 Fork 項目。 ## 工具 / 模型 / 名詞整理 * **Subflow**:影片介紹的 AI 語幕工具,支援多語言視頻處理。 * **千問 (Qwen)**:AI 模型系列,由阿里巴巴開發。 * **QN3TTS**:千問的 TTS 開源模型,用於語音合成。 * **Whisper**:語音識別模型,用於將語音轉為文字。 * **YouTube**:支援下載的視頻平台。 * **Bilibili**:支援下載的視頻平台。 * **Windows**:支援的操作系統。 * **MacOS**:支援的操作系統。 * **GPT 的 Soviet**:逐字稿提及的語音相關詞彙(疑點:名稱不確定,可能為聽寫錯誤或特定內部名稱)。 * **terra**:翻譯模型選項之一(如 5.6 的 terra,疑點:版本號與名稱需確認)。 * **luna**:翻譯模型選項之一。 * **getcookies.textclean**:瀏覽器插件名稱,用於獲取 Cookie。 * **Chrome 插件商店**:獲取插件的渠道。 * **Edge (edg)**:提及的瀏覽器。 * **Python**:依賴環境語言。 * **API Token**:用於調用翻譯服務的密鑰。 ## 操作流程整理 1. **環境準備**: * 下載並安裝 Subflow 客戶端(約 10GB)。 * 確保硬體滿足要求(記憶體建議 16GB+,有顯卡可加速 Whisper)。 * 申請並配置翻譯 API Token。 2. **視頻獲取**: * **本地視頻**:直接上傳。 * **線上視頻**: * 檢查 `cookies` 文件夾內的 `youtube` 和 `bilibili` 文件。 * 若過期,使用 `getcookies.textclean` 插件從瀏覽器獲取新 Cookie 並替換。 * 輸入視頻連結進行下載。 3. **處理設定**: * 選擇目標語言與字幕排版格式(中音/音中)。 * 選擇配音模型(推薦 QN3TTS 原聲克隆)。 * 勾選「電影級潤色」以進行 AI 校對。 * 選擇 Whisper 模型尺寸(有顯卡選 `median`/`medium`,無顯卡選 `small`/`tiny`)。 4. **執行與輸出**: * 點擊「開始處理」。 * 系統自動執行:音頻抽取 -> 語音識別 -> 翻譯 -> TTS 配音 -> 合成 -> 燒錄。 * 在項目文件夾中獲取最終視頻與 SRT 字幕文件。 ## 值得注意的限制或風險 1. **硬體門檻**:macOS 8GB 記憶體可能無法運行,建議 16GB 或 24GB。本地處理依賴算力,無顯卡時速度較慢。 2. **API 依賴**:翻譯功能需外部 API Token,涉及額外成本或配額限制。 3. **Cookie 維護**:線上視頻下載依賴 Cookie,需手動定期更新,否則可能失效。 4. **模型辨識風險**:筆記中提到的 `median` 模型尺寸及 `5.6 的 terra` 模型版本存在高辨識錯誤風險,實際操作前務必確認正確參數。 5. **語音質量**:標準音色在跨語言(如中文說英文)時可能不夠流暢,建議使用聲音克隆功能。 ## 逐字稿辨識疑點 1. **Whisper 模型參數 "median"**: * **疑點描述**:筆記中提及「有顯卡選 median」。 * **分析**:Whisper 模型的標準尺寸參數通常為 `tiny`, `base`, `small`, `medium`, `large`。`median` 並非標準參數。 * **推測**:極大概率为 **「medium」** 的口誤或聽寫錯誤。請使用者回聽 Segment 42 確認。 2. **"GPT 的 Soviet"**: * **疑點描述**:逐字稿提及「還有一個 GPT 的 Soviet」,用於語音,但語音與音色較少。 * **分析**:常見 AI 語音模型中無此名稱。 * **推測**:可能為特定內部名稱、聽寫錯誤(如 "Soviet" 聽錯),或指代不明確的服務。需查證。 3. **"5.6 的 terra"**: * **疑點描述**:提及翻譯模型版本為「5.6 的 terra」。 * **分析**:需確認 terra 模型是否有此特定版本號,或為口誤。 * **推測**:可能為模型名稱或版本號的辨識錯誤。 4. **"小信心"**: * **疑點描述**:結尾提到「點一點小信心」。 * **分析**:常見於影片結尾的互動用語。 * **推測**:可能為 **「小心心」**(點讚)的聽寫錯誤,但依規則僅記錄原詞。 5. **"Subflow 語幕"**: * **疑點描述**:影片標題或口語中將 Subflow 稱為「語幕」。 * **分析**:可能為品牌別稱、口誤,或指代其「語音+字幕」的核心功能。 * **推測**:需確認是否為官方別稱。 6. **Segment 26 & 35 快速檢核未確認**: * **疑點描述**:`rapid_semantic_review` 標記為全文速讀上下文判斷,尚未回聽或交叉比對。 * **行動**:建議使用者回聽這些片段以確保內容準確性。 ## 可延伸追問 1. SubFlow 的開源項目地址為何?如何獲取最新版本? 2. 翻譯 API 的具體費用結構與配額限制為何? 3. QN3TTS 模型在本地運行時,對顯存(VRAM)的具體要求是多少? 4. 若使用 `small` 或 `tiny` 模型,處理長視頻的時間成本大約是多少? 5. 聲音克隆功能需要多長的源音頻才能達到最佳效果?