# 影片筆記:AI同声传译Sokuji!开源免费+多语种+跨平台(Win/Mac/Linux),甚至免GPU!不会外语也能实时交流 | Hex-电脑课堂 ## ⚠️ 可先使用,仍有待修正項目 本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。 - 待修正:逐字稿全文快速校讀未完成(已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。) - 待修正:逐字稿可先使用,但有待校正清單(segment=14 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=144 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語) ## 一句話總結 影片介紹了一款名為「Sokuji」的開源、免費、跨平台(Win/Mac/Linux)同聲傳譯工具,支援本地部署與 WebGPU 加速,無需 GPU 亦可運行,並演示了從模型下載、參數設置到實時中英互譯的全流程。 ## 核心重點 * **工具特性**:開源、免費、跨平台(支援 Windows、Linux、macOS),效果可與商用閉源產品抗衡。 * **技術架構**:整合語音識別、機器翻譯、語音合成(TTS)三大模組,實現低延遲的同聲傳譯。 * **硬體要求**:無 GPU 亦可運行,但建議使用 NVIDIA 顯卡(顯存 >= 8GB)並啟用 WebGPU 加速以降低時延。 * **隱私選項**:提供純本地部署(數據不出本地)與雲端 API 兩種模式,本地模式隱私性較高。 * **關鍵配置**:必須確保語音識別、翻譯、合成三個模型支援共同的語言範圍,且強烈建議使用帶有 `realtime` 字段的流式模型以確保即時性。 ## 詳細大綱 ### 一、 工具介紹與效果展示 * **產品定位**:由「Hex-電腦課堂」分享的開源同聲傳譯工具,特點為跨平台、完全免費。 * **效果演示**: * 現場演示中英互譯,展示流式字幕輸出。 * 強調其效果可與商用閉源產品抗衡。 * 演示多語言切換(如西班牙語、日語等)。 ### 二、 系統環境與安裝要求 * **硬體要求**: * 作業系統:Windows 10/11 均可。 * GPU:無 GPU 亦可運行,但建議有 NVIDIA 顯卡且顯存 >= 8GB。 * 記憶體:最低 4GB。 * 硬碟空間:200MB 以上。 * 外設:麥克風與揚聲器需正常運作。 * **軟體安裝**: * 從官方網頁下載終端版(exe 檔案)。 * 安裝後桌面出現圖標,雙擊打開。 * 提及另一種形式為瀏覽器擴充插件(本期不詳述)。 ### 三、 模型配置與下載(核心步驟) * **三大模組**:語音識別、機器翻譯、語音合成(TTS)。 * **推薦模型選擇**: 1. **語音識別**:推薦 `mini 4B` 模型。 * 理由:精度與速度均為滿星(5星),支援 WebGPU 加速。 2. **機器翻譯**:推薦 `translate Gemma` 模型。 * 理由:速度與質量最佳,支援多種語言。 3. **語音合成 (TTS)**:推薦 `supersonic` 模型。 * 理由:體積小(約 380MB),支援語種豐富。 * **下載操作**: * 在軟體內點擊「瀏覽模型庫」。 * 點擊對應模型的「下載」按鈕。 * **注意事項**:下載期間需保持網絡穩定,建議開啟全局模式。 ### 四、 參數設置與會話操作 * **基本設置**: * 語言選擇:根據已下載模型支援的語種進行設置(如輸入中文,輸出英文)。 * 速度調整:TTS 速度默認 1.0,可調整至 1.2 以加快語速。 * **進階參數(默認即可)**: * 最小靜音時長:1.4秒(超過此間隔視為句子切分)。 * 最小語音時長:0.4秒(小於此長度的聲音視為雜音,節省算力)。 * **會話操作**: * 選擇音頻輸入設備(物理麥克風)。 * 點擊「開始會話」。 * 界面顯示實時識別字幕,可點擊右上角「字幕」放大顯示。 * 結束會話:點擊「結束會話」或按 ESC 鍵。 ### 五、 進階選項:雲端 API 與隱私 * **本地 vs 雲端**: * **本地模式**:所有模型在本地運行,數據不經過伺服器,隱私性高。 * **雲端模式**: * 需註冊帳號並登錄。 * 使用雲端翻譯服務 API(如 OpenAI, 豆包, Google Gemini 等)。 * 需填入對應 API 的密鑰(Key)。 * **缺點**:數據會經過伺服器,隱私保障較低。 * **建議**:若本地效果已足夠,建議優先使用免費的本地部署方案。 ### 六、 常見錯誤與最佳實踐 * **報錯原因**: * **語種不匹配**:語音識別模型支援的語言與語音合成模型支援的語言無交集(例如:識別模型支援粵語,但合成模型不支援粵語),導致鏈路斷開。 * **網絡問題**:下載模型時網絡不穩定或未開全局模式。 * **降低時延的技巧**: * **選擇流式模型**:務必選擇帶有 `realtime` 字段的流式模型,避免非流式模型造成的巨大延遲。 * **啟用 WebGPU**:若有 GPU,務必選擇支援 WebGPU 的模型以加速渲染。 * **核心指標**:同聲傳譯的關鍵在於翻譯準確性與低時延。 ## 工具 / 模型 / 名詞整理 * **軟體/平台名稱**: * Hex-電腦課堂 * Windows * Linux * macOS * WebGPU * Sokuji (提及為雲端翻譯服務 API) * **推薦模型名稱**: * `mini 4B` (語音識別模型) * `translate Gemma` (機器翻譯模型) * `supersonic` (語音合成/TTS 模型) * **雲端 API 提供商**: * OpenAI * 豆包 * Google Gemini * **其他術語**: * WebGPU (網頁端 GPU 渲染加速) * Realtime (流式) * TTS (Text-to-Speech, 語音合成) ## 操作流程整理 1. **下載與安裝**:從官方網頁下載終端版(exe),安裝後雙擊打開。 2. **下載模型**: * 點擊軟體內的「瀏覽模型庫」。 * 分別下載推薦的語音識別(`mini 4B`)、機器翻譯(`translate Gemma`)及語音合成(`supersonic`)模型。 * 確保網絡穩定,建議開啟全局模式。 3. **參數設置**: * 設置輸入與輸出語言(需與模型支援語種匹配)。 * 調整 TTS 速度(可設為 1.2)。 * 確認默認參數(最小靜音時長 1.4s,最小語音時長 0.4s)。 4. **開始會話**: * 選擇正確的音頻輸入設備(麥克風)。 * 點擊「開始會話」。 * 觀察實時識別字幕,可點擊右上角「字幕」放大。 5. **結束會話**:點擊「結束會話」或按 ESC 鍵。 ## 值得注意的限制或風險 * **語種兼容性**:語音識別、翻譯、合成三個模型必須支援共同的語言範圍,否則會報錯。 * **網絡依賴**:下載模型時需網絡穩定,建議開啟全局模式。 * **隱私風險**:使用雲端 API 模式時,數據會經過伺服器,隱私保障較低。 * **延遲問題**:若未選擇帶有 `realtime` 字段的流式模型,可能會產生巨大延遲。 * **硬體限制**:雖無 GPU 亦可運行,但無 GPU 時性能可能受限,建議使用支援 WebGPU 的模型。 ## 逐字稿辨識疑點 * **Sokuji**:逐字稿中提到「它云端的 sokuji 它自己的翻译服务 api」,此名稱較為生僻或可能是口誤/聽寫錯誤,需查證是否為該工具專有的雲端服務名稱或特定 API 名稱。 * **Mini 4B**:模型名稱寫作「mini 4B」,需確認是否為特定量化版本或特定架構的簡寫(如 4-bit 量化等),但依規則保留原樣。 * **Translate Gemma**:模型名稱寫作「translate Gemma」,需查證是否為 Gemma 模型的特定微調版本或官方推薦的翻譯專用名稱。 * **Supersonic**:TTS 模型名稱寫作「supersonic」,需查證是否為該開源項目內部的模型代號或特定 TTS 模型名稱。 * **全局模式**:多次提到「网络一定要保持全局模式」,需查證此處「全局模式」是否特指某種網絡代理設置(如 VPN 的全局代理模式)以確保下載穩定,還是該軟體內部的特定設置選項。 * **WebGPU**:文中解釋為「用 GPU 去做网页端的一个渲染加速」,需確認在桌面端應用中 WebGPU 的具體實現方式是否與瀏覽器環境一致,或為該軟體特有的技術實現。 ## 可延伸追問 * 該工具的開源代碼倉庫地址為何? * 「Sokuji」雲端 API 的具體定價或免費額度為何? * 對於無 GPU 的設備,推薦的最低硬體配置為何? * 如何手動配置非推薦的第三方模型? * 該工具是否支援自定義訓練或微調模型?