影片筆記：本地语音 AI 又升级了！10个新模型、GGUF量化、流式ASR语音输入｜audio.cpp

一句話總結

Audio CPP 進行重大升級，新增 10 個模型（總計支持 30 個語音模型），支援 GGUF 量化以降低顯存佔用，並提供繁體中文介面。影片演示了如何利用該工具開發「語音輸入法」，涵蓋了從模型下載、量化轉換到實際應用開發的完整流程。

核心重點

1. 模型擴充與多語言支援：

• Audio CPP 新增 10 個模型，總計完整支持 30 個語音模型。
• 涵蓋 TTS（文字轉語音）與 ASR（語音轉文字）兩大領域。
• 介面新增繁體中文與英文支援。

1. GGUF 量化技術：

• 內建模型量化轉換功能，將模型轉換為 GGUF 格式。
• 優點：大幅降低顯存佔用，使低顯存設備或無顯卡機器（使用 CPU）運行成為可能。
• 機制：當存在 GGUF 文件時，後台服務優先加載量化版；若不想使用，可轉換恢復原始權重。

1. 新模型特性與限制：

• TTS 方面：
• Index TTS2：支持從文本內容推斷語氣（情感參考文本），但較吃顯存。
• Supertonic3：速度快，支持流式合成（Streaming），但不支援中文。
• Vox CP-M2：目前僅此模型支援中文流式合成，但效果仍在優化，首次延遲高且有卡頓。
• ASR 方面：
• 千問 3 ASR 1.7B：中文轉寫準確率相當高。
• Vib Voice ASR：能力更強，支持多人對話，需足夠顯存。
• Limotron 3.5 ASR 0.6B：速度快，但中文識別準確率較差；支持離線和流式轉寫，適合語音輸入場景。

1. 應用落地實戰（語音輸入法）：

• 開發流程簡便：撰寫需求 -> 交給 Codex 生成代碼 -> 服務端調用 Audio CPP -> 前端處理顯示。
• 開發耗時約半小時，調試約 10 分鐘。
• 操作方式：按住 Ctrl + Shift + 空格 打開麥克風，在文本編輯軟件中說話即可直接轉寫。

1. 整合包升級與模型下載機制：

• 升級方式：新安裝下載完整版，舊版升級下載升級包覆蓋原目錄。
• 模型下載：必須從 Hugging Face 下載，不支持手動放置模型。
• 特殊模型：部分模型（如 Stable Audio 系列）需申請權限並設置 Token。
• 下載過程：支持斷點續傳，完成後程序自動創建文件夾並自檢完整性。

詳細大綱

I. 升級概覽與新功能

• 版本更新：Audio CPP 進行大升級，新增 10 個模型，支持 GGUF 量化版加載。
• 介面變更：
• 新增多語言支持（繁體中文、英文）。
• 新增內置音頻管理功能（上傳參考音頻與文本保存）。
• 新增模型量化管理功能。
• 應用案例：演示了基於 Audio CPP 開發的語音輸入法。

II. 新增 TTS 模型介紹

• Index TTS2：
• 特點：支持從文本內容推斷語氣的聲音合成。
• 操作：在高級參數填寫「情感參考文本」，模型會根據文本情緒合成語音（如憤怒、失望）。
• 參數調整：可調整「情感強度」（如 0.8）。
• 推斷模式：若無情感參考文本，可勾選「從朗讀文本推斷」。
• 注意事項：較吃顯存，低顯存建議使用 MOS 系列或千問 3 TTS 0.6b。
• Supertonic3：
• 特點：速度快，支持流式合成（Streaming）。
• 操作：切換至流式模式。
• 注意事項：
• 首次合成需重載後台服務，有加載時間，建議先用短文本預熱。
• 不支持中文。
• 中文流式合成目前僅 Vox CP-M2 支持，但效果仍在優化，首次延遲高且有卡頓。
• 優勢：長文本合成可邊合成邊輸出，無需等待全部結束。

III. 新增 ASR 模型介紹

• 模型對比與推薦：
• 中文轉寫推薦：千問 3 ASR 1.7B（準確率相當高）。
• 高性能推薦：Vib Voice ASR（能力更強，支持多人對話，需足夠顯存）。
• 速度推薦：Limotron 3.5 ASR 0.6B（速度快，但中文識別準確率較差）。
• Limotron 3.5 ASR 0.6B 特性：
• 同時支持離線和流式轉寫。
• 勾選「流式轉寫」可邊識別邊吐字，適合語音輸入、即時對話場景。
• 本地語音輸入法即基於此模型開發。

IV. 語音輸入法開發實戰

• 開發流程：

1. 撰寫大致需求描述。
2. 交給 Codex 生成代碼。
3. 服務端直接調用 Audio CPP 服務。
4. 代碼僅需處理語音輸入發送與顯示層。
5. 開發耗時約半小時，調試約 10 分鐘。

• 使用步驟：

1. 啟動 Run Server ASR Stream 服務。
2. 運行 Speak Type。
3. 按住 Ctrl + Shift + 空格 打開麥克風。
4. 將光標置於文本編輯軟件（如記事本、Obsidian）中說話，內容直接轉寫。

• 定位說明：此程序為 DEMO，旨在驗證 Audio CPP 開發落地應用（如 WebUI、即時語音對話、OpenAI 風格 API、瀏覽器擴展等）的可能性。

V. 介面功能詳細說明

• 語言切換：右上角語言支持繁體和英文，切換時約有 1-2 秒延時。
• 音頻管理：
• 上傳參考音頻並寫入對應文本。
• 點擊保存後自動存入內置音頻列表。
• 可選中刪除不用的音頻。
• GGUF 量化管理：
• 功能：將模型轉換為 GGUF 格式。
• 優點：顯存佔用更小；無顯卡機器使用 CPU 運行量化版速度更快。
• 案例：VibeOS ASR 原始模型需 16G 顯存，轉為 Q4 量化版後 8G 顯存即可運行。
• 限制：
• Audio CPP 不支持其他框架轉換的 GGUF。
• 僅部分模型可轉換（列表中有提示）。
• 大參數模型轉換耗時長（約 20 多分鐘）。
• 加載邏輯：當存在 GGUF 文件時，後台服務優先加載量化版。
• 還原：量化版不想用可直接轉換恢復原始權重。

VI. 整合包升級與模型下載

• 升級方式：
• 新安裝：下載新版完整版整合包。
• 舊版升級：下載升級包，解壓後複製所有文件覆蓋原整合包目錄。
• 未來更新：點擊 Update，程序自動檢測並下載新版本。
• 啟動流程：雙擊 Run WebUI，首次啟動需等待幾十秒加載，隨後自動打開網頁。
• 模型下載機制：
• 來源：必須從 Hugging Face 下載，不支持手動放置模型。
• 網絡問題：國內下載受阻可填寫代理地址。
• 特殊模型申請：
• 部分模型（如 Stable Audio 系列）需在 Hugging Face 申請權限。
• 步驟：註冊免費帳號 -> 填寫申請表單 -> 通過後在頭像菜單底部訪問 Token -> 創建新 Token（選讀） -> 複製 Token 粘貼至 WebUI Token 框。
• 下載過程：
• 在 Modus 目錄下創建臨時下載目錄。
• 支持斷點續傳（中斷後繼續點擊下載）。
• 下載完成後程序自動創建/重命名模型文件夾。
• 點擊刷新下載模型，程序會自檢文件完整性，缺失會提示不完整。

工具 / 模型 / 名詞整理

• Audio CPP：影片主要介紹的本地語音 AI 工具。
• Nama CPP：文中比喻為音頻版 Nama CPP。
• Index TTS2：新增的 TTS 模型，支持情感推斷。
• Supertonic3：新增的 TTS 模型，速度快，支持流式合成，不支持中文。
• MOS 系列：低顯存建議使用的 TTS 模型系列。
• 千問 3 TTS 0.6b：低顯存建議使用的 TTS 模型。
• Vox CP-M2：目前僅此模型支援中文流式合成。
• 千問 3 ASR 1.7B：推薦的中文轉寫 ASR 模型。
• Vib Voice ASR：高性能 ASR 模型，支持多人對話。
• Limotron 3.5 ASR 0.6B：速度快的 ASR 模型，用於開發語音輸入法。
• Codex：用於生成代碼的 AI 工具。
• Speak Type：開發的語音輸入法程序名稱。
• Run Server ASR Stream：啟動 ASR 流式服務的指令/程序。
• Run WebUI：啟動 WebUI 的指令/程序。
• Hugging Face：模型下載來源平台。
• Stable Audio：需申請權限的特殊模型系列。
• WebUI：Audio CPP 的網頁用戶介面。
• Obsidian：文本編輯軟件示例。
• 記事本：文本編輯軟件示例。
• GGUF：模型量化格式。
• Q4 量化版：具體的量化級別。
• VibeOS ASR：原始模型名稱，需 16G 顯存。
• OpenAI 風格的 API：Audio CPP 可能支援的 API 格式。

操作流程整理

1. 升級 Audio CPP

1. 新安裝：下載新版完整版整合包。
2. 舊版升級：下載升級包，解壓後複製所有文件覆蓋原整合包目錄。
3. 啟動：雙擊 Run WebUI，等待加載後自動打開網頁。

2. 下載與配置模型

1. 準備 Hugging Face 帳號：註冊免費帳號。
2. 申請權限（如需要）：

• 填寫申請表單。
• 通過後，在頭像菜單底部訪問 Token。
• 創建新 Token（選讀權限）。
• 複製 Token 粘貼至 WebUI Token 框。

1. 下載模型：

• 在 WebUI 中選擇模型點擊下載。
• 若網絡受阻，填寫代理地址。
• 程序在 Modus 目錄下創建臨時目錄並下載（支持斷點續傳）。
• 下載完成後，程序自動創建/重命名模型文件夾。
• 點擊刷新下載模型，程序自檢文件完整性。

3. 使用 GGUF 量化

1. 在量化管理功能中，選擇支持的模型進行轉換。
2. 等待轉換完成（大參數模型約需 20 多分鐘）。
3. 重新啟動服務，後台服務會優先加載 GGUF 文件。
4. 若不想使用量化版，可轉換恢復原始權重。

4. 開發與使用語音輸入法 (Speak Type)

1. 開發階段：

• 撰寫需求描述。
• 使用 Codex 生成代碼。
• 服務端調用 Audio CPP 服務。

1. 運行階段：

• 啟動 Run Server ASR Stream 服務。
• 運行 Speak Type 程序。
• 在文本編輯軟件（如記事本、Obsidian）中將光標置於輸入位置。
• 按住 Ctrl + Shift + 空格 打開麥克風並說話。
• 語音內容直接轉寫為文字。

值得注意的限制或風險

1. 顯存需求：

• Index TTS2 較吃顯存，低顯存設備建議使用 MOS 系列或千問 3 TTS 0.6b。
• Vib Voice ASR 需足夠顯存以支持多人對話。
• VibeOS ASR 原始模型需 16G 顯存，量化後需 8G。

1. 語言支援限制：

• Supertonic3 不支持中文。
• Limotron 3.5 ASR 0.6B 中文識別準確率較差。
• Vox CP-M2 中文流式合成效果仍在優化，首次延遲高且有卡頓。

1. GGUF 轉換限制：

• Audio CPP 不支持其他框架轉換的 GGUF。
• 僅部分模型可轉換。
• 大參數模型轉換耗時長。

1. 模型下載限制：

• 必須從 Hugging Face 下載，不支持手動放置模型文件。
• 部分模型需單獨申請權限。

1. 性能延遲：

• 語言切換時約有 1-2 秒延時。
• Supertonic3 首次合成需重載後台服務，有加載時間。

逐字稿辨識疑點

• Audio CPP：文中多次提及，疑似為特定軟體名稱，保留原樣。
• Nama CPP：文中比喻用詞，保留原樣。
• MOS 系列：文中提及「顯卡配置低的話,就用MOS系列」，疑點：具體指代不明，保留原樣。
• 千問 3 TTS0.6b：文中寫法，疑點：通常模型版本號格式可能不同，保留原樣。
• 流式生存：文中多次出現「流式生存」，疑點：語境為語音合成，應為「流式合成」之聽寫錯誤，但依規則標為疑點。
• 生存模式：文中出現「生存模式切換到流式」，疑點：應為「合成模式」，保留原樣。
• Limotron 3.5ASR 0.6B：文中提及，疑點：模型名稱拼寫需查證，保留原樣。
• Vib Voice ASR：文中提及，疑點：與後文「VibeOS ASR」名稱不一致，保留原樣。
• 實施對話：文中出現「實施對話」，疑點：語境應為「即時對話」，保留原樣。
• 實施語音對話：文中出現，疑點：應為「即時語音對話」，保留原樣。
• VibeOS ASR：文中提及，疑點：與前文「Vib Voice ASR」名稱不一致，保留原樣。
• Stable Audio：文中提及，疑點：通常為 Stable Diffusion 或特定音頻模型，保留原樣。
• Modus 目錄：文中提及下載目錄路徑，疑點：目錄名稱拼寫需查證，保留原樣。
• 新商手：文中出現「新商手的朋友」，疑點：應為「新手」，保留原樣。
• 典禮的 Hugging Face 頭像：文中出現「在典禮的 Hugging Face 頭像」，疑點：應為「點擊」或類似動詞，保留原樣。
• 選紙讀：文中出現「選紙讀」，疑點：應為「選只讀」或類似權限選項，保留原樣。
• 數查：文中出現「來數查」，疑點：應為「查詢」，保留原樣。

可延伸追