# 影片筆記：支持离线大模型语音识别SOC方案


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
- 待修正：逐字稿可先使用，但有待校正清單（segment=58 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=59 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

影片介紹了支援離線大模型語音識別的 SOC 方案，強調端側 AI 芯片正從簡單關鍵詞喚醒轉向能在本地運行 ASR 及大語言模型（LLM）的高性能方案，並列舉了多款具備強大 NPU 算力的芯片及其應用場景。

## 核心重點

*   **技術趨勢**：端側 AI 芯片發展核心方向已從關鍵詞喚醒（KWS），轉向能在本地獨立運行自動語音識別（ASR）甚至大語言模型（LLM），以理解並執行複雜的自然語言指令。
*   **關鍵技術**：芯片需集成強大的神經網絡處理單元（NPU）。
*   **方案分類**：
    1.  **高性能 SOC 方案**：具備數 T OPS 的 NPU 算力，能在本地運行參數規模在 0.5B 到 7B 之間的大語言模型，實現真正的專家模型識別。
    2.  **中等算力與低功耗方案**：模型規模受限，但能實現比簡單 KWS 複雜得多的語音識別和理解功能，適合對續航有嚴苛要求的場景。

## 詳細大綱

### 1. 核心需求與趨勢
*   **需求**：離線、接入專家模型、支持長短距識別。
*   **趨勢**：要求芯片在本地獨立運行 ASR 甚至 LLM，理解並執行複雜自然語言指令。
*   **關鍵技術**：集成強大的神經網絡處理單元（NPU）。

### 2. 高性能 SOC 方案（模組級/剛性能 SOC 方案）
此類方案特點為具備數 T OPS 的 NPU 算力，支持本地運行 0.5B 到 7B 參數規模的大語言模型。

*   **愛芯原制 AX630C**
    *   **應用**：M5Stack Module LLM 模塊所採用芯片。
    *   **規格**：集成 3.2T UPS（疑點）的 NPU，原生支持 Transformer 模型。
    *   **內存**：4GB LPDDR4。
    *   **功能**：預裝 QNR 0.5B 大語言模型，內置 KWS、ASR、LLM 及 TTS 功能。
    *   **應用場景**：離線語音交互，適合開發智能語音助手或智能家居控制中心。

*   **銳行 2K3576 / 2K3588**
    *   **規格**：帶有 6T OPS 的 NPU。
    *   **能力**：支持端側部署 0.5B 到 3B 參數級別的主流大語言模型。
    *   **案例**：社區已有基於 RK3576 NPU 實現的全離線智能語音交互系統項目，集成流逝 ASR、DeepSeq 大模型推理和 TTS 門線，實現語音輸入、LLM 思考、語音輸出的完整閉環。
    *   **性能**：端到端響應在 4 米內。

*   **耐能 Kaneuron KL1140**
    *   **定位**：首款能在邊緣運行完整 Transformer 網絡的 NPU 芯片。
    *   **設計**：專為實時自然語言處理、語音界面等應用設計。
    *   **能力**：通過多芯片協同工作，甚至可以運行高達 1200 億參數的模型。

*   **海思 HIGH3403**
    *   **平台**：HIGH3403V100 平台提供本地對話智能體方案。
    *   **部署**：端側部署 Mini CPM 4V0 5B 模型。
    *   **鏈路**：實現 ASR、VOM 和 TTS 的完整鏈路。
    *   **特點**：無需聯網即可實現多模態業務識別。

*   **芯芯威 2K1820 / 2K1828M**
    *   **形態**：2.算力卡（M.2 接口的 AI 算力卡）。
    *   **規格**：搭載 20TOPS 的 NPU。
    *   **能力**：可獨立離線運行 3B、7B 級的大語言模型，支持金融 QN、LMA 等主流開源模型。
    *   **價值**：為現有設備擴展端側大模型能力提供靈活解決方案。

### 3. 中等算力與低功耗方案
特點為模型規模受限，但能實現比簡單 KWS 複雜得多的語音識別和理解功能。

*   **瑞玉 AmiroC**
    *   **方案**：瑞玉的 AI Voice 是一套純離線的 AI 解決方案。
    *   **模塊**：包含聲學信號處理、喚醒、端點檢測和識別等模塊。
    *   **平台**：可在 Amibus Source 上搭建複雜的語音語物。
    *   **模式**：既可作为純離線方案，也能實現離在線混合交互。

*   **支存科技 WTM21**
    *   **特點**：超低功耗。
    *   **功耗表現**：在節級功耗上提供了兩朝 KMOS 的試驗（疑點）。
    *   **應用**：適合對續航有嚴苛而成為（疑點）的場景。

### 4. 其他資訊
*   **聯繫方式**：加微信 HAZX17 可申請加入數字音頻答義群課題組。

## 工具 / 模型 / 名詞整理

*   **芯片/SOC 產品**：
    *   愛芯原制 AX630C
    *   銳行 2K3576
    *   銳行 2K3588
    *   耐能 Kaneuron KL1140
    *   海思 HIGH3403
    *   海思 HIGH3403V100 平台
    *   芯芯威 2K1820
    *   芯芯威 2K1828M
    *   瑞玉 AmiroC
    *   支存科技 WTM21
    *   支存 WTM211
*   **模塊/平台**：
    *   M5Stack Module LLM 模塊
    *   2.算力卡
    *   Amibus Source
*   **模型/技術名稱**：
    *   大語言模型 (LLM)
    *   自動語音識別 (ASR)
    *   關鍵詞喚醒 (KWS)
    *   文本轉語音 (TTS)
    *   Transformer 模型
    *   QNR 0.5B 大語言模型
    *   DeepSeq 大模型推理
    *   Mini CPM 4V0 5B 模型
    *   金融 QN
    *   LMA
    *   數字音頻答義群課題組

## 操作流程整理

*   **高性能方案典型流程**：
    1.  芯片集成強大 NPU（如 3.2T-6T OPS）。
    2.  端側部署大語言模型（0.5B-7B 參數）。
    3.  實現 ASR（語音輸入）-> LLM（思考/處理）-> TTS（語音輸出）的完整閉環。
    4.  在本地完成離線語音交互，無需聯網。

*   **低功耗方案典型流程**：
    1.  使用低功耗芯片（如 WTM21 或 AmiroC）。
    2.  執行聲學信號處理、喚醒、端點檢測和識別。
    3.  實現純離線或離在線混合交互，適合對續航有嚴苛要求的場景。

## 值得注意的限制或風險

*   **模型參數規模限制**：中等算力與低功耗方案的模型規模受限，無法運行超大參數模型。
*   **功耗與續航**：低功耗方案需針對特定場景優化，以滿足嚴苛的續航要求。
*   **識別準確性與環境**：部分方案（如銳行 2K3576）提及端到端響應在 4 米內，暗示距離或環境可能影響性能。
*   **技術成熟度**：部分方案（如耐能 KL1140 多芯片協同運行 1200 億參數）可能處於較早期或特定協同階段。

## 逐字稿辨識疑點

*   **segment 58/59 斷句問題**：標點出現在句首或停在逗號位置，斷句可能不符合文法/口語。
*   **HAZX17**：微信號碼或代碼，需查證是否為正確聯繫方式。
*   **答義群**：聽起來像是「答疑群」的聽寫錯誤，但根據規則標為疑點。
*   **3.2TUPS**：單位「UPS」疑似為「TOPS」的錯字或聽寫錯誤，但不得自行更正。
*   **QNR**：模型名稱，需查證是否為正確模型名稱。
*   **流逝 ASR**：「流逝」疑似為「離線」或特定模型名稱的錯字，但不得自行更正。
*   **TTS 門線**：「門線」疑似為「模塊」或「引擎」的錯字，但不得自行更正。
*   **VOM**：在「ASR, VOM 和 TTS 的完整鏈路」中，疑似為「LLM」或「LLM」的錯字，但不得自行更正。
*   **2.算力卡**：描述為「芯芯威... 2.算力卡」，「2.」疑似為「20」或「2.0」的錯字，但不得自行更正。
*   **金融 QN**：模型名稱，需查證是否為正確模型名稱。
*   **瑞玉**：品牌名稱，需查證是否為正確品牌名稱。
*   **AmiroC**：芯片或產品名稱，需查證是否為正確名稱。
*   **Amibus Source**：平台名稱，需查證是否為正確名稱。
*   **語音語物**：疑似為「語音助手」或「語音物聯網」的錯字，但不得自行更正。
*   **三百個詞的連續識別時，不覺流年贖盡我白髮受卻。千又繞枝葉，醉酒化地面，千水此天又圓著人間。我鳥鳥一幅春山空，我老一掉入湖中。鳴塵雙流所濃，醒來一場春夢。我這一生無心蹤，我嘆事千春千沖。誰瘋狂的味道是誰在等候。**：這段文字在介紹支存 WTM21 功耗時出現，內容為詩詞或無意義文本，疑似為語音識別錯誤或插入的無關內容，需查證。
*   **二、全航功耗有信用。**：疑似為「低功耗」或「全場景功耗」的錯字，但不得自行更正。
*   **兩朝 KMOS**：疑似為「幾毫瓦」或特定功耗單位的錯字，但不得自行更正。
*   **嚴苛而成為**：疑似為「嚴苛要求」的錯字，但不得自行更正。
*   **無聲刺劍**：疑似為「無聲」或特定技術名稱的錯字，但不得自行更正。
*   **不覺流年贖盡我白髮就絕**：同上文詩詞部分，疑似為識別錯誤。

## 可延伸追問

*   這些 SOC 方案在實際部署中，對於記憶體（RAM）和儲存空間的需求具體是多少？
*   不同芯片在運行相同參數規模 LLM 時，推理速度（Tokens/sec）有何差異？
*   「離線」定義下，是否完全不需要任何雲端資源進行模型更新或後處理？
*   低功耗方案在複雜噪聲環境下的 ASR 準確率表現如何？
*   多芯片協同運行超大參數模型（如 1200 億）的具體架構和通訊延遲是多少？