影片筆記：支持离线大模型语音识别SOC方案

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=58 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=59 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片介紹了支援離線大模型語音識別的 SOC 方案，強調端側 AI 芯片正從簡單關鍵詞喚醒轉向能在本地運行 ASR 及大語言模型（LLM）的高性能方案，並列舉了多款具備強大 NPU 算力的芯片及其應用場景。

核心重點

• 技術趨勢：端側 AI 芯片發展核心方向已從關鍵詞喚醒（KWS），轉向能在本地獨立運行自動語音識別（ASR）甚至大語言模型（LLM），以理解並執行複雜的自然語言指令。
• 關鍵技術：芯片需集成強大的神經網絡處理單元（NPU）。
• 方案分類：

1. 高性能 SOC 方案：具備數 T OPS 的 NPU 算力，能在本地運行參數規模在 0.5B 到 7B 之間的大語言模型，實現真正的專家模型識別。
2. 中等算力與低功耗方案：模型規模受限，但能實現比簡單 KWS 複雜得多的語音識別和理解功能，適合對續航有嚴苛要求的場景。

詳細大綱

1. 核心需求與趨勢

• 需求：離線、接入專家模型、支持長短距識別。
• 趨勢：要求芯片在本地獨立運行 ASR 甚至 LLM，理解並執行複雜自然語言指令。
• 關鍵技術：集成強大的神經網絡處理單元（NPU）。

2. 高性能 SOC 方案（模組級/剛性能 SOC 方案）

此類方案特點為具備數 T OPS 的 NPU 算力，支持本地運行 0.5B 到 7B 參數規模的大語言模型。

• 愛芯原制 AX630C
• 應用：M5Stack Module LLM 模塊所採用芯片。
• 規格：集成 3.2T UPS（疑點）的 NPU，原生支持 Transformer 模型。
• 內存：4GB LPDDR4。
• 功能：預裝 QNR 0.5B 大語言模型，內置 KWS、ASR、LLM 及 TTS 功能。
• 應用場景：離線語音交互，適合開發智能語音助手或智能家居控制中心。

• 銳行 2K3576 / 2K3588
• 規格：帶有 6T OPS 的 NPU。
• 能力：支持端側部署 0.5B 到 3B 參數級別的主流大語言模型。
• 案例：社區已有基於 RK3576 NPU 實現的全離線智能語音交互系統項目，集成流逝 ASR、DeepSeq 大模型推理和 TTS 門線，實現語音輸入、LLM 思考、語音輸出的完整閉環。
• 性能：端到端響應在 4 米內。

• 耐能 Kaneuron KL1140
• 定位：首款能在邊緣運行完整 Transformer 網絡的 NPU 芯片。
• 設計：專為實時自然語言處理、語音界面等應用設計。
• 能力：通過多芯片協同工作，甚至可以運行高達 1200 億參數的模型。

• 海思 HIGH3403
• 平台：HIGH3403V100 平台提供本地對話智能體方案。
• 部署：端側部署 Mini CPM 4V0 5B 模型。
• 鏈路：實現 ASR、VOM 和 TTS 的完整鏈路。
• 特點：無需聯網即可實現多模態業務識別。

• 芯芯威 2K1820 / 2K1828M
• 形態：2.算力卡（M.2 接口的 AI 算力卡）。
• 規格：搭載 20TOPS 的 NPU。
• 能力：可獨立離線運行 3B、7B 級的大語言模型，支持金融 QN、LMA 等主流開源模型。
• 價值：為現有設備擴展端側大模型能力提供靈活解決方案。

3. 中等算力與低功耗方案

特點為模型規模受限，但能實現比簡單 KWS 複雜得多的語音識別和理解功能。

• 瑞玉 AmiroC
• 方案：瑞玉的 AI Voice 是一套純離線的 AI 解決方案。
• 模塊：包含聲學信號處理、喚醒、端點檢測和識別等模塊。
• 平台：可在 Amibus Source 上搭建複雜的語音語物。
• 模式：既可作为純離線方案，也能實現離在線混合交互。

• 支存科技 WTM21
• 特點：超低功耗。
• 功耗表現：在節級功耗上提供了兩朝 KMOS 的試驗（疑點）。
• 應用：適合對續航有嚴苛而成為（疑點）的場景。

4. 其他資訊

• 聯繫方式：加微信 HAZX17 可申請加入數字音頻答義群課題組。

工具 / 模型 / 名詞整理

• 芯片/SOC 產品：
• 愛芯原制 AX630C
• 銳行 2K3576
• 銳行 2K3588
• 耐能 Kaneuron KL1140
• 海思 HIGH3403
• 海思 HIGH3403V100 平台
• 芯芯威 2K1820
• 芯芯威 2K1828M
• 瑞玉 AmiroC
• 支存科技 WTM21
• 支存 WTM211
• 模塊/平台：
• M5Stack Module LLM 模塊
• 2.算力卡
• Amibus Source
• 模型/技術名稱：
• 大語言模型 (LLM)
• 自動語音識別 (ASR)
• 關鍵詞喚醒 (KWS)
• 文本轉語音 (TTS)
• Transformer 模型
• QNR 0.5B 大語言模型
• DeepSeq 大模型推理
• Mini CPM 4V0 5B 模型
• 金融 QN
• LMA
• 數字音頻答義群課題組

操作流程整理

• 高性能方案典型流程：

1. 芯片集成強大 NPU（如 3.2T-6T OPS）。
2. 端側部署大語言模型（0.5B-7B 參數）。
3. 實現 ASR（語音輸入）-> LLM（思考/處理）-> TTS（語音輸出）的完整閉環。
4. 在本地完成離線語音交互，無需聯網。

• 低功耗方案典型流程：

1. 使用低功耗芯片（如 WTM21 或 AmiroC）。
2. 執行聲學信號處理、喚醒、端點檢測和識別。
3. 實現純離線或離在線混合交互，適合對續航有嚴苛要求的場景。

值得注意的限制或風險

• 模型參數規模限制：中等算力與低功耗方案的模型規模受限，無法運行超大參數模型。
• 功耗與續航：低功耗方案需針對特定場景優化，以滿足嚴苛的續航要求。
• 識別準確性與環境：部分方案（如銳行 2K3576）提及端到端響應在 4 米內，暗示距離或環境可能影響性能。
• 技術成熟度：部分方案（如耐能 KL1140 多芯片協同運行 1200 億參數）可能處於較早期或特定協同階段。

逐字稿辨識疑點

• segment 58/59 斷句問題：標點出現在句首或停在逗號位置，斷句可能不符合文法/口語。
• HAZX17：微信號碼或代碼，需查證是否為正確聯繫方式。
• 答義群：聽起來像是「答疑群」的聽寫錯誤，但根據規則標為疑點。
• 3.2TUPS：單位「UPS」疑似為「TOPS」的錯字或聽寫錯誤，但不得自行更正。
• QNR：模型名稱，需查證是否為正確模型名稱。
• 流逝 ASR：「流逝」疑似為「離線」或特定模型名稱的錯字，但不得自行更正。
• TTS 門線：「門線」疑似為「模塊」或「引擎」的錯字，但不得自行更正。
• VOM：在「ASR, VOM 和 TTS 的完整鏈路」中，疑似為「LLM」或「LLM」的錯字，但不得自行更正。
• 2.算力卡：描述為「芯芯威... 2.算力卡」，「2.」疑似為「20」或「2.0」的錯字，但不得自行更正。
• 金融 QN：模型名稱，需查證是否為正確模型名稱。
• 瑞玉：品牌名稱，需查證是否為正確品牌名稱。
• AmiroC：芯片或產品名稱，需查證是否為正確名稱。
• Amibus Source：平台名稱，需查證是否為正確名稱。
• 語音語物：疑似為「語音助手」或「語音物聯網」的錯字，但不得自行更正。
• 三百個詞的連續識別時，不覺流年贖盡我白髮受卻。千又繞枝葉，醉酒化地面，千水此天又圓著人間。我鳥鳥一幅春山空，我老一掉入湖中。鳴塵雙流所濃，醒來一場春夢。我這一生無心蹤，我嘆事千春千沖。誰瘋狂的味道是誰在等候。：這段文字在介紹支存 WTM21 功耗時出現，內容為詩詞或無意義文本，疑似為語音識別錯誤或插入的無關內容，需查證。
• 二、全航功耗有信用。：疑似為「低功耗」或「全場景功耗」的錯字，但不得自行更正。
• 兩朝 KMOS：疑似為「幾毫瓦」或特定功耗單位的錯字，但不得自行更正。
• 嚴苛而成為：疑似為「嚴苛要求」的錯字，但不得自行更正。
• 無聲刺劍：疑似為「無聲」或特定技術名稱的錯字，但不得自行更正。
• 不覺流年贖盡我白髮就絕：同上文詩詞部分，疑似為識別錯誤。

可延伸追問

• 這些 SOC 方案在實際部署中，對於記憶體（RAM）和儲存空間的需求具體是多少？
• 不同芯片在運行相同參數規模 LLM 時，推理速度（Tokens/sec）有何差異？
• 「離線」定義下，是否完全不需要任何雲端資源進行模型更新或後處理？
• 低功耗方案在複雜噪聲環境下的 ASR 準確率表現如何？
• 多芯片協同運行超大參數模型（如 1200 億）的具體架構和通訊延遲是多少？