工作清單

支持离线大模型语音识别SOC方案

逐字稿文字預覽

支持离线大模型语音识别SOC方案。
加我微信HAZX17可申请加入数字音频答义群课题组。
提到的需求,即离线,接入专家模型,支持长短距识别,正是当前端侧AI芯片发展的核心方向。
这已经不再是简单的关键词唤醒,而是要求芯片能在本地独立运行自动语音识别甚至大语言模型,从而理解并执行复杂的自然语言指令。
实现这一目标的关键,在于芯片是否集成了强大的神经网络处理单元。
以下是一些能够满足你需求的SOC芯片,模块级方案,刚性能SOC方案。
这类芯片通常具备数T OPS的NPU算力,足以在本地运行参数规模,在0.5B到7B之间的大语言模型可现真正的专家模型识别。
爱心原制AX630C,这是M5Stack Module LLM模块所采用的芯片,集成了3.2TUPS的NPU,并原生支持Transformer模型。
它配备4GB LPDDR4内存,出厂及预装了QNR,0.5B大语言模型,内置了KWS,ASR,LLM及TTS功能。
可以直接进行离线语音交互,非常适合开发智能语音助手或智能家居控制中心。
锐行为2K3576,2K3588,这两款芯片带有6T OPS的NPU,能够支持端侧部署0.5B到3B参数级别的主流大语言模型。
社区已有基于RK3576NPU实现的全离线智能语音交互系统项目,集成了流逝ASR,DeepSeq大模型推理和TTS门线,实现了语音输入,LLM思考语音输出的完整闭环。
端到端响应在4米内,耐能Kaneuron KL1140。
这款芯片宣称是首款能在边缘运行完整Transformer网络的NPU芯片,它专为实时自然语言处理。
语音界面等应用设计,很新,通过多芯片协同工作,甚至可以运行高达1200亿参数的模型。
海思HIGH3403
海思的HIGH3403V100平台提供了一个本地对话智能体方案,在端侧部署了Mini CPM 4V0。
5B模型实现了ASR,VOM和TTS的完整链路,无需联网即可实现多模态业务识别。
芯芯威2K1820,2K1828M,2.算力卡。
这是一款采用M.2接口的AI算力卡。
搭载了20TOPS的NPU,可独立离线运行3B、7B级的大语言模型。
金融QN、LMA等主流开源模型。
为现有设备扩展端侧大模型能力提供了灵活的解决方案,中等算力与低功耗方案。
这类方案可能在模型规模上有所限制,但依然能够实现比简单KWS复杂得多的语音识别和理解功能。
瑞玉AmiroC
瑞玉的AI Voice是一套纯离线的AI解决方案,包含声学信号处理、唤醒、端点检测和识别等模块。
可以在Amibus Source上搭建复杂的语音语物。
既可作为纯离线方案,也能实现离在线混合交互。
支存科技WTM21,这款芯片的特点是超低功耗。
在实现三百个词的连续识别时,不觉流年赎尽我白发受却。
千又绕枝叶,醉酒化地面,千水此天又圆着人间。
我鸟鸟一幅春山空,我老一掉入湖中。
鸣尘双流所浓,醒来一场春梦。
我这一生无心踪,我叹事千春千冲。
谁疯狂的味道是谁在等候。
二、全航功耗有信用。
支存WTM211的芯片,在节级功耗上提供了两朝KMOS的试验。
适合对续航有严苛而成为。
三、我们考虑集成方式,一无声刺剑。
不觉流年赎尽我白发就绝。
千又绕枝叶,醉酒化地面,千又绕枝叶。

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://b23.tv/pEdsMvX --language zh --adopt-source-subtitles

    來源：https://b23.tv/pEdsMvX

    辨識語言：zh ｜ 參數：--language zh --adopt-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 採用來源字幕（略過語音辨識）
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：42.6 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：36.9 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：1.0 秒

    關係：依序執行

    結果：完成

  6. 4. 句子密度平衡

    工具：videonote_balance_sentence_units.py

    處理：平衡句子長度與密度

    產出：sentence_units.json（句子單元）

    耗時：0.0 秒

    關係：依序執行

    結果：完成

  7. 5. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  8. 6. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  9. 7. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  10. 8. 逐字稿交叉檢查

    工具：videonote_cross_check_transcript.py

    處理：交叉檢查逐字稿與來源字幕

    產出：transcript_crosscheck_report.json（交叉檢查）

    耗時：0.1 秒

    關係：依序執行

    結果：完成

  11. 9. 來源句整理

    工具：videonote_prepare_source_entries.py

    處理：整理來源句子供時間軸與頁面使用

    產出：sentence_units.json（句子單元）

    耗時：0.2 秒

    關係：依序執行

    結果：完成

  12. 10. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：106.7 秒

    關係：依序執行

    結果：完成

  13. 11. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：0.7 秒

    關係：依序執行

    結果：完成

  14. 12. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.8 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench