你敢信吗?微软最新一篇论文把一个2.47GB的语音识别模型硬塞到了670Mbps,准确率几乎没掉。
故事是这样的,一直以来,做端侧语音识别有四道坎,模型小,速度快,延迟低,还得准。
这四个几乎不可能同时满足,要么云端调API泄露隐私,要么本地跑的卡成PPT。
微软团队拉通测了50多种配置,结果挖到一个反常识的事实,P处理跑分最高的模型,到了流处理场景直接崩。
QWN3ASRP处理只有5.9%的词错率,切到2.4秒分块后,直接标到10.45%,几乎翻倍。
真正的赢家是英伟达的Nemotron,这个模型最大的特点是缓存感知架构,天生为实时识别而生。
它能记住前面5.6秒的历史信息,每次只处理0.56秒的新音频。
从P处理切到10时,准确率几乎没掉。
选完模型只是开始,微软把整个推理管线用ONEX ROM10重写了一遍,把模型拆成编码器、解码器、Joyner三块独立优化。
最关键的一招是Int 4K Quant量化,不是简单的四舍五入,而是按权重重要性加权重建。
最终结果,模型从2.47G压到670米,体积少了73%,
平均词错率8.2%,相比FP32只退化了0.17个百分点。
CPU上跑得比实时快6倍多,算法延迟0.56秒。
这套方案已经在微软Foundry Local平台开源,端测语音识别这事儿真要起飞了。