有人把Whisper做到了89ms中位延迟,还顺手把GPU峰值内存砍掉48%。
Whisper离线转写很强,但一做实时字幕,就会遇到假设飘移,重算变重,静音误触发。
Whisper Pipe最聪明的地方不是换模型,而是把实时转写拆成一条可控流水线。
它用双缓冲把已确认文本和未确认音频分开,活动音频窗口最多30秒,历史不会越背越重。
更关键的是词级时间戳,哪段文字提交了,就按最后一个词的结束时间,把旧音频精准裁掉。
提交也不是拍脑袋,简单句走快速通道,模糊句走三次确认,字幕少闪,延迟也压住。
结果很硬,P90延迟142ms,平均延迟下降81.
1%,WER只比离线Whisper高约2%。
资源更夸张,GPU峰值内存降低48%,平均利用率降低80.
9%,150分钟内存零增长。
现在用它,别走失效的源码安装,直接Pipe install WhisperPipe,然后用Pipe Stream启动。
所以Whisper Pipe最值得看的不是单个数字,而是它让实时转写像一个能长期工作的系统。
关注置身工坊,继续拆语音AI和开源项目。