这是Handy,它是一款开源的语音识别和语音听写应用。完全离线运行,没有云端,没有订阅,也不用账号。你还可以自己选择喜欢的听写模型。老师说,我觉得它现在已经成了我最喜欢的语音转文字工具。所以这七视频里,我们会看看Handy。了解它是怎么工作的,再做几项测试,看看它表现如何。
以及和商业版Whisper Flow这类重量级产品比起来怎么样。会很有意思,那我们开始吧。到目前为止,我一直对语音听写应用有点怀疑,而且一直找不到一款我真心想用的。我不想用任何商业产品来付费做语音转写。而且我也担心,用一个本地语音转写模型的开源工具会把CPU占满。
不过,Handy其实把这两个顾虑都打消了。先说说Handy到底是怎么构建的,又是怎么工作的。
Handy由开发者CJ Pace和Terry一起开发。后端用的是Rust。上层的设置界面则用React和TypeScript。
Transcribe CPP负负责运行Whisper系列模型。格式是GGM和GGY。Transcribe RS运行的是ParaKit。
CPAL负责跨平台音频输入。RDV负责全局键盘快捷键。
它还用到一个叫Roboto的Core。提供实时音频流和重采样。
这个组合让它用起来特别简单,也特别清亮。连在我的MacBook上都很轻松。
从用户角度看,整个流程也很简单。
你先设一个自定义快捷键,然后可以切缓开关。
或者长按来实现Push to Talk。
按住的时候,Colero VAD会在后台悄悄过滤掉静音。
这样就不会白白消耗算力去转写整段空白。
松开后,Handy会把音频发给你选定的模型。
再把转写结果直接粘贴到当时当前聚焦的输入框里。
Handy并不是这方面独有的。
市面上还有不少语音转写应用也差不多是这种工作方式。
不过我最喜欢的是你可以自己选喜欢的模型。
模型列表里的每个模型都有速度和准确率的指标。
这有点像在Mario Kart里选自己最喜欢的角色。
你可以决定哪项指标对你来说最重要。
对我来说,我发现用ParaKit Unify 0,6BP模型就很好用。
因为ParaKit是一个CPU1模型,而且按他们自己的数据。
它在终端爱武芯片上的运行速度大约是5倍10时。
我的MR Max远远超过这个Page。
所以我把它放在后台跑的时候甚至都感觉不到。
而且可选项真的很多。
它们甚至还有专门针对某一种的模型。
比如我们有一些俄语版本,还有一些乌克兰语版本。
我很喜欢嗨这句使命宣言里的坦诚。
Handy不是想成为最好的语音转文字应用,
而是想成为最容易二次开发的那个。
而且你甚至可以把自己微调过的Whisper G Gmail模型放进App的Models文件夹里。
重启之后,它就会直接作为一个自定义选项出现。
我觉得,如果任何时候要我在Handy和Whisper Flow之间选,
我会选Handy,最大的原因就是它可以离线运行。
你不需要注册账号,也没有订阅费。
而且我很确定,所有我的语音输入音频样本都会留在我的机器上,
不会被偷偷拿去训练别的语音模型。
所以我真的很高兴。
现在有了这样一个MIT许可的语音输入工具。
听起来都很棒,不过,
我们就来实际测试一下Pandy,看看它表现如何。
我会把Handy的表现和Whisper Flow以及Google自家的转写服务做个对比。
后者也可以在Google Docs里用。
哦,昨天我去买了点菜,回家路上突然想起来。
我得回头把我的SQLite数据库接到一个运行在我自定义GPU集群上的Cobot服务上。
我能想到的一个办法是用一个叫Grog的LLM。
另外还从CheckGPT得到了一些帮助。
最后,我们做出了一个能运行的应用,但过程真的很折腾。
我们把这两部分分开来说。
你看,这里的Google语音输入服务要差很多,它不会加标点。
也不知道怎么分句,它把Cobot识别错了。
SQLite数据库也识别错了。
甚至连LLM这个词都没认出来。
它以为Grog是Rock。
这个我最喜欢,它还把ChatGPT认成了ChatGPT。
ChatGPT不错。
嗯,所以你能明显看出来Handy好多了。
因为它有标点,还能识别一些特定术语。
而且大多数技术术语都认对了。
现在我们也来把这个结果和Whisper Flow比一下。
我要尽量把同样的文本重复的尽可能接近。
公平地测试一下。
嗯,昨天我去买了些杂货。
回来的路上。
我突然想起我得回家。
把我的SQLite数据库接到一个运行在我自定义GPU集群上的Cobot服务上。
我其实不知道该怎么做,所以只好找人帮忙。
我能想到的唯一能帮上忙的工具。
是一个叫Grook的LLM。
后来,我也从ChatGPT那里得到了一点帮助。
最后,我们是把应用跑起来了,但过程真的很折腾。
好吧,你可以清楚地看到Whisper Flow做得最好。
它把句子分得很准确,而且所有术语都没出错。
毕竟这是商业产品,你会以为它会比开源工具更好。
但说实话,这个结果和Whisper Flow之间并没有那么大差别。
所以,我还是更喜欢用Handy,因为它免费、私密。
而且是开源的。
不过,Whisper Flow在这里确实做得很不错。
所以总的来说,它还是一个很靠谱的服务。
好了,各位,概括来说就是这样。
这个功能确实很实用。
我刚才真不是开玩笑。
说它已经成了我最喜欢的语音听写工具。
我甚至有点担心,要是我用得太频繁。
自己可能都会忘了怎么用键盘打字。
不过,这只是我的个人看法和观察。
那你觉得Handy怎么样?
你是过了吗?
你会用吗?
欢迎在下方评论区告诉我们。
各位,如果你喜欢这类技术解析,
也请在视频下方点个赞。
让我知道,别忘了订阅我们的频道。
我是BetterStack的Andreas,
我们下期视频再见。
音乐