最近最火的国产开源模型
竟然不是DeepSeek V4
而是阿里云千问3.8-27B这个小模型
我在自己的Mac Studio上呢
实测了一周啊
结论先说啊
智力是顶级
速度是瓶颈啊
但有个办法能够提速50%
现在开源模型的军备竞赛呢
已经卷到万亿的参数了
那么DeepSeek V4呢
是1.6万亿的
但是阿里云的Qwen3.8-27B
竟然只是一个只有
200多亿参数的模型啊
那么跟主流的万亿参数相比呢
它的体量上差了几十倍
却能够排到大模型智能的前列
现在最主流的模型评测网站呢
是Artificial Analysis
他把600多个主流的模型都放到
一套intelligence index里面来做测试
你会看到啊
这个图表当中
Qwen3.8-27B呢
它的智能指数呢是52
跟GPT5.6Luna是相同的
而且距离DeepSeek V4 Pro
这个1.6万亿的模型呢
分数是非常接近的
那么这么小的模型竟然
能够跟万亿模型媲美的话
那岂不是我们就可以把它
装在我们的个人电脑上
然后在个人电脑上跑
一个最前沿的AI模型了吗
甚至有很多人啊
已经把它跑起来了
在英伟达5090这样的消费级显卡上
跑出了每秒70多个token啊
那么每秒70个token是什么概念呢
它其实已经接近了我们主流
使用云端AI模型的推理速度了
抱着很强的好奇心啊
我也在自己个人的Mac Studio的
工作站上来部署使用
实际体验了一下
首先呢我选择的是苹果平台上的
一个开源推理框架叫oMLX
那这个推理框架啊
它能够充分利用苹果的MLX指令集
尽量达到最优的效果
oMLX安装好以后啊
就可以直接从海外的Hugging Face
或者国内阿里云的魔搭社区中
下载Qwen3.8-27B的这个量化版本
支持4比特和支持8比特的
如果你想要速度啊
就选4比特的版本
模型呢只有15GB大小
而8比特呢是27.5G
其实都不大
那么把模型安装好以后啊
就可以把它跑起来了
这个时候啊
我就可以跟它对话了
整体上还是很流畅的呀
当然刚开始对话的时候呢
预填充的阶段还是有点慢
但是预填充好了之后啊
回答就非常的流畅了
那我可以用oMLX跑一下评测
你就可以看到它的预填充啊
生成代码呀
以及生成token的解码速度
那我分别测试了4K16K
还有32K的提示词的长度
那么预填充的速度啊
每秒有200多个token
其实并不快
那么解码速度每秒是不到30个
说实话啊
看到这个数字我心里咯噔一下
传说破灭了吗
那这个速度确实
没办法直接用来跑Agent
只适合用来做知识库问答呀
客服系统啊
这种类型的应用
当然了它占的内存确实不多啊
峰值内存都不到20GB
所以真正的瓶颈是我这台苹果的
Mac Studio M4工作站的内存带宽不够
所以导致了token生成的速度受限
那么有没有办法解决这个问题
来加快token的生成速度呢
答案是可以用DFlash2
原理很简单
给他配一个很小的草稿模型
让他每次呢先快速的生成做预测
然后主模型呢只负责来做验证
那token的生成速度就
可以大幅度提高了
啊我在OMX里面呢直接
下载了这个草稿模型很小
只有3.5GB
那么设置打开DFlash2
未配置DFlash2
好那么这样40-50个token在实际环境
当中可以真正的使用了吗
我现在用非常干净的PI-Agent来尝试
运行Qwen 27B的4-bit的量化版本
让它来执行一个知识库查询
因为我的知识库有2,000多篇文档啊
那这个查询的Skill相对来说
它已经有一定的复杂度了
跑下来可以看到
它能够很稳定的把任务给执行完毕
结果呢也令我很满意
速度呢确实很慢
需要很长的等待时间
但已经能干活了
那么实际执行任务的时候呢
平均每秒有30多个token
35个左右吧
虽然慢啊
但是它其实已经完全是一个
可以在本地跑Agent的模型了
我又做了一些更多的测试
慢终归是慢
但胜在稳定啊
任务给出的幻觉也很小
其实呢
我在我自己这台Mac的工作站上呢
常用的是一个Qwen 3.6 35B-A3B的模型
它是350亿的参数
但它是一个MoE的专家模型
所以每次推理呢
它只激活30亿的参数
那这个模型的token
生成速度就非常快
我同样用oMLX来给你跑一下测试
你可以看到啊
它预填充速度每秒
达到了1,400-1,900多个token
加载速度非常的快
然后呢它的生成的速度啊
每秒有80多个到100多个token
这个速度已经达到了我们平常
使用云端主流模型的速度了
但是用Pi-Agent呢
跑复杂任务的时候啊
你会发现它速度虽然很快
但是幻觉也非常的明显
它的任务的质量啊
明显不如Qwen3.8-27B的模型稳啊
最后我总结一下吧
在我自己的Mac Studio工作站上
我本地主力跑的是Qwen-3.6 35B
但它的幻觉确实比较明显
那么把它换到Qwen3.8-27B之后呢
几乎感觉不到什么幻觉了
那么在本地的私有化的部署场景下
已经完全达到了可用的状态
另外还要补充一点啊
我的Mac Studio的内存带宽确实不太够
像我有朋友呢
在英伟达5090的显卡上
用这个模型呢
实实在在跑出了每秒70多个token
那达到这个速度就可以完全
在本地执行Agent的任务了
那我觉得呢
Qwen3.8-27B呢
的确是第一款真正
能够在本地私有化部署
又达到了主流模型
能力的一个模型了
当然它的智力还没有
达到Opus4.8这个级别啊
但评测分数已经站到第一梯队了
所以你想本地跑AI
现在可以尝试一下
在苹果上用oMLX加上Qwen3.8-27B
好然后再加上DFlash2
照着我的视频顺序装就可以了
一言以蔽之啊
本地跑AI的临界点真的已经到了
关注范凯说AI
我们下期再见