WEBVTT
Kind: captions
Language: zh-Hans

00:00:00.200 --> 00:00:02.300
最近最火的国产开源模型

00:00:02.300 --> 00:00:03.900
竟然不是DeepSeek V4

00:00:03.900 --> 00:00:07.566
而是阿里云千问3.8-27B这个小模型

00:00:07.733 --> 00:00:09.500
我在自己的Mac Studio上呢

00:00:09.500 --> 00:00:10.666
实测了一周啊

00:00:10.766 --> 00:00:11.733
结论先说啊

00:00:11.733 --> 00:00:12.766
智力是顶级

00:00:12.766 --> 00:00:14.000
速度是瓶颈啊

00:00:14.000 --> 00:00:16.800
但有个办法能够提速50%

00:00:17.000 --> 00:00:19.100
现在开源模型的军备竞赛呢

00:00:19.100 --> 00:00:21.066
已经卷到万亿的参数了

00:00:21.066 --> 00:00:22.333
那么DeepSeek V4呢

00:00:22.333 --> 00:00:23.666
是1.6万亿的

00:00:23.666 --> 00:00:26.133
但是阿里云的Qwen3.8-27B

00:00:26.266 --> 00:00:27.800
竟然只是一个只有

00:00:27.800 --> 00:00:29.800
200多亿参数的模型啊

00:00:29.966 --> 00:00:32.500
那么跟主流的万亿参数相比呢

00:00:32.533 --> 00:00:34.966
它的体量上差了几十倍

00:00:35.133 --> 00:00:37.700
却能够排到大模型智能的前列

00:00:38.400 --> 00:00:40.600
现在最主流的模型评测网站呢

00:00:40.600 --> 00:00:42.266
是Artificial Analysis

00:00:42.666 --> 00:00:45.100
他把600多个主流的模型都放到

00:00:45.100 --> 00:00:48.266
一套intelligence index里面来做测试

00:00:48.466 --> 00:00:49.533
你会看到啊

00:00:49.733 --> 00:00:51.133
这个图表当中

00:00:51.266 --> 00:00:53.200
Qwen3.8-27B呢

00:00:53.200 --> 00:00:55.100
它的智能指数呢是52

00:00:55.100 --> 00:00:57.666
跟GPT5.6Luna是相同的

00:00:57.666 --> 00:01:00.100
而且距离DeepSeek V4 Pro

00:01:00.166 --> 00:01:02.033
这个1.6万亿的模型呢

00:01:02.100 --> 00:01:03.933
分数是非常接近的

00:01:04.266 --> 00:01:06.200
那么这么小的模型竟然

00:01:06.200 --> 00:01:08.466
能够跟万亿模型媲美的话

00:01:08.466 --> 00:01:10.333
那岂不是我们就可以把它

00:01:10.333 --> 00:01:11.866
装在我们的个人电脑上

00:01:11.866 --> 00:01:13.700
然后在个人电脑上跑

00:01:13.700 --> 00:01:15.766
一个最前沿的AI模型了吗

00:01:16.300 --> 00:01:17.266
甚至有很多人啊

00:01:17.266 --> 00:01:18.500
已经把它跑起来了

00:01:18.500 --> 00:01:21.900
在英伟达5090这样的消费级显卡上

00:01:21.900 --> 00:01:24.200
跑出了每秒70多个token啊

00:01:24.400 --> 00:01:27.066
那么每秒70个token是什么概念呢

00:01:27.100 --> 00:01:29.366
它其实已经接近了我们主流

00:01:29.366 --> 00:01:32.366
使用云端AI模型的推理速度了

00:01:32.700 --> 00:01:33.900
抱着很强的好奇心啊

00:01:33.900 --> 00:01:36.933
我也在自己个人的Mac Studio的

00:01:36.933 --> 00:01:38.400
工作站上来部署使用

00:01:38.400 --> 00:01:39.666
实际体验了一下

00:01:39.866 --> 00:01:42.266
首先呢我选择的是苹果平台上的

00:01:42.266 --> 00:01:45.466
一个开源推理框架叫oMLX

00:01:45.733 --> 00:01:47.000
那这个推理框架啊

00:01:47.000 --> 00:01:50.300
它能够充分利用苹果的MLX指令集

00:01:50.600 --> 00:01:52.366
尽量达到最优的效果

00:01:52.800 --> 00:01:54.533
oMLX安装好以后啊

00:01:54.666 --> 00:01:57.566
就可以直接从海外的Hugging Face 

00:01:57.766 --> 00:02:00.233
或者国内阿里云的魔搭社区中

00:02:00.300 --> 00:02:03.466
下载Qwen3.8-27B的这个量化版本

00:02:03.733 --> 00:02:06.133
支持4比特和支持8比特的

00:02:06.166 --> 00:02:07.400
如果你想要速度啊

00:02:07.400 --> 00:02:08.733
就选4比特的版本

00:02:08.933 --> 00:02:11.066
模型呢只有15GB大小

00:02:11.100 --> 00:02:13.666
而8比特呢是27.5G

00:02:13.666 --> 00:02:14.866
其实都不大

00:02:15.200 --> 00:02:16.866
那么把模型安装好以后啊

00:02:16.866 --> 00:02:18.166
就可以把它跑起来了

00:02:18.166 --> 00:02:18.866
这个时候啊

00:02:18.866 --> 00:02:20.333
我就可以跟它对话了

00:02:20.500 --> 00:02:22.266
整体上还是很流畅的呀

00:02:22.400 --> 00:02:24.366
当然刚开始对话的时候呢

00:02:24.366 --> 00:02:26.666
预填充的阶段还是有点慢

00:02:26.666 --> 00:02:28.500
但是预填充好了之后啊

00:02:28.533 --> 00:02:30.500
回答就非常的流畅了

00:02:30.900 --> 00:02:33.733
那我可以用oMLX跑一下评测

00:02:33.766 --> 00:02:36.066
你就可以看到它的预填充啊

00:02:36.066 --> 00:02:37.100
生成代码呀

00:02:37.100 --> 00:02:39.066
以及生成token的解码速度

00:02:39.200 --> 00:02:41.933
那我分别测试了4K16K

00:02:41.933 --> 00:02:44.266
还有32K的提示词的长度

00:02:44.400 --> 00:02:45.933
那么预填充的速度啊

00:02:45.933 --> 00:02:47.533
每秒有200多个token

00:02:47.533 --> 00:02:48.533
其实并不快

00:02:48.533 --> 00:02:51.133
那么解码速度每秒是不到30个

00:02:51.366 --> 00:02:52.766
说实话啊

00:02:52.766 --> 00:02:54.733
看到这个数字我心里咯噔一下

00:02:54.900 --> 00:02:56.466
传说破灭了吗

00:02:56.733 --> 00:02:57.766
那这个速度确实

00:02:57.766 --> 00:02:59.500
没办法直接用来跑Agent

00:02:59.766 --> 00:03:01.800
只适合用来做知识库问答呀

00:03:01.800 --> 00:03:02.666
客服系统啊

00:03:02.666 --> 00:03:03.800
这种类型的应用

00:03:04.400 --> 00:03:06.966
当然了它占的内存确实不多啊

00:03:06.966 --> 00:03:08.900
峰值内存都不到20GB

00:03:09.500 --> 00:03:12.466
所以真正的瓶颈是我这台苹果的

00:03:12.466 --> 00:03:15.600
Mac Studio M4工作站的内存带宽不够

00:03:15.700 --> 00:03:18.200
所以导致了token生成的速度受限

00:03:18.533 --> 00:03:20.666
那么有没有办法解决这个问题

00:03:20.666 --> 00:03:22.966
来加快token的生成速度呢

00:03:23.133 --> 00:03:25.066
答案是可以用DFlash2

00:03:25.333 --> 00:03:26.333
原理很简单

00:03:26.666 --> 00:03:28.733
给他配一个很小的草稿模型

00:03:28.733 --> 00:03:31.533
让他每次呢先快速的生成做预测

00:03:31.766 --> 00:03:34.000
然后主模型呢只负责来做验证

00:03:34.000 --> 00:03:35.500
那token的生成速度就

00:03:35.500 --> 00:03:37.100
可以大幅度提高了

00:03:37.333 --> 00:03:39.566
啊我在OMX里面呢直接

00:03:39.566 --> 00:03:42.033
下载了这个草稿模型很小

00:03:42.033 --> 00:03:43.500
只有3.5GB

00:03:43.733 --> 00:03:46.100
那么设置打开DFlash2

00:03:46.333 --> 00:03:47.533
把上面的测试呢

00:03:47.533 --> 00:03:48.666
我又跑了一遍

00:03:48.866 --> 00:03:50.000
那生成速度啊

00:03:50.000 --> 00:03:52.100
至少提高了50%以上啊

00:03:52.100 --> 00:03:55.533
那每秒生成token就达到40-50个token了

00:03:55.733 --> 00:03:58.766
好那么这样40-50个token在实际环境

00:03:58.766 --> 00:04:01.666
当中可以真正的使用了吗

00:04:01.800 --> 00:04:05.566
我现在用非常干净的PI-Agent来尝试

00:04:05.566 --> 00:04:09.166
运行Qwen 27B的4-bit的量化版本

00:04:09.300 --> 00:04:11.466
让它来执行一个知识库查询

00:04:11.700 --> 00:04:14.800
因为我的知识库有2,000多篇文档啊

00:04:14.866 --> 00:04:17.033
那这个查询的Skill相对来说

00:04:17.033 --> 00:04:18.766
它已经有一定的复杂度了

00:04:18.866 --> 00:04:20.766
跑下来可以看到

00:04:21.066 --> 00:04:24.366
它能够很稳定的把任务给执行完毕

00:04:24.533 --> 00:04:26.266
结果呢也令我很满意

00:04:26.500 --> 00:04:27.966
速度呢确实很慢

00:04:27.966 --> 00:04:29.600
需要很长的等待时间

00:04:29.700 --> 00:04:31.100
但已经能干活了

00:04:31.333 --> 00:04:33.000
那么实际执行任务的时候呢

00:04:33.000 --> 00:04:34.900
平均每秒有30多个token

00:04:35.133 --> 00:04:36.400
35个左右吧

00:04:36.500 --> 00:04:37.400
虽然慢啊

00:04:37.400 --> 00:04:40.300
但是它其实已经完全是一个

00:04:40.300 --> 00:04:42.966
可以在本地跑Agent的模型了

00:04:42.966 --> 00:04:45.166
我又做了一些更多的测试

00:04:45.166 --> 00:04:47.066
慢终归是慢

00:04:47.066 --> 00:04:48.533
但胜在稳定啊

00:04:48.566 --> 00:04:50.433
任务给出的幻觉也很小

00:04:50.600 --> 00:04:51.100
其实呢

00:04:51.100 --> 00:04:53.933
我在我自己这台Mac的工作站上呢

00:04:53.966 --> 00:04:58.866
常用的是一个Qwen 3.6 35B-A3B的模型

00:04:59.066 --> 00:05:00.766
它是350亿的参数

00:05:00.900 --> 00:05:03.100
但它是一个MoE的专家模型

00:05:03.100 --> 00:05:04.533
所以每次推理呢

00:05:04.566 --> 00:05:06.466
它只激活30亿的参数

00:05:06.566 --> 00:05:07.800
那这个模型的token

00:05:07.800 --> 00:05:09.266
生成速度就非常快

00:05:09.500 --> 00:05:12.900
我同样用oMLX来给你跑一下测试

00:05:13.200 --> 00:05:14.100
你可以看到啊

00:05:14.100 --> 00:05:15.866
它预填充速度每秒

00:05:15.866 --> 00:05:18.933
达到了1,400-1,900多个token

00:05:19.400 --> 00:05:21.000
加载速度非常的快

00:05:21.266 --> 00:05:23.100
然后呢它的生成的速度啊

00:05:23.100 --> 00:05:25.800
每秒有80多个到100多个token

00:05:25.966 --> 00:05:27.866
这个速度已经达到了我们平常

00:05:27.866 --> 00:05:30.033
使用云端主流模型的速度了

00:05:30.033 --> 00:05:31.633
但是用Pi-Agent呢

00:05:31.633 --> 00:05:32.966
跑复杂任务的时候啊

00:05:32.966 --> 00:05:34.800
你会发现它速度虽然很快

00:05:34.800 --> 00:05:36.900
但是幻觉也非常的明显

00:05:37.100 --> 00:05:38.466
它的任务的质量啊

00:05:38.466 --> 00:05:42.033
明显不如Qwen3.8-27B的模型稳啊

00:05:42.033 --> 00:05:43.233
最后我总结一下吧

00:05:43.233 --> 00:05:45.433
在我自己的Mac Studio工作站上

00:05:45.433 --> 00:05:49.500
我本地主力跑的是Qwen-3.6 35B

00:05:49.500 --> 00:05:51.666
但它的幻觉确实比较明显

00:05:51.666 --> 00:05:54.800
那么把它换到Qwen3.8-27B之后呢

00:05:54.800 --> 00:05:56.700
几乎感觉不到什么幻觉了

00:05:56.800 --> 00:05:59.966
那么在本地的私有化的部署场景下

00:06:00.033 --> 00:06:02.966
已经完全达到了可用的状态

00:06:03.500 --> 00:06:04.900
另外还要补充一点啊

00:06:04.966 --> 00:06:08.066
我的Mac Studio的内存带宽确实不太够

00:06:08.366 --> 00:06:09.366
像我有朋友呢

00:06:09.366 --> 00:06:11.666
在英伟达5090的显卡上

00:06:11.666 --> 00:06:12.666
用这个模型呢

00:06:12.666 --> 00:06:15.833
实实在在跑出了每秒70多个token

00:06:15.966 --> 00:06:17.833
那达到这个速度就可以完全

00:06:17.833 --> 00:06:19.866
在本地执行Agent的任务了

00:06:19.966 --> 00:06:21.066
那我觉得呢

00:06:21.066 --> 00:06:22.800
Qwen3.8-27B呢

00:06:22.800 --> 00:06:24.833
的确是第一款真正

00:06:24.833 --> 00:06:26.900
能够在本地私有化部署

00:06:26.900 --> 00:06:28.600
又达到了主流模型

00:06:28.600 --> 00:06:30.100
能力的一个模型了

00:06:30.233 --> 00:06:31.466
当然它的智力还没有

00:06:31.466 --> 00:06:33.466
达到Opus4.8这个级别啊

00:06:33.500 --> 00:06:36.300
但评测分数已经站到第一梯队了

00:06:36.300 --> 00:06:37.966
所以你想本地跑AI

00:06:37.966 --> 00:06:39.700
现在可以尝试一下

00:06:39.833 --> 00:06:43.500
在苹果上用oMLX加上Qwen3.8-27B

00:06:43.766 --> 00:06:45.600
好然后再加上DFlash2

00:06:45.866 --> 00:06:48.433
照着我的视频顺序装就可以了

00:06:48.500 --> 00:06:49.800
一言以蔽之啊

00:06:49.800 --> 00:06:52.833
本地跑AI的临界点真的已经到了

00:06:52.900 --> 00:06:54.200
关注范凯说AI

00:06:54.200 --> 00:06:55.300
我们下期再见

00:03:46.100 --> 00:03:55.533
未配置DFlash2

00:03:46.100 --> 00:03:55.533
配置DFlash2