1
00:00:00,000 --> 00:00:28,640
這是你可以在消費級硬件上運行的最好的本地模型。而且就其规模而言,它真的非常出色。在本視頻中,我將向你展示如何將其與DeepSeekHarness這樣強大的編碼代理結合,來構建強大的代理系統。而且它還有一些非常有趣的隱藏能力。例如,它在圖像理解和繪製邊界框方面非常出色。所以在本視頻中,我的目標是向你展示如何設置它。

2
00:00:28,640 --> 00:00:30,280
如果你想使用这个模型

3
00:00:30,280 --> 00:00:32,180
应该使用哪些不同的配置

4
00:00:32,180 --> 00:00:37,620
以及许多人在推理时常犯的错误

5
00:00:37,620 --> 00:00:41,440
首先我们来看几个不同的基准测试

6
00:00:41,440 --> 00:00:44,740
因为这确实能展示这个模型的强大之处

7
00:00:44,740 --> 00:00:47,300
这是人工智能代理指数

8
00:00:47,300 --> 00:00:50,340
目前是51

9
00:00:50,340 --> 00:00:53,340
实际上仅落后于KIMIK3

10
00:00:53,340 --> 00:00:57,620
KIMIK3是一个2.8万亿参数的模型

11
00:00:57,620 --> 00:01:01,840
最重要的是性能在真实世界测试中依然保持

12
00:01:01,840 --> 00:01:04,720
稍后我会在视频中展示几个例子

13
00:01:04,720 --> 00:01:06,840
现在来对比一下

14
00:01:06,840 --> 00:01:12,600
它的智能和性能非常接近最高设置下的Cloud 4.8

15
00:01:12,600 --> 00:01:19,620
而那是几个月前的顶尖模型

16
00:01:19,620 --> 00:01:23,580
有人可能会说这可能是基准测试的结果

17
00:01:23,580 --> 00:01:25,420
但真实世界的性能

18
00:01:25,420 --> 00:01:27,960
实际上非常非常出色

19
00:01:27,960 --> 00:01:29,500
我将向你展示如何用

20
00:01:29,500 --> 00:01:31,300
Deep Seek Harness设置它

21
00:01:31,300 --> 00:01:33,500
我认为这本身就是一个

22
00:01:33,500 --> 00:01:34,540
非常有趣的创新

23
00:01:34,540 --> 00:01:36,040
尤其是来自Deep Seek

24
00:01:36,040 --> 00:01:37,940
这是一个非常强大的框架

25
00:01:37,940 --> 00:01:39,120
我玩得很开心

26
00:01:39,120 --> 00:01:42,120
他们的核心思想是

27
00:01:42,120 --> 00:01:43,560
一切皆可插绑

28
00:01:43,560 --> 00:01:45,160
我为此做了一个视频

29
00:01:45,160 --> 00:01:47,640
我强烈推荐观看那个视频来入门

30
00:01:47,640 --> 00:01:48,120
好的

31
00:01:48,120 --> 00:01:49,060
但在此之前

32
00:01:49,060 --> 00:01:51,200
我会谈谈在哪里可以获取这个模型

33
00:01:51,200 --> 00:01:53,160
它已经在Hugging Face上可用了

34
00:01:53,160 --> 00:01:55,980
如果你有Apple Silicon,我推荐使用MLX版本。

35
00:01:57,400 --> 00:02:00,680
如果你想在Linux或Windows上运行,

36
00:02:00,880 --> 00:02:04,500
VLM和Stealing是两个可以尝试的选择。

37
00:02:05,280 --> 00:02:08,420
所以现在我正在DGX Park上,

38
00:02:08,520 --> 00:02:10,760
我将运行MVIP4版本。

39
00:02:10,820 --> 00:02:12,840
我有一个两节点的集群。

40
00:02:13,300 --> 00:02:18,660
现在DGX Park并不是真正为运行270亿密集模型设计的。

41
00:02:18,660 --> 00:02:21,340
所以我在单线程上

42
00:02:21,340 --> 00:02:23,480
大约每秒15到20个零排

43
00:02:23,480 --> 00:02:25,600
在并发情况下

44
00:02:25,600 --> 00:02:26,900
我想我能达到

45
00:02:26,900 --> 00:02:29,500
每秒60到70个零排

46
00:02:29,500 --> 00:02:30,500
这相当可用

47
00:02:30,500 --> 00:02:32,980
现在要运行这个模型

48
00:02:32,980 --> 00:02:34,860
你只需运行这个

49
00:02:34,860 --> 00:02:38,000
它会为你设置服务器

50
00:02:38,000 --> 00:02:40,020
你可以通过网络访问它

51
00:02:40,020 --> 00:02:43,100
这基本上会为你下载模型

52
00:02:43,100 --> 00:02:44,400
以及草稿模型

53
00:02:44,400 --> 00:02:47,700
它启用了推测解码

54
00:02:47,700 --> 00:02:50,580
好的,对推理,我已经下载了DeepSeek Harness。

55
00:02:51,540 --> 00:02:56,580
我为此做了一个视频,我强烈推荐观看它来了解基础知识。

56
00:02:57,760 --> 00:03:00,020
好的,这就是Harness的样子。

57
00:03:00,840 --> 00:03:04,120
现在为了设置Queen模型,我不得不进入设置。

58
00:03:06,060 --> 00:03:10,620
然后在设置中,你实际上可以配置任何你选择的模型。

59
00:03:10,620 --> 00:03:17,980
这会为你打开这个YAML文件

60
00:03:17,980 --> 00:03:21,020
现在在这个YAML文件中

61
00:03:21,020 --> 00:03:22,740
你需要定义你的提供者

62
00:03:22,740 --> 00:03:25,940
所以我一直在尝试不同的模型

63
00:03:25,940 --> 00:03:27,040
所以你可以看到这里

64
00:03:27,040 --> 00:03:29,020
有一个运行在那个集群上的

65
00:03:29,020 --> 00:03:33,840
DeepSeek vFlash ZR3.827BMLX版本

66
00:03:33,840 --> 00:03:37,700
那现在我正在使用这个配置

67
00:03:37,700 --> 00:03:40,380
它在两个DGX

68
00:03:40,380 --> 00:03:41,860
Spark上运行

69
00:03:41,860 --> 00:03:44,120
原因是

70
00:03:44,120 --> 00:03:46,860
我想要使用完整的上下文窗口

71
00:03:46,860 --> 00:03:48,440
并处理多个

72
00:03:48,440 --> 00:03:49,500
并发请求

73
00:03:49,500 --> 00:03:51,920
你可能已经看到了编码能力

74
00:03:51,920 --> 00:03:54,820
所以我要从我发现最有趣的

75
00:03:54,820 --> 00:03:55,460
一个开始

76
00:03:55,460 --> 00:03:57,140
所以我提供了这张图片

77
00:03:57,140 --> 00:03:58,520
这是一张参考图片

78
00:03:58,520 --> 00:04:00,080
这是一个多摩台模型

79
00:04:00,080 --> 00:04:03,060
这意味着它可以理解图像和文本

80
00:04:07,700 --> 00:04:15,100
它盛程的描述相当准确

81
00:04:15,100 --> 00:04:18,660
我要求它使用OpenCV

82
00:04:18,660 --> 00:04:21,840
这是一个用于计算机视觉的Python包

83
00:04:21,840 --> 00:04:23,960
让它决定做一些分析

84
00:04:23,960 --> 00:04:27,240
所以它实际上编写了自己的框架

85
00:04:27,240 --> 00:04:29,220
来分析幻雄图像

86
00:04:29,220 --> 00:04:31,700
由于这是相当开放的

87
00:04:31,700 --> 00:04:32,960
所以它做了几件事

88
00:04:32,960 --> 00:04:36,340
例如这里它在看边缘检测

89
00:04:36,340 --> 00:04:40,040
这是在做一些类型的脚点叠加

90
00:04:40,040 --> 00:04:42,600
它用来识别图像中的脚点

91
00:04:42,600 --> 00:04:46,060
现在这完全在DGX集群上本地运行

92
00:04:46,060 --> 00:04:47,180
感谢VDia

93
00:04:47,180 --> 00:04:48,840
赞助计算资源

94
00:04:48,840 --> 00:04:52,280
这些视觉语言模型

95
00:04:52,280 --> 00:04:54,060
非常擅长识别物体

96
00:04:54,060 --> 00:04:56,540
但它们在技术方面非常糟糕

97
00:04:56,540 --> 00:05:00,540
但是这个模型实际上让我惊讶

98
00:05:00,540 --> 00:05:02,540
所以我说你在这张图片中

99
00:05:02,540 --> 00:05:03,800
看到多少辆车

100
00:05:03,800 --> 00:05:06,620
他数出了图像中总共有26辆车

101
00:05:06,620 --> 00:05:11,820
所以我想他可能只是编了一个数字

102
00:05:11,820 --> 00:05:13,660
那然后他说好的

103
00:05:13,660 --> 00:05:15,000
从顶行开始

104
00:05:15,000 --> 00:05:16,820
基本上就是这里

105
00:05:16,820 --> 00:05:18,540
如果你能数一下车

106
00:05:18,540 --> 00:05:23,380
1 2 3 4 5 6 7 8 9 10 11

107
00:05:23,380 --> 00:05:23,980
对吧

108
00:05:23,980 --> 00:05:26,240
所以他数出了总共11辆车

109
00:05:26,240 --> 00:05:28,740
然后他谈到主停车场

110
00:05:28,740 --> 00:05:29,360
在那里

111
00:05:29,360 --> 00:05:30,700
你实际上可以看到

112
00:05:30,700 --> 00:05:35,480
有1,2,3,4,5,6,7,8,9辆车

113
00:05:35,480 --> 00:05:36,800
出于某种原因

114
00:05:36,800 --> 00:05:40,020
它没有把这排算作主停车场的一部分

115
00:05:40,020 --> 00:05:42,020
但技术结果相当准确

116
00:05:42,020 --> 00:05:46,960
为此我们需要看四位列

117
00:05:46,960 --> 00:05:50,680
看起来它能够将图像分成不同大小的补丁

118
00:05:50,680 --> 00:05:54,480
然后识别物体并在这些补丁内计数

119
00:06:00,700 --> 00:06:02,660
所以它不仅仅是识别物体

120
00:06:02,660 --> 00:06:04,120
还能指向它们

121
00:06:04,120 --> 00:06:07,200
我们在Deep Seek Vision模型论文中

122
00:06:07,200 --> 00:06:08,640
见过这种能力

123
00:06:08,640 --> 00:06:12,840
但还没有在现实中真正见过

124
00:06:12,840 --> 00:06:13,080
好的

125
00:06:13,080 --> 00:06:14,960
但然后它实际上变得更加有趣

126
00:06:14,960 --> 00:06:15,860
所以我说

127
00:06:15,860 --> 00:06:18,300
图片中有多少辆白色的车

128
00:06:18,300 --> 00:06:21,680
然后它再次开始像之前那样精确的技术

129
00:06:21,680 --> 00:06:24,260
所以它划分并看顶行

130
00:06:24,260 --> 00:06:25,720
然后主停车场

131
00:06:25,720 --> 00:06:26,700
然后路边

132
00:06:26,700 --> 00:06:29,500
根据它的说法

133
00:06:29,500 --> 00:06:32,460
总共有八辆不同的白色汽车

134
00:06:32,460 --> 00:06:35,100
如果你看原始图像

135
00:06:35,100 --> 00:06:38,880
似乎有一二三四五辆白色汽车

136
00:06:38,880 --> 00:06:41,740
但它肯定加上了这个

137
00:06:41,740 --> 00:06:42,320
这个

138
00:06:42,320 --> 00:06:43,860
我想还有这个

139
00:06:43,860 --> 00:06:45,940
但然后我说

140
00:06:45,940 --> 00:06:46,360
好的

141
00:06:46,360 --> 00:06:49,600
如果我要求它在物体周围画边界框呢

142
00:06:49,600 --> 00:06:51,860
但有趣的是

143
00:06:51,860 --> 00:06:53,460
看到实际结果

144
00:06:53,460 --> 00:06:55,100
为了做到这一点

145
00:06:55,100 --> 00:06:56,920
它实际上写了一个python程序

146
00:06:56,920 --> 00:06:58,500
所以你看到的边界框坐标

147
00:06:58,500 --> 00:07:00,240
这些直接来自模型

148
00:07:00,240 --> 00:07:05,420
所以模型实际上指向图像中的不同物体

149
00:07:05,420 --> 00:07:07,380
然后在上面绘制边界框

150
00:07:07,380 --> 00:07:11,260
好的

151
00:07:11,260 --> 00:07:12,760
所以这是结果

152
00:07:12,760 --> 00:07:14,460
实际上相当令人印象深刻

153
00:07:14,460 --> 00:07:17,860
尤其是这是一个视觉语言模型

154
00:07:17,860 --> 00:07:20,660
仅仅通过看图像就绘制边界框

155
00:07:20,660 --> 00:07:21,580
它们并不完美

156
00:07:21,580 --> 00:07:22,060
对吧

157
00:07:22,060 --> 00:07:23,680
所以如果你看这些

158
00:07:23,680 --> 00:07:25,540
可能覆盖了更大的区域

159
00:07:25,540 --> 00:07:28,080
但总的来说它非常准确

160
00:07:28,500 --> 00:07:30,260
有人可能会争论这两个

161
00:07:30,260 --> 00:07:31,800
甚至皮卡车的情况

162
00:07:31,800 --> 00:07:35,460
然而我认为你可以说他们通过了

163
00:07:35,460 --> 00:07:38,020
你可以添加另一个模型

164
00:07:38,020 --> 00:07:39,260
来做物体检测

165
00:07:39,260 --> 00:07:42,700
然后你可以用这个模型来判断

166
00:07:42,700 --> 00:07:44,560
这些检测到的物体是否准确

167
00:07:44,560 --> 00:07:48,620
但总的来说

168
00:07:48,620 --> 00:07:50,400
我真的印象深刻

169
00:07:50,400 --> 00:07:53,080
我还没有见过一个视觉语言模型

170
00:07:53,080 --> 00:07:53,580
在

171
00:08:07,270 --> 00:08:11,390
好的,所以我运行的其他一些测试

172
00:08:11,390 --> 00:08:14,430
这是实时国际空间站追踪器的结果

173
00:08:14,430 --> 00:08:16,670
它实际上是我见过的

174
00:08:16,670 --> 00:08:19,410
开源模型中最好的输出之一

175
00:08:19,410 --> 00:08:21,770
这里的工作真的令人印象深刻

176
00:08:21,770 --> 00:08:24,470
而且在实时更新方面相当准确

177
00:08:24,470 --> 00:08:27,410
它每5秒做一次

178
00:08:27,410 --> 00:08:28,930
完全按照我们的要求

179
00:08:28,930 --> 00:08:33,650
但输出的质量实际上将取决于你设置的推理努力

180
00:08:33,650 --> 00:08:39,130
接下来我们需要谈谈推理努力

181
00:08:39,130 --> 00:08:41,310
有四个不同的级别完全关闭

182
00:08:41,310 --> 00:08:42,990
这变成非推理模型

183
00:08:42,990 --> 00:08:46,750
然后低中超高没有高

184
00:08:55,350 --> 00:08:57,790
有时当你设置为超高或中等时

185
00:08:57,790 --> 00:08:59,710
它会将整个完成预算

186
00:08:59,710 --> 00:09:00,810
用作思考预算

187
00:09:00,810 --> 00:09:02,510
你不会得到任何输出

188
00:09:02,510 --> 00:09:08,730
我已经看到这种情况发生在我身上好几次了

189
00:09:08,730 --> 00:09:10,230
所以对于完全关闭

190
00:09:10,230 --> 00:09:12,410
我要求它使用网络搜索

191
00:09:12,410 --> 00:09:15,510
创建一个关于它自己的网站

192
00:09:15,510 --> 00:09:18,550
所以输出令牌大约是两万个令牌

193
00:09:18,550 --> 00:09:25,210
所以这个是完全关闭

194
00:09:25,210 --> 00:09:27,210
你实际上可以看到

195
00:09:27,210 --> 00:09:29,450
它只是编造了一些数字

196
00:09:29,450 --> 00:09:31,770
我要求模型进行网络搜索

197
00:09:31,770 --> 00:09:34,270
在一个他以前没见过的框架中

198
00:09:34,270 --> 00:09:36,850
然后创建一个网站解释一切

199
00:09:36,850 --> 00:09:47,930
然后仅仅通过将推理努力改为第一

200
00:09:47,930 --> 00:09:52,130
他实际上开始生成一些非常有趣的结果

201
00:09:52,130 --> 00:09:54,550
这实际上是一个相当不错的网站

202
00:09:54,550 --> 00:09:58,790
可以说他甚至比像GPT5.5最初发布时更好

203
00:10:01,770 --> 00:10:04,010
仍然有那种蓝色调

204
00:10:04,010 --> 00:10:05,810
但整体视觉效果非常好

205
00:10:05,810 --> 00:10:12,910
现在这是当你把游戏预算提高到中等时的结果

206
00:10:12,910 --> 00:10:16,550
它开始添加这些漂亮的动画

207
00:10:16,550 --> 00:10:20,070
我认为与完全关闭推理相比

208
00:10:20,070 --> 00:10:21,690
质量显著提高

209
00:10:21,690 --> 00:10:25,550
对,所以你可以看到显著的改进

210
00:10:25,550 --> 00:10:27,970
然而它使用的令牌数量

211
00:10:27,970 --> 00:10:31,190
与非思考版本相比大幅增加

212
00:10:31,770 --> 00:10:35,070
最后相同的提示

213
00:10:35,070 --> 00:10:36,950
相同的上下文是超高推理

214
00:10:42,950 --> 00:10:44,970
视觉质量相当不错

215
00:10:44,970 --> 00:10:47,410
动画与中等推理非常相似

216
00:10:47,410 --> 00:10:49,350
但视觉语言有点不同

217
00:10:49,350 --> 00:10:56,830
颜色与低和中等不同

218
00:10:56,830 --> 00:11:10,170
似乎推理与输出主题的外观有很大关系

219
00:11:10,170 --> 00:11:16,590
我认为这是一个相当可用的网站

220
00:11:16,590 --> 00:11:19,110
你可以从本地模型得到

221
00:11:22,310 --> 00:11:24,790
现在快速看一下令牌数量

222
00:11:24,790 --> 00:11:27,470
推理关闭

223
00:11:27,470 --> 00:11:30,090
输入令牌是8万2千个令牌

224
00:11:30,090 --> 00:11:31,910
输出大约2万个令牌

225
00:11:31,910 --> 00:11:33,130
花了大约15分钟

226
00:11:33,130 --> 00:11:37,790
我猜第二个大约是25

227
00:11:37,790 --> 00:11:39,610
但每次运行之间会变化

228
00:11:39,610 --> 00:11:41,870
因为它在运行多个并方模型

229
00:11:41,870 --> 00:11:45,830
对于超高

230
00:11:45,830 --> 00:11:47,850
几乎50万个输入令牌

231
00:11:47,850 --> 00:11:49,670
6万个输出令牌

232
00:11:49,670 --> 00:11:51,210
大约86分钟

233
00:11:54,790 --> 00:11:57,210
现在中等出于某种原因

234
00:11:57,210 --> 00:11:58,730
实际上消耗了更多的令牌

235
00:11:58,730 --> 00:12:00,150
所以几乎是8

236
00:12:00,150 --> 00:12:11,550
推理35分钟

237
00:12:11,550 --> 00:12:12,850
7万个输入令牌

238
00:12:12,850 --> 00:12:18,170
大约31000个输出令牌

239
00:12:18,170 --> 00:12:18,830
对

240
00:12:18,830 --> 00:12:19,650
所以你可以看到

241
00:12:19,650 --> 00:12:20,950
如果你提高推理努力

242
00:12:20,950 --> 00:12:23,070
令牌数量基本上会爆炸

243
00:12:23,070 --> 00:12:27,070
现在这发生在一个全新的框架下

244
00:12:27,070 --> 00:12:31,770
我认为代理以前没见过

245
00:12:31,770 --> 00:12:32,990
这是Leap Seek Harness

246
00:12:32,990 --> 00:12:35,990
但它有这个非常整洁的轨迹功能

247
00:12:35,990 --> 00:12:37,270
所以你可以点击这个

248
00:12:37,270 --> 00:12:39,910
这基本上会显示上下文中

249
00:12:39,910 --> 00:12:43,570
到目前为止发生的所有事情

250
00:12:43,570 --> 00:12:45,690
所以我们有初始系统提示

251
00:12:45,690 --> 00:12:47,390
一切都可以省计

252
00:12:47,390 --> 00:12:49,150
你实际上可以看到

253
00:12:49,150 --> 00:12:51,230
系统提示中具体包含了什么

254
00:12:51,230 --> 00:12:53,050
然后用户消息是什么

255
00:12:53,050 --> 00:12:56,350
这是我给系统的初始消息

256
00:12:56,350 --> 00:12:58,030
然后上下文

257
00:12:58,030 --> 00:13:02,070
这是模型对Deep Seek Harness的初始上下文

258
00:13:02,070 --> 00:13:05,310
其中一些与QDAV模型无关

259
00:13:05,310 --> 00:13:07,070
但它仍然会看到这些

260
00:13:07,070 --> 00:13:10,590
所以这些是所有可用的技能列表

261
00:13:10,590 --> 00:13:11,110
对吧

262
00:13:11,110 --> 00:13:12,890
但然后美妙之处在于

263
00:13:12,890 --> 00:13:14,690
你实际上可以看到模型

264
00:13:14,690 --> 00:13:16,470
采取了什么具体行动

265
00:13:16,470 --> 00:13:18,490
如果有工具调用

266
00:13:18,490 --> 00:13:20,470
你可以看到具体负载是什么

267
00:13:20,470 --> 00:13:22,350
模式是什么

268
00:13:22,350 --> 00:13:24,250
它使用了结果时间

269
00:13:24,250 --> 00:13:25,870
这相当不可思议

270
00:13:25,870 --> 00:13:27,870
就像我还没有见过

271
00:13:27,870 --> 00:13:30,350
任何其他框架提供这种级别的细节

272
00:13:30,350 --> 00:13:31,890
通常你需要使用一些

273
00:13:31,890 --> 00:13:34,490
其他追踪工具进行可观测性

274
00:13:34,490 --> 00:13:36,930
但Deepsea

275
00:13:36,930 --> 00:13:38,470
使你能够实际查看

276
00:13:38,470 --> 00:13:40,890
所有采取的行动以及时间线

277
00:13:40,890 --> 00:13:44,110
所以你可以

278
00:13:44,110 --> 00:13:45,010
省计它

279
00:13:45,010 --> 00:13:47,210
你可以找出代理在哪里失败

280
00:13:47,210 --> 00:13:49,790
然后如果你看到多个工具

281
00:13:49,790 --> 00:13:50,850
调用失败

282
00:13:50,850 --> 00:13:53,270
你甚至可以更新你的工具

283
00:13:53,270 --> 00:13:55,070
这相当不可思议

284
00:13:55,070 --> 00:13:59,390
现在我确实计划创建一个专门探索Deep-Sea Carnest

285
00:13:59,390 --> 00:14:01,710
中这个标记机制的视频

286
00:14:01,710 --> 00:14:05,390
我觉得这是对框架设计的一个非常新的看法

287
00:14:05,390 --> 00:14:07,330
很多人可以从中学习

288
00:14:07,330 --> 00:14:10,410
好的顺便说一下

289
00:14:10,410 --> 00:14:13,750
它刚刚超过了16万个Github新标

290
00:14:13,750 --> 00:14:15,650
不到一周大

291
00:14:15,650 --> 00:14:17,050
这太疯狂了

292
00:14:17,050 --> 00:14:24,130
目前我认为这是GitHub历史上增长最快的开源项目

293
00:14:24,130 --> 00:14:29,310
有趣的是他们不接受任何外部贡献

294
00:14:29,310 --> 00:14:34,030
所以这一切都要感谢DeepSeek团队

295
00:14:34,030 --> 00:14:37,270
好的,我将运行更多实验

296
00:14:37,270 --> 00:14:39,010
特别是视觉分析能力

297
00:14:39,010 --> 00:14:40,950
因为我认为我还没有见过这样的东西

298
00:14:40,950 --> 00:14:44,070
但一定要去看看

299
00:14:44,070 --> 00:14:46,410
如果你有任何具体问题,请告诉我

300
00:14:47,050 --> 00:14:48,130
无论如何

301
00:14:48,130 --> 00:14:49,790
我希望你觉得这个视频有用

302
00:14:49,790 --> 00:14:50,610
感谢观看

303
00:14:50,610 --> 00:14:51,470
像往常一样

304
00:14:51,470 --> 00:14:52,710
我们下个视频见