WEBVTT

00:00:00.000 --> 00:00:28.640
這是你可以在消費級硬件上運行的最好的本地模型。而且就其规模而言,它真的非常出色。在本視頻中,我將向你展示如何將其與DeepSeekHarness這樣強大的編碼代理結合,來構建強大的代理系統。而且它還有一些非常有趣的隱藏能力。例如,它在圖像理解和繪製邊界框方面非常出色。所以在本視頻中,我的目標是向你展示如何設置它。

00:00:28.640 --> 00:00:30.280
如果你想使用这个模型

00:00:30.280 --> 00:00:32.180
应该使用哪些不同的配置

00:00:32.180 --> 00:00:37.620
以及许多人在推理时常犯的错误

00:00:37.620 --> 00:00:41.440
首先我们来看几个不同的基准测试

00:00:41.440 --> 00:00:44.740
因为这确实能展示这个模型的强大之处

00:00:44.740 --> 00:00:47.300
这是人工智能代理指数

00:00:47.300 --> 00:00:50.340
目前是51

00:00:50.340 --> 00:00:53.340
实际上仅落后于KIMIK3

00:00:53.340 --> 00:00:57.620
KIMIK3是一个2.8万亿参数的模型

00:00:57.620 --> 00:01:01.840
最重要的是性能在真实世界测试中依然保持

00:01:01.840 --> 00:01:04.720
稍后我会在视频中展示几个例子

00:01:04.720 --> 00:01:06.840
现在来对比一下

00:01:06.840 --> 00:01:12.600
它的智能和性能非常接近最高设置下的Cloud 4.8

00:01:12.600 --> 00:01:19.620
而那是几个月前的顶尖模型

00:01:19.620 --> 00:01:23.580
有人可能会说这可能是基准测试的结果

00:01:23.580 --> 00:01:25.420
但真实世界的性能

00:01:25.420 --> 00:01:27.960
实际上非常非常出色

00:01:27.960 --> 00:01:29.500
我将向你展示如何用

00:01:29.500 --> 00:01:31.300
Deep Seek Harness设置它

00:01:31.300 --> 00:01:33.500
我认为这本身就是一个

00:01:33.500 --> 00:01:34.540
非常有趣的创新

00:01:34.540 --> 00:01:36.040
尤其是来自Deep Seek

00:01:36.040 --> 00:01:37.940
这是一个非常强大的框架

00:01:37.940 --> 00:01:39.120
我玩得很开心

00:01:39.120 --> 00:01:42.120
他们的核心思想是

00:01:42.120 --> 00:01:43.560
一切皆可插绑

00:01:43.560 --> 00:01:45.160
我为此做了一个视频

00:01:45.160 --> 00:01:47.640
我强烈推荐观看那个视频来入门

00:01:47.640 --> 00:01:48.120
好的

00:01:48.120 --> 00:01:49.060
但在此之前

00:01:49.060 --> 00:01:51.200
我会谈谈在哪里可以获取这个模型

00:01:51.200 --> 00:01:53.160
它已经在Hugging Face上可用了

00:01:53.160 --> 00:01:55.980
如果你有Apple Silicon,我推荐使用MLX版本。

00:01:57.400 --> 00:02:00.680
如果你想在Linux或Windows上运行,

00:02:00.880 --> 00:02:04.500
VLM和Stealing是两个可以尝试的选择。

00:02:05.280 --> 00:02:08.420
所以现在我正在DGX Park上,

00:02:08.520 --> 00:02:10.760
我将运行MVIP4版本。

00:02:10.820 --> 00:02:12.840
我有一个两节点的集群。

00:02:13.300 --> 00:02:18.660
现在DGX Park并不是真正为运行270亿密集模型设计的。

00:02:18.660 --> 00:02:21.340
所以我在单线程上

00:02:21.340 --> 00:02:23.480
大约每秒15到20个零排

00:02:23.480 --> 00:02:25.600
在并发情况下

00:02:25.600 --> 00:02:26.900
我想我能达到

00:02:26.900 --> 00:02:29.500
每秒60到70个零排

00:02:29.500 --> 00:02:30.500
这相当可用

00:02:30.500 --> 00:02:32.980
现在要运行这个模型

00:02:32.980 --> 00:02:34.860
你只需运行这个

00:02:34.860 --> 00:02:38.000
它会为你设置服务器

00:02:38.000 --> 00:02:40.020
你可以通过网络访问它

00:02:40.020 --> 00:02:43.100
这基本上会为你下载模型

00:02:43.100 --> 00:02:44.400
以及草稿模型

00:02:44.400 --> 00:02:47.700
它启用了推测解码

00:02:47.700 --> 00:02:50.580
好的,对推理,我已经下载了DeepSeek Harness。

00:02:51.540 --> 00:02:56.580
我为此做了一个视频,我强烈推荐观看它来了解基础知识。

00:02:57.760 --> 00:03:00.020
好的,这就是Harness的样子。

00:03:00.840 --> 00:03:04.120
现在为了设置Queen模型,我不得不进入设置。

00:03:06.060 --> 00:03:10.620
然后在设置中,你实际上可以配置任何你选择的模型。

00:03:10.620 --> 00:03:17.980
这会为你打开这个YAML文件

00:03:17.980 --> 00:03:21.020
现在在这个YAML文件中

00:03:21.020 --> 00:03:22.740
你需要定义你的提供者

00:03:22.740 --> 00:03:25.940
所以我一直在尝试不同的模型

00:03:25.940 --> 00:03:27.040
所以你可以看到这里

00:03:27.040 --> 00:03:29.020
有一个运行在那个集群上的

00:03:29.020 --> 00:03:33.840
DeepSeek vFlash ZR3.827BMLX版本

00:03:33.840 --> 00:03:37.700
那现在我正在使用这个配置

00:03:37.700 --> 00:03:40.380
它在两个DGX

00:03:40.380 --> 00:03:41.860
Spark上运行

00:03:41.860 --> 00:03:44.120
原因是

00:03:44.120 --> 00:03:46.860
我想要使用完整的上下文窗口

00:03:46.860 --> 00:03:48.440
并处理多个

00:03:48.440 --> 00:03:49.500
并发请求

00:03:49.500 --> 00:03:51.920
你可能已经看到了编码能力

00:03:51.920 --> 00:03:54.820
所以我要从我发现最有趣的

00:03:54.820 --> 00:03:55.460
一个开始

00:03:55.460 --> 00:03:57.140
所以我提供了这张图片

00:03:57.140 --> 00:03:58.520
这是一张参考图片

00:03:58.520 --> 00:04:00.080
这是一个多摩台模型

00:04:00.080 --> 00:04:03.060
这意味着它可以理解图像和文本

00:04:07.700 --> 00:04:15.100
它盛程的描述相当准确

00:04:15.100 --> 00:04:18.660
我要求它使用OpenCV

00:04:18.660 --> 00:04:21.840
这是一个用于计算机视觉的Python包

00:04:21.840 --> 00:04:23.960
让它决定做一些分析

00:04:23.960 --> 00:04:27.240
所以它实际上编写了自己的框架

00:04:27.240 --> 00:04:29.220
来分析幻雄图像

00:04:29.220 --> 00:04:31.700
由于这是相当开放的

00:04:31.700 --> 00:04:32.960
所以它做了几件事

00:04:32.960 --> 00:04:36.340
例如这里它在看边缘检测

00:04:36.340 --> 00:04:40.040
这是在做一些类型的脚点叠加

00:04:40.040 --> 00:04:42.600
它用来识别图像中的脚点

00:04:42.600 --> 00:04:46.060
现在这完全在DGX集群上本地运行

00:04:46.060 --> 00:04:47.180
感谢VDia

00:04:47.180 --> 00:04:48.840
赞助计算资源

00:04:48.840 --> 00:04:52.280
这些视觉语言模型

00:04:52.280 --> 00:04:54.060
非常擅长识别物体

00:04:54.060 --> 00:04:56.540
但它们在技术方面非常糟糕

00:04:56.540 --> 00:05:00.540
但是这个模型实际上让我惊讶

00:05:00.540 --> 00:05:02.540
所以我说你在这张图片中

00:05:02.540 --> 00:05:03.800
看到多少辆车

00:05:03.800 --> 00:05:06.620
他数出了图像中总共有26辆车

00:05:06.620 --> 00:05:11.820
所以我想他可能只是编了一个数字

00:05:11.820 --> 00:05:13.660
那然后他说好的

00:05:13.660 --> 00:05:15.000
从顶行开始

00:05:15.000 --> 00:05:16.820
基本上就是这里

00:05:16.820 --> 00:05:18.540
如果你能数一下车

00:05:18.540 --> 00:05:23.380
1 2 3 4 5 6 7 8 9 10 11

00:05:23.380 --> 00:05:23.980
对吧

00:05:23.980 --> 00:05:26.240
所以他数出了总共11辆车

00:05:26.240 --> 00:05:28.740
然后他谈到主停车场

00:05:28.740 --> 00:05:29.360
在那里

00:05:29.360 --> 00:05:30.700
你实际上可以看到

00:05:30.700 --> 00:05:35.480
有1,2,3,4,5,6,7,8,9辆车

00:05:35.480 --> 00:05:36.800
出于某种原因

00:05:36.800 --> 00:05:40.020
它没有把这排算作主停车场的一部分

00:05:40.020 --> 00:05:42.020
但技术结果相当准确

00:05:42.020 --> 00:05:46.960
为此我们需要看四位列

00:05:46.960 --> 00:05:50.680
看起来它能够将图像分成不同大小的补丁

00:05:50.680 --> 00:05:54.480
然后识别物体并在这些补丁内计数

00:06:00.700 --> 00:06:02.660
所以它不仅仅是识别物体

00:06:02.660 --> 00:06:04.120
还能指向它们

00:06:04.120 --> 00:06:07.200
我们在Deep Seek Vision模型论文中

00:06:07.200 --> 00:06:08.640
见过这种能力

00:06:08.640 --> 00:06:12.840
但还没有在现实中真正见过

00:06:12.840 --> 00:06:13.080
好的

00:06:13.080 --> 00:06:14.960
但然后它实际上变得更加有趣

00:06:14.960 --> 00:06:15.860
所以我说

00:06:15.860 --> 00:06:18.300
图片中有多少辆白色的车

00:06:18.300 --> 00:06:21.680
然后它再次开始像之前那样精确的技术

00:06:21.680 --> 00:06:24.260
所以它划分并看顶行

00:06:24.260 --> 00:06:25.720
然后主停车场

00:06:25.720 --> 00:06:26.700
然后路边

00:06:26.700 --> 00:06:29.500
根据它的说法

00:06:29.500 --> 00:06:32.460
总共有八辆不同的白色汽车

00:06:32.460 --> 00:06:35.100
如果你看原始图像

00:06:35.100 --> 00:06:38.880
似乎有一二三四五辆白色汽车

00:06:38.880 --> 00:06:41.740
但它肯定加上了这个

00:06:41.740 --> 00:06:42.320
这个

00:06:42.320 --> 00:06:43.860
我想还有这个

00:06:43.860 --> 00:06:45.940
但然后我说

00:06:45.940 --> 00:06:46.360
好的

00:06:46.360 --> 00:06:49.600
如果我要求它在物体周围画边界框呢

00:06:49.600 --> 00:06:51.860
但有趣的是

00:06:51.860 --> 00:06:53.460
看到实际结果

00:06:53.460 --> 00:06:55.100
为了做到这一点

00:06:55.100 --> 00:06:56.920
它实际上写了一个python程序

00:06:56.920 --> 00:06:58.500
所以你看到的边界框坐标

00:06:58.500 --> 00:07:00.240
这些直接来自模型

00:07:00.240 --> 00:07:05.420
所以模型实际上指向图像中的不同物体

00:07:05.420 --> 00:07:07.380
然后在上面绘制边界框

00:07:07.380 --> 00:07:11.260
好的

00:07:11.260 --> 00:07:12.760
所以这是结果

00:07:12.760 --> 00:07:14.460
实际上相当令人印象深刻

00:07:14.460 --> 00:07:17.860
尤其是这是一个视觉语言模型

00:07:17.860 --> 00:07:20.660
仅仅通过看图像就绘制边界框

00:07:20.660 --> 00:07:21.580
它们并不完美

00:07:21.580 --> 00:07:22.060
对吧

00:07:22.060 --> 00:07:23.680
所以如果你看这些

00:07:23.680 --> 00:07:25.540
可能覆盖了更大的区域

00:07:25.540 --> 00:07:28.080
但总的来说它非常准确

00:07:28.500 --> 00:07:30.260
有人可能会争论这两个

00:07:30.260 --> 00:07:31.800
甚至皮卡车的情况

00:07:31.800 --> 00:07:35.460
然而我认为你可以说他们通过了

00:07:35.460 --> 00:07:38.020
你可以添加另一个模型

00:07:38.020 --> 00:07:39.260
来做物体检测

00:07:39.260 --> 00:07:42.700
然后你可以用这个模型来判断

00:07:42.700 --> 00:07:44.560
这些检测到的物体是否准确

00:07:44.560 --> 00:07:48.620
但总的来说

00:07:48.620 --> 00:07:50.400
我真的印象深刻

00:07:50.400 --> 00:07:53.080
我还没有见过一个视觉语言模型

00:07:53.080 --> 00:07:53.580
在

00:08:07.270 --> 00:08:11.390
好的,所以我运行的其他一些测试

00:08:11.390 --> 00:08:14.430
这是实时国际空间站追踪器的结果

00:08:14.430 --> 00:08:16.670
它实际上是我见过的

00:08:16.670 --> 00:08:19.410
开源模型中最好的输出之一

00:08:19.410 --> 00:08:21.770
这里的工作真的令人印象深刻

00:08:21.770 --> 00:08:24.470
而且在实时更新方面相当准确

00:08:24.470 --> 00:08:27.410
它每5秒做一次

00:08:27.410 --> 00:08:28.930
完全按照我们的要求

00:08:28.930 --> 00:08:33.650
但输出的质量实际上将取决于你设置的推理努力

00:08:33.650 --> 00:08:39.130
接下来我们需要谈谈推理努力

00:08:39.130 --> 00:08:41.310
有四个不同的级别完全关闭

00:08:41.310 --> 00:08:42.990
这变成非推理模型

00:08:42.990 --> 00:08:46.750
然后低中超高没有高

00:08:55.350 --> 00:08:57.790
有时当你设置为超高或中等时

00:08:57.790 --> 00:08:59.710
它会将整个完成预算

00:08:59.710 --> 00:09:00.810
用作思考预算

00:09:00.810 --> 00:09:02.510
你不会得到任何输出

00:09:02.510 --> 00:09:08.730
我已经看到这种情况发生在我身上好几次了

00:09:08.730 --> 00:09:10.230
所以对于完全关闭

00:09:10.230 --> 00:09:12.410
我要求它使用网络搜索

00:09:12.410 --> 00:09:15.510
创建一个关于它自己的网站

00:09:15.510 --> 00:09:18.550
所以输出令牌大约是两万个令牌

00:09:18.550 --> 00:09:25.210
所以这个是完全关闭

00:09:25.210 --> 00:09:27.210
你实际上可以看到

00:09:27.210 --> 00:09:29.450
它只是编造了一些数字

00:09:29.450 --> 00:09:31.770
我要求模型进行网络搜索

00:09:31.770 --> 00:09:34.270
在一个他以前没见过的框架中

00:09:34.270 --> 00:09:36.850
然后创建一个网站解释一切

00:09:36.850 --> 00:09:47.930
然后仅仅通过将推理努力改为第一

00:09:47.930 --> 00:09:52.130
他实际上开始生成一些非常有趣的结果

00:09:52.130 --> 00:09:54.550
这实际上是一个相当不错的网站

00:09:54.550 --> 00:09:58.790
可以说他甚至比像GPT5.5最初发布时更好

00:10:01.770 --> 00:10:04.010
仍然有那种蓝色调

00:10:04.010 --> 00:10:05.810
但整体视觉效果非常好

00:10:05.810 --> 00:10:12.910
现在这是当你把游戏预算提高到中等时的结果

00:10:12.910 --> 00:10:16.550
它开始添加这些漂亮的动画

00:10:16.550 --> 00:10:20.070
我认为与完全关闭推理相比

00:10:20.070 --> 00:10:21.690
质量显著提高

00:10:21.690 --> 00:10:25.550
对,所以你可以看到显著的改进

00:10:25.550 --> 00:10:27.970
然而它使用的令牌数量

00:10:27.970 --> 00:10:31.190
与非思考版本相比大幅增加

00:10:31.770 --> 00:10:35.070
最后相同的提示

00:10:35.070 --> 00:10:36.950
相同的上下文是超高推理

00:10:42.950 --> 00:10:44.970
视觉质量相当不错

00:10:44.970 --> 00:10:47.410
动画与中等推理非常相似

00:10:47.410 --> 00:10:49.350
但视觉语言有点不同

00:10:49.350 --> 00:10:56.830
颜色与低和中等不同

00:10:56.830 --> 00:11:10.170
似乎推理与输出主题的外观有很大关系

00:11:10.170 --> 00:11:16.590
我认为这是一个相当可用的网站

00:11:16.590 --> 00:11:19.110
你可以从本地模型得到

00:11:22.310 --> 00:11:24.790
现在快速看一下令牌数量

00:11:24.790 --> 00:11:27.470
推理关闭

00:11:27.470 --> 00:11:30.090
输入令牌是8万2千个令牌

00:11:30.090 --> 00:11:31.910
输出大约2万个令牌

00:11:31.910 --> 00:11:33.130
花了大约15分钟

00:11:33.130 --> 00:11:37.790
我猜第二个大约是25

00:11:37.790 --> 00:11:39.610
但每次运行之间会变化

00:11:39.610 --> 00:11:41.870
因为它在运行多个并方模型

00:11:41.870 --> 00:11:45.830
对于超高

00:11:45.830 --> 00:11:47.850
几乎50万个输入令牌

00:11:47.850 --> 00:11:49.670
6万个输出令牌

00:11:49.670 --> 00:11:51.210
大约86分钟

00:11:54.790 --> 00:11:57.210
现在中等出于某种原因

00:11:57.210 --> 00:11:58.730
实际上消耗了更多的令牌

00:11:58.730 --> 00:12:00.150
所以几乎是8

00:12:00.150 --> 00:12:11.550
推理35分钟

00:12:11.550 --> 00:12:12.850
7万个输入令牌

00:12:12.850 --> 00:12:18.170
大约31000个输出令牌

00:12:18.170 --> 00:12:18.830
对

00:12:18.830 --> 00:12:19.650
所以你可以看到

00:12:19.650 --> 00:12:20.950
如果你提高推理努力

00:12:20.950 --> 00:12:23.070
令牌数量基本上会爆炸

00:12:23.070 --> 00:12:27.070
现在这发生在一个全新的框架下

00:12:27.070 --> 00:12:31.770
我认为代理以前没见过

00:12:31.770 --> 00:12:32.990
这是Leap Seek Harness

00:12:32.990 --> 00:12:35.990
但它有这个非常整洁的轨迹功能

00:12:35.990 --> 00:12:37.270
所以你可以点击这个

00:12:37.270 --> 00:12:39.910
这基本上会显示上下文中

00:12:39.910 --> 00:12:43.570
到目前为止发生的所有事情

00:12:43.570 --> 00:12:45.690
所以我们有初始系统提示

00:12:45.690 --> 00:12:47.390
一切都可以省计

00:12:47.390 --> 00:12:49.150
你实际上可以看到

00:12:49.150 --> 00:12:51.230
系统提示中具体包含了什么

00:12:51.230 --> 00:12:53.050
然后用户消息是什么

00:12:53.050 --> 00:12:56.350
这是我给系统的初始消息

00:12:56.350 --> 00:12:58.030
然后上下文

00:12:58.030 --> 00:13:02.070
这是模型对Deep Seek Harness的初始上下文

00:13:02.070 --> 00:13:05.310
其中一些与QDAV模型无关

00:13:05.310 --> 00:13:07.070
但它仍然会看到这些

00:13:07.070 --> 00:13:10.590
所以这些是所有可用的技能列表

00:13:10.590 --> 00:13:11.110
对吧

00:13:11.110 --> 00:13:12.890
但然后美妙之处在于

00:13:12.890 --> 00:13:14.690
你实际上可以看到模型

00:13:14.690 --> 00:13:16.470
采取了什么具体行动

00:13:16.470 --> 00:13:18.490
如果有工具调用

00:13:18.490 --> 00:13:20.470
你可以看到具体负载是什么

00:13:20.470 --> 00:13:22.350
模式是什么

00:13:22.350 --> 00:13:24.250
它使用了结果时间

00:13:24.250 --> 00:13:25.870
这相当不可思议

00:13:25.870 --> 00:13:27.870
就像我还没有见过

00:13:27.870 --> 00:13:30.350
任何其他框架提供这种级别的细节

00:13:30.350 --> 00:13:31.890
通常你需要使用一些

00:13:31.890 --> 00:13:34.490
其他追踪工具进行可观测性

00:13:34.490 --> 00:13:36.930
但Deepsea

00:13:36.930 --> 00:13:38.470
使你能够实际查看

00:13:38.470 --> 00:13:40.890
所有采取的行动以及时间线

00:13:40.890 --> 00:13:44.110
所以你可以

00:13:44.110 --> 00:13:45.010
省计它

00:13:45.010 --> 00:13:47.210
你可以找出代理在哪里失败

00:13:47.210 --> 00:13:49.790
然后如果你看到多个工具

00:13:49.790 --> 00:13:50.850
调用失败

00:13:50.850 --> 00:13:53.270
你甚至可以更新你的工具

00:13:53.270 --> 00:13:55.070
这相当不可思议

00:13:55.070 --> 00:13:59.390
现在我确实计划创建一个专门探索Deep-Sea Carnest

00:13:59.390 --> 00:14:01.710
中这个标记机制的视频

00:14:01.710 --> 00:14:05.390
我觉得这是对框架设计的一个非常新的看法

00:14:05.390 --> 00:14:07.330
很多人可以从中学习

00:14:07.330 --> 00:14:10.410
好的顺便说一下

00:14:10.410 --> 00:14:13.750
它刚刚超过了16万个Github新标

00:14:13.750 --> 00:14:15.650
不到一周大

00:14:15.650 --> 00:14:17.050
这太疯狂了

00:14:17.050 --> 00:14:24.130
目前我认为这是GitHub历史上增长最快的开源项目

00:14:24.130 --> 00:14:29.310
有趣的是他们不接受任何外部贡献

00:14:29.310 --> 00:14:34.030
所以这一切都要感谢DeepSeek团队

00:14:34.030 --> 00:14:37.270
好的,我将运行更多实验

00:14:37.270 --> 00:14:39.010
特别是视觉分析能力

00:14:39.010 --> 00:14:40.950
因为我认为我还没有见过这样的东西

00:14:40.950 --> 00:14:44.070
但一定要去看看

00:14:44.070 --> 00:14:46.410
如果你有任何具体问题,请告诉我

00:14:47.050 --> 00:14:48.130
无论如何

00:14:48.130 --> 00:14:49.790
我希望你觉得这个视频有用

00:14:49.790 --> 00:14:50.610
感谢观看

00:14:50.610 --> 00:14:51.470
像往常一样

00:14:51.470 --> 00:14:52.710
我们下个视频见