這是你可以在消費級硬件上運行的最好的本地模型。而且就其规模而言,它真的非常出色。在本視頻中,我將向你展示如何將其與DeepSeekHarness這樣強大的編碼代理結合,來構建強大的代理系統。而且它還有一些非常有趣的隱藏能力。例如,它在圖像理解和繪製邊界框方面非常出色。所以在本視頻中,我的目標是向你展示如何設置它。
如果你想使用这个模型
应该使用哪些不同的配置
以及许多人在推理时常犯的错误
首先我们来看几个不同的基准测试
因为这确实能展示这个模型的强大之处
这是人工智能代理指数
目前是51
实际上仅落后于KIMIK3
KIMIK3是一个2.8万亿参数的模型
最重要的是性能在真实世界测试中依然保持
稍后我会在视频中展示几个例子
现在来对比一下
它的智能和性能非常接近最高设置下的Cloud 4.8
而那是几个月前的顶尖模型
有人可能会说这可能是基准测试的结果
但真实世界的性能
实际上非常非常出色
我将向你展示如何用
Deep Seek Harness设置它
我认为这本身就是一个
非常有趣的创新
尤其是来自Deep Seek
这是一个非常强大的框架
我玩得很开心
他们的核心思想是
一切皆可插绑
我为此做了一个视频
我强烈推荐观看那个视频来入门
好的
但在此之前
我会谈谈在哪里可以获取这个模型
它已经在Hugging Face上可用了
如果你有Apple Silicon,我推荐使用MLX版本。
如果你想在Linux或Windows上运行,
VLM和Stealing是两个可以尝试的选择。
所以现在我正在DGX Park上,
我将运行MVIP4版本。
我有一个两节点的集群。
现在DGX Park并不是真正为运行270亿密集模型设计的。
所以我在单线程上
大约每秒15到20个零排
在并发情况下
我想我能达到
每秒60到70个零排
这相当可用
现在要运行这个模型
你只需运行这个
它会为你设置服务器
你可以通过网络访问它
这基本上会为你下载模型
以及草稿模型
它启用了推测解码
好的,对推理,我已经下载了DeepSeek Harness。
我为此做了一个视频,我强烈推荐观看它来了解基础知识。
好的,这就是Harness的样子。
现在为了设置Queen模型,我不得不进入设置。
然后在设置中,你实际上可以配置任何你选择的模型。
这会为你打开这个YAML文件
现在在这个YAML文件中
你需要定义你的提供者
所以我一直在尝试不同的模型
所以你可以看到这里
有一个运行在那个集群上的
DeepSeek vFlash ZR3.827BMLX版本
那现在我正在使用这个配置
它在两个DGX
Spark上运行
原因是
我想要使用完整的上下文窗口
并处理多个
并发请求
你可能已经看到了编码能力
所以我要从我发现最有趣的
一个开始
所以我提供了这张图片
这是一张参考图片
这是一个多摩台模型
这意味着它可以理解图像和文本
它盛程的描述相当准确
我要求它使用OpenCV
这是一个用于计算机视觉的Python包
让它决定做一些分析
所以它实际上编写了自己的框架
来分析幻雄图像
由于这是相当开放的
所以它做了几件事
例如这里它在看边缘检测
这是在做一些类型的脚点叠加
它用来识别图像中的脚点
现在这完全在DGX集群上本地运行
感谢VDia
赞助计算资源
这些视觉语言模型
非常擅长识别物体
但它们在技术方面非常糟糕
但是这个模型实际上让我惊讶
所以我说你在这张图片中
看到多少辆车
他数出了图像中总共有26辆车
所以我想他可能只是编了一个数字
那然后他说好的
从顶行开始
基本上就是这里
如果你能数一下车
1 2 3 4 5 6 7 8 9 10 11
对吧
所以他数出了总共11辆车
然后他谈到主停车场
在那里
你实际上可以看到
有1,2,3,4,5,6,7,8,9辆车
出于某种原因
它没有把这排算作主停车场的一部分
但技术结果相当准确
为此我们需要看四位列
看起来它能够将图像分成不同大小的补丁
然后识别物体并在这些补丁内计数
所以它不仅仅是识别物体
还能指向它们
我们在Deep Seek Vision模型论文中
见过这种能力
但还没有在现实中真正见过
好的
但然后它实际上变得更加有趣
所以我说
图片中有多少辆白色的车
然后它再次开始像之前那样精确的技术
所以它划分并看顶行
然后主停车场
然后路边
根据它的说法
总共有八辆不同的白色汽车
如果你看原始图像
似乎有一二三四五辆白色汽车
但它肯定加上了这个
这个
我想还有这个
但然后我说
好的
如果我要求它在物体周围画边界框呢
但有趣的是
看到实际结果
为了做到这一点
它实际上写了一个python程序
所以你看到的边界框坐标
这些直接来自模型
所以模型实际上指向图像中的不同物体
然后在上面绘制边界框
好的
所以这是结果
实际上相当令人印象深刻
尤其是这是一个视觉语言模型
仅仅通过看图像就绘制边界框
它们并不完美
对吧
所以如果你看这些
可能覆盖了更大的区域
但总的来说它非常准确
有人可能会争论这两个
甚至皮卡车的情况
然而我认为你可以说他们通过了
你可以添加另一个模型
来做物体检测
然后你可以用这个模型来判断
这些检测到的物体是否准确
但总的来说
我真的印象深刻
我还没有见过一个视觉语言模型
在
好的,所以我运行的其他一些测试
这是实时国际空间站追踪器的结果
它实际上是我见过的
开源模型中最好的输出之一
这里的工作真的令人印象深刻
而且在实时更新方面相当准确
它每5秒做一次
完全按照我们的要求
但输出的质量实际上将取决于你设置的推理努力
接下来我们需要谈谈推理努力
有四个不同的级别完全关闭
这变成非推理模型
然后低中超高没有高
有时当你设置为超高或中等时
它会将整个完成预算
用作思考预算
你不会得到任何输出
我已经看到这种情况发生在我身上好几次了
所以对于完全关闭
我要求它使用网络搜索
创建一个关于它自己的网站
所以输出令牌大约是两万个令牌
所以这个是完全关闭
你实际上可以看到
它只是编造了一些数字
我要求模型进行网络搜索
在一个他以前没见过的框架中
然后创建一个网站解释一切
然后仅仅通过将推理努力改为第一
他实际上开始生成一些非常有趣的结果
这实际上是一个相当不错的网站
可以说他甚至比像GPT5.5最初发布时更好
仍然有那种蓝色调
但整体视觉效果非常好
现在这是当你把游戏预算提高到中等时的结果
它开始添加这些漂亮的动画
我认为与完全关闭推理相比
质量显著提高
对,所以你可以看到显著的改进
然而它使用的令牌数量
与非思考版本相比大幅增加
最后相同的提示
相同的上下文是超高推理
视觉质量相当不错
动画与中等推理非常相似
但视觉语言有点不同
颜色与低和中等不同
似乎推理与输出主题的外观有很大关系
我认为这是一个相当可用的网站
你可以从本地模型得到
现在快速看一下令牌数量
推理关闭
输入令牌是8万2千个令牌
输出大约2万个令牌
花了大约15分钟
我猜第二个大约是25
但每次运行之间会变化
因为它在运行多个并方模型
对于超高
几乎50万个输入令牌
6万个输出令牌
大约86分钟
现在中等出于某种原因
实际上消耗了更多的令牌
所以几乎是8
推理35分钟
7万个输入令牌
大约31000个输出令牌
对
所以你可以看到
如果你提高推理努力
令牌数量基本上会爆炸
现在这发生在一个全新的框架下
我认为代理以前没见过
这是Leap Seek Harness
但它有这个非常整洁的轨迹功能
所以你可以点击这个
这基本上会显示上下文中
到目前为止发生的所有事情
所以我们有初始系统提示
一切都可以省计
你实际上可以看到
系统提示中具体包含了什么
然后用户消息是什么
这是我给系统的初始消息
然后上下文
这是模型对Deep Seek Harness的初始上下文
其中一些与QDAV模型无关
但它仍然会看到这些
所以这些是所有可用的技能列表
对吧
但然后美妙之处在于
你实际上可以看到模型
采取了什么具体行动
如果有工具调用
你可以看到具体负载是什么
模式是什么
它使用了结果时间
这相当不可思议
就像我还没有见过
任何其他框架提供这种级别的细节
通常你需要使用一些
其他追踪工具进行可观测性
但Deepsea
使你能够实际查看
所有采取的行动以及时间线
所以你可以
省计它
你可以找出代理在哪里失败
然后如果你看到多个工具
调用失败
你甚至可以更新你的工具
这相当不可思议
现在我确实计划创建一个专门探索Deep-Sea Carnest
中这个标记机制的视频
我觉得这是对框架设计的一个非常新的看法
很多人可以从中学习
好的顺便说一下
它刚刚超过了16万个Github新标
不到一周大
这太疯狂了
目前我认为这是GitHub历史上增长最快的开源项目
有趣的是他们不接受任何外部贡献
所以这一切都要感谢DeepSeek团队
好的,我将运行更多实验
特别是视觉分析能力
因为我认为我还没有见过这样的东西
但一定要去看看
如果你有任何具体问题,请告诉我
无论如何
我希望你觉得这个视频有用
感谢观看
像往常一样
我们下个视频见