start	end	text
0	28640	這是你可以在消費級硬件上運行的最好的本地模型。而且就其规模而言,它真的非常出色。在本視頻中,我將向你展示如何將其與DeepSeekHarness這樣強大的編碼代理結合,來構建強大的代理系統。而且它還有一些非常有趣的隱藏能力。例如,它在圖像理解和繪製邊界框方面非常出色。所以在本視頻中,我的目標是向你展示如何設置它。
28640	30280	如果你想使用这个模型
30280	32180	应该使用哪些不同的配置
32180	37620	以及许多人在推理时常犯的错误
37620	41440	首先我们来看几个不同的基准测试
41440	44740	因为这确实能展示这个模型的强大之处
44740	47300	这是人工智能代理指数
47300	50340	目前是51
50340	53340	实际上仅落后于KIMIK3
53340	57620	KIMIK3是一个2.8万亿参数的模型
57620	61840	最重要的是性能在真实世界测试中依然保持
61840	64720	稍后我会在视频中展示几个例子
64720	66840	现在来对比一下
66840	72600	它的智能和性能非常接近最高设置下的Cloud 4.8
72600	79620	而那是几个月前的顶尖模型
79620	83580	有人可能会说这可能是基准测试的结果
83580	85420	但真实世界的性能
85420	87960	实际上非常非常出色
87960	89500	我将向你展示如何用
89500	91300	Deep Seek Harness设置它
91300	93500	我认为这本身就是一个
93500	94540	非常有趣的创新
94540	96040	尤其是来自Deep Seek
96040	97940	这是一个非常强大的框架
97940	99120	我玩得很开心
99120	102120	他们的核心思想是
102120	103560	一切皆可插绑
103560	105160	我为此做了一个视频
105160	107640	我强烈推荐观看那个视频来入门
107640	108120	好的
108120	109060	但在此之前
109060	111200	我会谈谈在哪里可以获取这个模型
111200	113160	它已经在Hugging Face上可用了
113160	115980	如果你有Apple Silicon,我推荐使用MLX版本。
117400	120680	如果你想在Linux或Windows上运行,
120880	124500	VLM和Stealing是两个可以尝试的选择。
125280	128420	所以现在我正在DGX Park上,
128520	130760	我将运行MVIP4版本。
130820	132840	我有一个两节点的集群。
133300	138660	现在DGX Park并不是真正为运行270亿密集模型设计的。
138660	141340	所以我在单线程上
141340	143480	大约每秒15到20个零排
143480	145600	在并发情况下
145600	146900	我想我能达到
146900	149500	每秒60到70个零排
149500	150500	这相当可用
150500	152980	现在要运行这个模型
152980	154860	你只需运行这个
154860	158000	它会为你设置服务器
158000	160020	你可以通过网络访问它
160020	163100	这基本上会为你下载模型
163100	164400	以及草稿模型
164400	167700	它启用了推测解码
167700	170580	好的,对推理,我已经下载了DeepSeek Harness。
171540	176580	我为此做了一个视频,我强烈推荐观看它来了解基础知识。
177760	180020	好的,这就是Harness的样子。
180840	184120	现在为了设置Queen模型,我不得不进入设置。
186060	190620	然后在设置中,你实际上可以配置任何你选择的模型。
190620	197980	这会为你打开这个YAML文件
197980	201020	现在在这个YAML文件中
201020	202740	你需要定义你的提供者
202740	205940	所以我一直在尝试不同的模型
205940	207040	所以你可以看到这里
207040	209020	有一个运行在那个集群上的
209020	213840	DeepSeek vFlash ZR3.827BMLX版本
213840	217700	那现在我正在使用这个配置
217700	220380	它在两个DGX
220380	221860	Spark上运行
221860	224120	原因是
224120	226860	我想要使用完整的上下文窗口
226860	228440	并处理多个
228440	229500	并发请求
229500	231920	你可能已经看到了编码能力
231920	234820	所以我要从我发现最有趣的
234820	235460	一个开始
235460	237140	所以我提供了这张图片
237140	238520	这是一张参考图片
238520	240080	这是一个多摩台模型
240080	243060	这意味着它可以理解图像和文本
247700	255100	它盛程的描述相当准确
255100	258660	我要求它使用OpenCV
258660	261840	这是一个用于计算机视觉的Python包
261840	263960	让它决定做一些分析
263960	267240	所以它实际上编写了自己的框架
267240	269220	来分析幻雄图像
269220	271700	由于这是相当开放的
271700	272960	所以它做了几件事
272960	276340	例如这里它在看边缘检测
276340	280040	这是在做一些类型的脚点叠加
280040	282600	它用来识别图像中的脚点
282600	286060	现在这完全在DGX集群上本地运行
286060	287180	感谢VDia
287180	288840	赞助计算资源
288840	292280	这些视觉语言模型
292280	294060	非常擅长识别物体
294060	296540	但它们在技术方面非常糟糕
296540	300540	但是这个模型实际上让我惊讶
300540	302540	所以我说你在这张图片中
302540	303800	看到多少辆车
303800	306620	他数出了图像中总共有26辆车
306620	311820	所以我想他可能只是编了一个数字
311820	313660	那然后他说好的
313660	315000	从顶行开始
315000	316820	基本上就是这里
316820	318540	如果你能数一下车
318540	323380	1 2 3 4 5 6 7 8 9 10 11
323380	323980	对吧
323980	326240	所以他数出了总共11辆车
326240	328740	然后他谈到主停车场
328740	329360	在那里
329360	330700	你实际上可以看到
330700	335480	有1,2,3,4,5,6,7,8,9辆车
335480	336800	出于某种原因
336800	340020	它没有把这排算作主停车场的一部分
340020	342020	但技术结果相当准确
342020	346960	为此我们需要看四位列
346960	350680	看起来它能够将图像分成不同大小的补丁
350680	354480	然后识别物体并在这些补丁内计数
360700	362660	所以它不仅仅是识别物体
362660	364120	还能指向它们
364120	367200	我们在Deep Seek Vision模型论文中
367200	368640	见过这种能力
368640	372840	但还没有在现实中真正见过
372840	373080	好的
373080	374960	但然后它实际上变得更加有趣
374960	375860	所以我说
375860	378300	图片中有多少辆白色的车
378300	381680	然后它再次开始像之前那样精确的技术
381680	384260	所以它划分并看顶行
384260	385720	然后主停车场
385720	386700	然后路边
386700	389500	根据它的说法
389500	392460	总共有八辆不同的白色汽车
392460	395100	如果你看原始图像
395100	398880	似乎有一二三四五辆白色汽车
398880	401740	但它肯定加上了这个
401740	402320	这个
402320	403860	我想还有这个
403860	405940	但然后我说
405940	406360	好的
406360	409600	如果我要求它在物体周围画边界框呢
409600	411860	但有趣的是
411860	413460	看到实际结果
413460	415100	为了做到这一点
415100	416920	它实际上写了一个python程序
416920	418500	所以你看到的边界框坐标
418500	420240	这些直接来自模型
420240	425420	所以模型实际上指向图像中的不同物体
425420	427380	然后在上面绘制边界框
427380	431260	好的
431260	432760	所以这是结果
432760	434460	实际上相当令人印象深刻
434460	437860	尤其是这是一个视觉语言模型
437860	440660	仅仅通过看图像就绘制边界框
440660	441580	它们并不完美
441580	442060	对吧
442060	443680	所以如果你看这些
443680	445540	可能覆盖了更大的区域
445540	448080	但总的来说它非常准确
448500	450260	有人可能会争论这两个
450260	451800	甚至皮卡车的情况
451800	455460	然而我认为你可以说他们通过了
455460	458020	你可以添加另一个模型
458020	459260	来做物体检测
459260	462700	然后你可以用这个模型来判断
462700	464560	这些检测到的物体是否准确
464560	468620	但总的来说
468620	470400	我真的印象深刻
470400	473080	我还没有见过一个视觉语言模型
473080	473580	在
487270	491390	好的,所以我运行的其他一些测试
491390	494430	这是实时国际空间站追踪器的结果
494430	496670	它实际上是我见过的
496670	499410	开源模型中最好的输出之一
499410	501770	这里的工作真的令人印象深刻
501770	504470	而且在实时更新方面相当准确
504470	507410	它每5秒做一次
507410	508930	完全按照我们的要求
508930	513650	但输出的质量实际上将取决于你设置的推理努力
513650	519130	接下来我们需要谈谈推理努力
519130	521310	有四个不同的级别完全关闭
521310	522990	这变成非推理模型
522990	526750	然后低中超高没有高
535350	537790	有时当你设置为超高或中等时
537790	539710	它会将整个完成预算
539710	540810	用作思考预算
540810	542510	你不会得到任何输出
542510	548730	我已经看到这种情况发生在我身上好几次了
548730	550230	所以对于完全关闭
550230	552410	我要求它使用网络搜索
552410	555510	创建一个关于它自己的网站
555510	558550	所以输出令牌大约是两万个令牌
558550	565210	所以这个是完全关闭
565210	567210	你实际上可以看到
567210	569450	它只是编造了一些数字
569450	571770	我要求模型进行网络搜索
571770	574270	在一个他以前没见过的框架中
574270	576850	然后创建一个网站解释一切
576850	587930	然后仅仅通过将推理努力改为第一
587930	592130	他实际上开始生成一些非常有趣的结果
592130	594550	这实际上是一个相当不错的网站
594550	598790	可以说他甚至比像GPT5.5最初发布时更好
601770	604010	仍然有那种蓝色调
604010	605810	但整体视觉效果非常好
605810	612910	现在这是当你把游戏预算提高到中等时的结果
612910	616550	它开始添加这些漂亮的动画
616550	620070	我认为与完全关闭推理相比
620070	621690	质量显著提高
621690	625550	对,所以你可以看到显著的改进
625550	627970	然而它使用的令牌数量
627970	631190	与非思考版本相比大幅增加
631770	635070	最后相同的提示
635070	636950	相同的上下文是超高推理
642950	644970	视觉质量相当不错
644970	647410	动画与中等推理非常相似
647410	649350	但视觉语言有点不同
649350	656830	颜色与低和中等不同
656830	670170	似乎推理与输出主题的外观有很大关系
670170	676590	我认为这是一个相当可用的网站
676590	679110	你可以从本地模型得到
682310	684790	现在快速看一下令牌数量
684790	687470	推理关闭
687470	690090	输入令牌是8万2千个令牌
690090	691910	输出大约2万个令牌
691910	693130	花了大约15分钟
693130	697790	我猜第二个大约是25
697790	699610	但每次运行之间会变化
699610	701870	因为它在运行多个并方模型
701870	705830	对于超高
705830	707850	几乎50万个输入令牌
707850	709670	6万个输出令牌
709670	711210	大约86分钟
714790	717210	现在中等出于某种原因
717210	718730	实际上消耗了更多的令牌
718730	720150	所以几乎是8
720150	731550	推理35分钟
731550	732850	7万个输入令牌
732850	738170	大约31000个输出令牌
738170	738830	对
738830	739650	所以你可以看到
739650	740950	如果你提高推理努力
740950	743070	令牌数量基本上会爆炸
743070	747070	现在这发生在一个全新的框架下
747070	751770	我认为代理以前没见过
751770	752990	这是Leap Seek Harness
752990	755990	但它有这个非常整洁的轨迹功能
755990	757270	所以你可以点击这个
757270	759910	这基本上会显示上下文中
759910	763570	到目前为止发生的所有事情
763570	765690	所以我们有初始系统提示
765690	767390	一切都可以省计
767390	769150	你实际上可以看到
769150	771230	系统提示中具体包含了什么
771230	773050	然后用户消息是什么
773050	776350	这是我给系统的初始消息
776350	778030	然后上下文
778030	782070	这是模型对Deep Seek Harness的初始上下文
782070	785310	其中一些与QDAV模型无关
785310	787070	但它仍然会看到这些
787070	790590	所以这些是所有可用的技能列表
790590	791110	对吧
791110	792890	但然后美妙之处在于
792890	794690	你实际上可以看到模型
794690	796470	采取了什么具体行动
796470	798490	如果有工具调用
798490	800470	你可以看到具体负载是什么
800470	802350	模式是什么
802350	804250	它使用了结果时间
804250	805870	这相当不可思议
805870	807870	就像我还没有见过
807870	810350	任何其他框架提供这种级别的细节
810350	811890	通常你需要使用一些
811890	814490	其他追踪工具进行可观测性
814490	816930	但Deepsea
816930	818470	使你能够实际查看
818470	820890	所有采取的行动以及时间线
820890	824110	所以你可以
824110	825010	省计它
825010	827210	你可以找出代理在哪里失败
827210	829790	然后如果你看到多个工具
829790	830850	调用失败
830850	833270	你甚至可以更新你的工具
833270	835070	这相当不可思议
835070	839390	现在我确实计划创建一个专门探索Deep-Sea Carnest
839390	841710	中这个标记机制的视频
841710	845390	我觉得这是对框架设计的一个非常新的看法
845390	847330	很多人可以从中学习
847330	850410	好的顺便说一下
850410	853750	它刚刚超过了16万个Github新标
853750	855650	不到一周大
855650	857050	这太疯狂了
857050	864130	目前我认为这是GitHub历史上增长最快的开源项目
864130	869310	有趣的是他们不接受任何外部贡献
869310	874030	所以这一切都要感谢DeepSeek团队
874030	877270	好的,我将运行更多实验
877270	879010	特别是视觉分析能力
879010	880950	因为我认为我还没有见过这样的东西
880950	884070	但一定要去看看
884070	886410	如果你有任何具体问题,请告诉我
887050	888130	无论如何
888130	889790	我希望你觉得这个视频有用
889790	890610	感谢观看
890610	891470	像往常一样
891470	892710	我们下个视频见