本地部署DeepSeek Harness 加 Qwen3.8-27B教程，实现token自由！我还发现“梁圣”在源码中的彩蛋！

ZZ Dream 首頁 每日列表 原始影片
實際影片長度：8:35.000。原文、繁中、雙語可點擊句子跳轉影片。
0:00.000–0:03.000
zh大家看我在DeepseekHannis的圆满里翻譯了什么。
0:03.000–0:05.700
zhThe Agent Codex和The Agent Cloud。
0:05.700–0:08.300
zh这是要做Codex Cloud最严厉的父亲吗?
0:08.300–0:12.700
zhHannis本地部署千万3.827B同时跑三个任务也行吗?
0:12.700–0:14.600
zh这下是不是真的Token自由了?
0:14.600–0:16.000
zh大家好,我是ZZ。
0:16.000–0:19.600
zhDeepseekHannis让本地Agent框架的看研程度更上一层楼,
0:19.600–0:24.900
zh而千万3.827B则是让本地部署大模型执行复杂Agent的任务成为可能。
0:24.900–0:28.700
zh本期我们就来本地部署Hannis加千万3.827B,
0:28.700–0:30.800
zh实现数据安全和Token自由。
0:30.800–0:33.200
zh先给大家介绍一下什么是DeepseekHannis。
0:33.200–0:36.400
zh网上有人说这是Deepseek版的Codex或者Cloud,
0:36.400–0:38.500
zh但是我想说这种说法都不太准确,
0:38.500–0:41.400
zh因为DeepseekHannis就像一块乐高的底板一样,
0:41.400–0:43.200
zh所有的Agent能力皆为插件,
0:43.200–0:46.600
zh这些插件就像于CoreGIM可以任意组合按需替换。
0:46.600–0:51.100
zh想用什么模型,想加载什么工具,怎么调度,怎么存储,都有你决定。
0:51.100–0:55.100
zh甚至可以给DeepseekHannis换了你喜欢的20元角色的UI皮肤。
0:55.100–0:56.700
zh除了架构上的自由度外,
0:56.700–0:59.950
zhDeepseekHannis的运行过程不仅有迹可循,
0:59.950–1:00.700
zh还公开透明,
1:00.700–1:03.700
zh这一点是在同类任何BN软件上都看不到的。
1:03.700–1:07.325
zh说起BN软件,我在看DeepseekHannis的原码时,
1:07.325–1:08.700
zh发现了一段有趣的代码。
1:08.700–1:11.433
zhDeepseekHannis似乎在设计之初就考虑了
1:11.433–1:13.400
zh可以调用其他同类本地Agent能力。
1:13.400–1:18.400
zh这你敢信,大部分AI助手类软件的设计逻辑肯定是能干的活都自己干了呀,
1:18.400–1:21.100
zh就算派子Agent肯定也是自己分身一个呀,
1:21.100–1:23.386
zh比通行留个门还分一杯各种的事情,
1:23.386–1:26.386
zh要是让用户跑了直接用上通行的了那怎么办呢?
1:26.386–1:28.100
zh不得不说量身这格局够大。
1:28.100–1:31.761
zh这里我也实际测试了一下,确实能调用到Codex的能力,
1:31.761–1:36.100
zh但是似乎没能找到合适的场景,让我不得不去调用Codex的情况呀。
1:36.100–1:37.100
zhCodex你得加把劲了。
1:37.100–1:40.100
zh接下来我们来安装一下DeepseekHannis。
1:40.100–1:43.100
zh首先第一步我们需要来到Node.js的官网下载并安装。
1:43.100–1:45.134
zh安装过程我们一直点下一步即可。
1:45.134–1:48.931
zh安装完成后,我们回到DeepseekHannis的官网,
1:48.931–1:51.100
zh复制一下快速体验下面的正行命令。
1:51.100–1:53.518
zh在开始探测中打开PowerShell,
1:53.518–1:56.318
zh将正行命令粘贴进PowerShell后回车。
1:56.318–1:58.100
zh等待以后我们输入Y再按回车。
1:58.100–2:01.335
zh因为这里需要下载,所以它的花费时间会长一些,
2:01.335–2:03.100
zh不是卡住了,请再按一下。
2:03.100–2:07.100
zh等我们看到外部UI的地址的时候就是安装成功了。
2:07.100–2:09.394
zh我们把它复制到浏览器打开。
2:09.394–2:13.100
zh首先第一步就是让我们配置官方API Key。
2:13.100–2:15.500
zh如果你想用自己的API Key或者本机部署,
2:15.500–2:17.100
zh可以直接跳到视频的后面部分。
2:17.100–2:19.023
zhDeepseekHannis的Meal,
2:19.023–2:22.100
zh我们可以从DeepseekHannis的官网点击API开放平台。
2:22.100–2:25.100
zh然后在API Key里面创建一个API Key。
2:25.100–2:28.100
zh然后把API Key的Meal复制出来就行了。
2:28.100–2:29.755
zh当然你得确保你还有余额,
2:29.755–2:32.100
zh不然的话API Key也是用不了的。
2:32.100–2:34.254
zh进入之后我们点击一下对话框,
2:34.254–2:36.100
zh会让我们选择一个工作区。
2:36.100–2:37.100
zh这个工作区呢,
2:37.100–2:40.100
zh你就可以把它写成某一个具体项目的生产车间。
2:40.100–2:41.725
zh比如它需要的一些文件资料,
2:41.725–2:43.100
zh我们可以给它放在里面。
2:43.100–2:47.100
zh然后它做的一些处理结果,文档也会在里面生成。
2:47.100–2:49.100
zh接着我们来做一下连通性测试。
2:49.100–2:52.100
zh我们随便发给它一段话,能够收到对应的回复。
2:52.100–2:55.100
zh我们的DeepSeek Harness就安装成功了。
2:55.100–2:58.100
zh我们可以在对话框下面选择它的权限等级。
2:58.100–3:03.100
zh第一个是只读。这种情况下它只会读取你的文件,不会对你的电脑进行任何更改。
3:03.100–3:05.100
zh第二个是在工作区域的写入。
3:05.100–3:09.100
zh比如我们刚才选择的文件夹。正常的话我们就选择第二个就可以了。
3:09.100–3:13.100
zh第三个是放开全部权限。这个适合有一定基础的小伙伴。
3:13.100–3:16.100
zh接下来我们来本机部署千问3.8-27B。
3:16.100–3:18.100
zh首先打开LM Studio的官网。
3:18.100–3:22.100
zh我们点击下载,然后安装的时候点击下一步即可。
3:22.100–3:26.100
zh在LM Studio中我们可以点击左下角的设置,然后点击第一个选项。
3:26.100–3:28.100
zh这里可以把它设置为中文。
3:28.100–3:31.100
zh接下来我们来下载千问3.8-27B的模型。
3:31.100–3:35.100
zh我们点击左侧这个在放大镜的图标。
3:35.100–3:37.100
zh点击之后我们在这里搜索千问3.8。
3:37.100–3:39.100
zh这里第一个就是,如果没有的话我们可以搜索。
3:39.100–3:41.100
zh这里有一个下载的设置。
3:41.100–3:43.100
zh然后点开这就可以下载。
3:43.100–3:45.100
zh我这里都给下载完了。
3:45.100–3:48.100
zh然后大家可以根据自己的显存来进行下载。
3:48.100–3:53.100
zh如果你的显存是16G的话,你就选择这个17B。
3:53.100–3:54.100
zh也是可以装到下载。
3:54.100–3:57.100
zh因为它有部分可能会装到内存里面。
3:57.100–3:59.100
zh所以16G也是可以用的。
3:59.100–4:04.100
zh然后这个如果你的内存在16G的话,你就选择这个Q6量化的。
4:04.100–4:06.842
zh然后如果你的显存有29G以上的话,
4:06.842–4:09.100
zh你就可以选择这个Q8量化的。
4:09.100–4:12.100
zh下载完成后,我们来测试一下连通性。
4:12.100–4:15.100
zh点击左侧的这个紫色的logo。
4:15.100–4:18.100
zh接着我们选择顶部要加载的模型。
4:18.100–4:19.957
zh然后接着在选择我们的模型,
4:19.957–4:21.100
zh它就会自动加载。
4:21.100–4:24.248
zh加载成功后,我们任意发送一条消息,
4:24.248–4:26.100
zh能够收到对应的回复。
4:26.100–4:28.100
zh就说明我们的LM Studio安装成功了。
4:28.100–4:30.031
zh千问3.8-27B这个模型,
4:30.031–4:32.100
zh除了它的agent能力很强外。
4:32.100–4:35.100
zh它还是一个原生的视觉语言模型。
4:35.100–4:36.100
zh因此它是可以看图的。
4:36.100–4:38.282
zh这里我找了一堆比的图片,
4:38.282–4:40.100
zh看它能不能数得清楚。
4:40.100–4:41.322
zh好,这里它已经数完了,
4:41.322–4:42.100
zh我们来看一下。
4:42.100–4:45.100
zh它这里说15支笔,我们来数一数对不对。
4:45.100–4:53.100
en123456789141112131415。
4:53.100–4:58.100
zh成功数对了,而且它也没有被那支笔杆和笔帽没有在一起的笔给干扰。
4:58.100–5:00.309
zh接着我们将本地部署的千问3.8-27B
5:00.309–5:03.100
zh进入到你们的DeepSeek Harness之中。
5:03.100–5:04.831
zh首先我们在LM Studio里面
5:04.831–5:06.100
zh点击左侧的第二个图标。
5:06.100–5:07.464
zh我们把运行按钮打开,
5:07.464–5:09.100
zh然后点击这里的加载模型。
5:09.100–5:12.100
zh选择我们要加载的千问3.8-27B。
5:12.100–5:15.100
zh加载完成后我们来到DeepSeek Harness之中。
5:15.100–5:18.100
zh点击左下角的设置,点击模型。
5:18.100–5:21.100
zh然后我们可以点击添加自定义配置方。
5:21.100–5:24.100
zhProviderID这里一定要是小写字母开头。
5:24.100–5:26.100
zh显示名称这里我们随便填。
5:26.100–5:30.100
zhAPI地址这里我们从LMStudio这里复制一下这个地址。
5:30.100–5:33.100
zh注意这个地址粘过来之后需要在后面加上斜线V1。
5:33.100–5:36.100
zhAPI协议选择OpenAI Compatible。
5:36.100–5:39.100
zh模型目录这里我们同样是从LMStudio这里复制过来。
5:39.100–5:41.100
zh助理这里很容易复制过来空格。
5:41.100–5:43.100
zh别问我为什么知道。
5:43.100–5:46.100
zh我们在对话窗口将模型修改为千问3.8,
5:46.100–5:48.100
zh然后进行连通性测试。
5:48.100–5:51.100
zh回复任意一句话能够收到对应的回应就为成功。
5:51.100–5:53.100
zh大家在本地部署的过程中遇到任何问题,
5:53.100–5:56.100
zh也可以先给Harness配上个线上的API。
5:56.100–5:58.100
zh让Harness直接帮你修。
5:58.100–6:01.100
zh这样我们让他生成一个飞行小游戏来测试一下吧。
6:01.100–6:03.100
zh与此同时我们当然他去写一个科幻小说吧。
6:03.100–6:05.100
zh毕竟本地运行Token可是不要钱的啊。
6:05.100–6:07.100
zh哎,怎么好像运行的还挺流畅的。
6:07.100–6:09.100
zh估计还有余地。
6:09.100–6:11.100
zh再给安排个生成天体的任务吧。
6:11.100–6:13.100
zh生产队的驴子估计没我电脑忙了。
6:13.100–6:15.100
zh我只求你别冒烟啊。
6:15.100–6:18.100
zh可以看到LMStudio这里三个任务都给跑起来了。
6:18.100–6:20.100
zh我这电脑的风扇也是呜呜的转。
6:20.100–6:22.100
zh哎,好像开始卡了,卡了,不行了。
6:22.100–6:25.100
zh我这鼠标已经非常难用了。
6:25.100–6:27.100
zh不过看这个任务它还是在运行的。
6:27.100–6:29.100
zh但是我这已经操作不了电脑了。
6:29.100–6:31.100
zh我想把鼠标移动到银子这里啊。
6:31.100–6:32.100
zh但是非常难移动啊。
6:32.100–6:34.100
zh而且点机也没什么反应啊。
6:34.100–6:36.100
zh这个应该是内存平行导致的。
6:36.100–6:39.100
zh因为本次这个电脑的话是32G内存。
6:39.100–6:42.100
zh运行一个任务的话应该是一点问题没有。
6:42.100–6:44.100
zh但是如果运行多个任务的话,
6:44.100–6:47.100
zh它上线文都夹在内存中是肯定撑不住的。
6:47.100–6:50.100
zh所以大家一定要根据自己的情况去执行这个任务。
6:50.100–6:54.100
zh包括其实LM199它其实是可以设置上远文长度的。
6:54.100–6:57.100
zh如果你内存不够高的话,尽量设置的低一点。
6:57.100–6:58.100
zh比如说64K以下。
6:58.100–7:02.100
zh而且不要像我这样一聘同时执行好几个任务。
7:02.100–7:04.100
zh我替你试过了,你就不要去试了。
7:04.100–7:06.100
zh把电脑搞猫烟可不是那玩的。
7:06.100–7:08.100
zh我这里想说任务管理器里面结束任务。
7:08.100–7:11.100
zh但是任务管理器已经卡成一张精彩图片了。
7:11.100–7:13.100
zh我这里是好不容易把录片软件给退了,
7:13.100–7:15.100
zh然后才能操作鼠标。
7:15.100–7:18.100
zh把后来提要两个字给关闭了,最后才生成的。
7:18.100–7:20.100
zh我们来看一下生成结果吧。
7:20.100–7:22.100
zh生成结果还是很出乎我的意料的。
7:22.100–7:25.100
zh你别看这只是一个简单的飞行设计小游戏。
7:25.100–7:28.100
zh它处理的这些碰撞啊,移动啊,
7:28.100–7:30.100
zh包括敌人的生成啊,都没有任何问题。
7:30.100–7:33.100
zh这对于一个27B的小模型来说是非常厉害的。
7:33.100–7:36.100
zh而且这还是只是一轮提示词的情况下。
7:36.100–7:39.100
zh如果多轮对话的话,它的潜力还有非常大的发布空间。
7:39.100–7:42.100
zh我认为这个模型是真的可以作为生产力的一个模型了。
7:42.100–7:44.100
zh然后我们再来看一下它生成的这个空外小说。
7:44.100–7:46.100
zh虽然我中途停止了,
7:46.100–7:47.100
zh但它生成了也很多东西了。
7:47.100–7:50.100
zh而且我看它这个内容真的让我非常的震惊。
7:50.100–7:52.100
zh我就一点看不出这是AI写的。
7:52.100–7:55.100
zh虽然它这个东西写的是一个老套的星际移民的故事,
7:55.100–7:58.100
zh但它这个东西让我看设定的时候,
7:58.100–8:02.100
zh我一下子想到就是美剧那个什么羊毛战记,就是末日地宝那个。
8:02.100–8:08.100
zh人们挤在地下桶汤里边,然后高层靠着隐瞒真相维持生存的秩序。
8:08.100–8:11.100
zh包括它的一些场景设定,比如说,
8:11.100–8:16.100
zh集水柱,然后墙上的救赎,就是人死了之后它会,
8:16.100–8:18.100
zh其实它不是说是死了就直接上传数据了,
8:18.100–8:20.100
zh而且它也保留了集水柱。
8:20.100–8:22.100
zh我就觉得就很有画面感。
8:22.100–8:24.100
zh就这个画面可能最后做出来就很震撼。
8:24.100–8:27.100
zh好了,感谢大家能听到我讲到这里。
8:27.100–8:30.100
zh后面我会给大家分享更多AI相关的知识。
8:30.100–8:33.100
zh大家如果感兴趣的话记得关注一下。
8:33.100–8:35.000
zh我是VV,在这里谢过大家了。
0:00.000–0:03.000
大家看我在DeepseekHannis的圆满里翻譯了什么。
0:03.000–0:05.700
The Agent Codex和The Agent Cloud。
0:05.700–0:08.300
这是要做Codex Cloud最严厉的父亲吗?
0:08.300–0:12.700
Hannis本地部署千万3.827B同时跑三个任务也行吗?
0:12.700–0:14.600
这下是不是真的Token自由了?
0:14.600–0:16.000
大家好,我是ZZ。
0:16.000–0:19.600
DeepseekHannis让本地Agent框架的看研程度更上一层楼,
0:19.600–0:24.900
而千万3.827B则是让本地部署大模型执行复杂Agent的任务成为可能。
0:24.900–0:28.700
本期我们就来本地部署Hannis加千万3.827B,
0:28.700–0:30.800
实现数据安全和Token自由。
0:30.800–0:33.200
先给大家介绍一下什么是DeepseekHannis。
0:33.200–0:36.400
网上有人说这是Deepseek版的Codex或者Cloud,
0:36.400–0:38.500
但是我想说这种说法都不太准确,
0:38.500–0:41.400
因为DeepseekHannis就像一块乐高的底板一样,
0:41.400–0:43.200
所有的Agent能力皆为插件,
0:43.200–0:46.600
这些插件就像于CoreGIM可以任意组合按需替换。
0:46.600–0:51.100
想用什么模型,想加载什么工具,怎么调度,怎么存储,都有你决定。
0:51.100–0:55.100
甚至可以给DeepseekHannis换了你喜欢的20元角色的UI皮肤。
0:55.100–0:56.700
除了架构上的自由度外,
0:56.700–0:59.950
DeepseekHannis的运行过程不仅有迹可循,
0:59.950–1:00.700
还公开透明,
1:00.700–1:03.700
这一点是在同类任何BN软件上都看不到的。
1:03.700–1:07.325
说起BN软件,我在看DeepseekHannis的原码时,
1:07.325–1:08.700
发现了一段有趣的代码。
1:08.700–1:11.433
DeepseekHannis似乎在设计之初就考虑了
1:11.433–1:13.400
可以调用其他同类本地Agent能力。
1:13.400–1:18.400
这你敢信,大部分AI助手类软件的设计逻辑肯定是能干的活都自己干了呀,
1:18.400–1:21.100
就算派子Agent肯定也是自己分身一个呀,
1:21.100–1:23.386
比通行留个门还分一杯各种的事情,
1:23.386–1:26.386
要是让用户跑了直接用上通行的了那怎么办呢?
1:26.386–1:28.100
不得不说量身这格局够大。
1:28.100–1:31.761
这里我也实际测试了一下,确实能调用到Codex的能力,
1:31.761–1:36.100
但是似乎没能找到合适的场景,让我不得不去调用Codex的情况呀。
1:36.100–1:37.100
Codex你得加把劲了。
1:37.100–1:40.100
接下来我们来安装一下DeepseekHannis。
1:40.100–1:43.100
首先第一步我们需要来到Node.js的官网下载并安装。
1:43.100–1:45.134
安装过程我们一直点下一步即可。
1:45.134–1:48.931
安装完成后,我们回到DeepseekHannis的官网,
1:48.931–1:51.100
复制一下快速体验下面的正行命令。
1:51.100–1:53.518
在开始探测中打开PowerShell,
1:53.518–1:56.318
将正行命令粘贴进PowerShell后回车。
1:56.318–1:58.100
等待以后我们输入Y再按回车。
1:58.100–2:01.335
因为这里需要下载,所以它的花费时间会长一些,
2:01.335–2:03.100
不是卡住了,请再按一下。
2:03.100–2:07.100
等我们看到外部UI的地址的时候就是安装成功了。
2:07.100–2:09.394
我们把它复制到浏览器打开。
2:09.394–2:13.100
首先第一步就是让我们配置官方API Key。
2:13.100–2:15.500
如果你想用自己的API Key或者本机部署,
2:15.500–2:17.100
可以直接跳到视频的后面部分。
2:17.100–2:19.023
DeepseekHannis的Meal,
2:19.023–2:22.100
我们可以从DeepseekHannis的官网点击API开放平台。
2:22.100–2:25.100
然后在API Key里面创建一个API Key。
2:25.100–2:28.100
然后把API Key的Meal复制出来就行了。
2:28.100–2:29.755
当然你得确保你还有余额,
2:29.755–2:32.100
不然的话API Key也是用不了的。
2:32.100–2:34.254
进入之后我们点击一下对话框,
2:34.254–2:36.100
会让我们选择一个工作区。
2:36.100–2:37.100
这个工作区呢,
2:37.100–2:40.100
你就可以把它写成某一个具体项目的生产车间。
2:40.100–2:41.725
比如它需要的一些文件资料,
2:41.725–2:43.100
我们可以给它放在里面。
2:43.100–2:47.100
然后它做的一些处理结果,文档也会在里面生成。
2:47.100–2:49.100
接着我们来做一下连通性测试。
2:49.100–2:52.100
我们随便发给它一段话,能够收到对应的回复。
2:52.100–2:55.100
我们的DeepSeek Harness就安装成功了。
2:55.100–2:58.100
我们可以在对话框下面选择它的权限等级。
2:58.100–3:03.100
第一个是只读。这种情况下它只会读取你的文件,不会对你的电脑进行任何更改。
3:03.100–3:05.100
第二个是在工作区域的写入。
3:05.100–3:09.100
比如我们刚才选择的文件夹。正常的话我们就选择第二个就可以了。
3:09.100–3:13.100
第三个是放开全部权限。这个适合有一定基础的小伙伴。
3:13.100–3:16.100
接下来我们来本机部署千问3.8-27B。
3:16.100–3:18.100
首先打开LM Studio的官网。
3:18.100–3:22.100
我们点击下载,然后安装的时候点击下一步即可。
3:22.100–3:26.100
在LM Studio中我们可以点击左下角的设置,然后点击第一个选项。
3:26.100–3:28.100
这里可以把它设置为中文。
3:28.100–3:31.100
接下来我们来下载千问3.8-27B的模型。
3:31.100–3:35.100
我们点击左侧这个在放大镜的图标。
3:35.100–3:37.100
点击之后我们在这里搜索千问3.8。
3:37.100–3:39.100
这里第一个就是,如果没有的话我们可以搜索。
3:39.100–3:41.100
这里有一个下载的设置。
3:41.100–3:43.100
然后点开这就可以下载。
3:43.100–3:45.100
我这里都给下载完了。
3:45.100–3:48.100
然后大家可以根据自己的显存来进行下载。
3:48.100–3:53.100
如果你的显存是16G的话,你就选择这个17B。
3:53.100–3:54.100
也是可以装到下载。
3:54.100–3:57.100
因为它有部分可能会装到内存里面。
3:57.100–3:59.100
所以16G也是可以用的。
3:59.100–4:04.100
然后这个如果你的内存在16G的话,你就选择这个Q6量化的。
4:04.100–4:06.842
然后如果你的显存有29G以上的话,
4:06.842–4:09.100
你就可以选择这个Q8量化的。
4:09.100–4:12.100
下载完成后,我们来测试一下连通性。
4:12.100–4:15.100
点击左侧的这个紫色的logo。
4:15.100–4:18.100
接着我们选择顶部要加载的模型。
4:18.100–4:19.957
然后接着在选择我们的模型,
4:19.957–4:21.100
它就会自动加载。
4:21.100–4:24.248
加载成功后,我们任意发送一条消息,
4:24.248–4:26.100
能够收到对应的回复。
4:26.100–4:28.100
就说明我们的LM Studio安装成功了。
4:28.100–4:30.031
千问3.8-27B这个模型,
4:30.031–4:32.100
除了它的agent能力很强外。
4:32.100–4:35.100
它还是一个原生的视觉语言模型。
4:35.100–4:36.100
因此它是可以看图的。
4:36.100–4:38.282
这里我找了一堆比的图片,
4:38.282–4:40.100
看它能不能数得清楚。
4:40.100–4:41.322
好,这里它已经数完了,
4:41.322–4:42.100
我们来看一下。
4:42.100–4:45.100
它这里说15支笔,我们来数一数对不对。
4:45.100–4:53.100
123456789141112131415。
4:53.100–4:58.100
成功数对了,而且它也没有被那支笔杆和笔帽没有在一起的笔给干扰。
4:58.100–5:00.309
接着我们将本地部署的千问3.8-27B
5:00.309–5:03.100
进入到你们的DeepSeek Harness之中。
5:03.100–5:04.831
首先我们在LM Studio里面
5:04.831–5:06.100
点击左侧的第二个图标。
5:06.100–5:07.464
我们把运行按钮打开,
5:07.464–5:09.100
然后点击这里的加载模型。
5:09.100–5:12.100
选择我们要加载的千问3.8-27B。
5:12.100–5:15.100
加载完成后我们来到DeepSeek Harness之中。
5:15.100–5:18.100
点击左下角的设置,点击模型。
5:18.100–5:21.100
然后我们可以点击添加自定义配置方。
5:21.100–5:24.100
ProviderID这里一定要是小写字母开头。
5:24.100–5:26.100
显示名称这里我们随便填。
5:26.100–5:30.100
API地址这里我们从LMStudio这里复制一下这个地址。
5:30.100–5:33.100
注意这个地址粘过来之后需要在后面加上斜线V1。
5:33.100–5:36.100
API协议选择OpenAI Compatible。
5:36.100–5:39.100
模型目录这里我们同样是从LMStudio这里复制过来。
5:39.100–5:41.100
助理这里很容易复制过来空格。
5:41.100–5:43.100
别问我为什么知道。
5:43.100–5:46.100
我们在对话窗口将模型修改为千问3.8,
5:46.100–5:48.100
然后进行连通性测试。
5:48.100–5:51.100
回复任意一句话能够收到对应的回应就为成功。
5:51.100–5:53.100
大家在本地部署的过程中遇到任何问题,
5:53.100–5:56.100
也可以先给Harness配上个线上的API。
5:56.100–5:58.100
让Harness直接帮你修。
5:58.100–6:01.100
这样我们让他生成一个飞行小游戏来测试一下吧。
6:01.100–6:03.100
与此同时我们当然他去写一个科幻小说吧。
6:03.100–6:05.100
毕竟本地运行Token可是不要钱的啊。
6:05.100–6:07.100
哎,怎么好像运行的还挺流畅的。
6:07.100–6:09.100
估计还有余地。
6:09.100–6:11.100
再给安排个生成天体的任务吧。
6:11.100–6:13.100
生产队的驴子估计没我电脑忙了。
6:13.100–6:15.100
我只求你别冒烟啊。
6:15.100–6:18.100
可以看到LMStudio这里三个任务都给跑起来了。
6:18.100–6:20.100
我这电脑的风扇也是呜呜的转。
6:20.100–6:22.100
哎,好像开始卡了,卡了,不行了。
6:22.100–6:25.100
我这鼠标已经非常难用了。
6:25.100–6:27.100
不过看这个任务它还是在运行的。
6:27.100–6:29.100
但是我这已经操作不了电脑了。
6:29.100–6:31.100
我想把鼠标移动到银子这里啊。
6:31.100–6:32.100
但是非常难移动啊。
6:32.100–6:34.100
而且点机也没什么反应啊。
6:34.100–6:36.100
这个应该是内存平行导致的。
6:36.100–6:39.100
因为本次这个电脑的话是32G内存。
6:39.100–6:42.100
运行一个任务的话应该是一点问题没有。
6:42.100–6:44.100
但是如果运行多个任务的话,
6:44.100–6:47.100
它上线文都夹在内存中是肯定撑不住的。
6:47.100–6:50.100
所以大家一定要根据自己的情况去执行这个任务。
6:50.100–6:54.100
包括其实LM199它其实是可以设置上远文长度的。
6:54.100–6:57.100
如果你内存不够高的话,尽量设置的低一点。
6:57.100–6:58.100
比如说64K以下。
6:58.100–7:02.100
而且不要像我这样一聘同时执行好几个任务。
7:02.100–7:04.100
我替你试过了,你就不要去试了。
7:04.100–7:06.100
把电脑搞猫烟可不是那玩的。
7:06.100–7:08.100
我这里想说任务管理器里面结束任务。
7:08.100–7:11.100
但是任务管理器已经卡成一张精彩图片了。
7:11.100–7:13.100
我这里是好不容易把录片软件给退了,
7:13.100–7:15.100
然后才能操作鼠标。
7:15.100–7:18.100
把后来提要两个字给关闭了,最后才生成的。
7:18.100–7:20.100
我们来看一下生成结果吧。
7:20.100–7:22.100
生成结果还是很出乎我的意料的。
7:22.100–7:25.100
你别看这只是一个简单的飞行设计小游戏。
7:25.100–7:28.100
它处理的这些碰撞啊,移动啊,
7:28.100–7:30.100
包括敌人的生成啊,都没有任何问题。
7:30.100–7:33.100
这对于一个27B的小模型来说是非常厉害的。
7:33.100–7:36.100
而且这还是只是一轮提示词的情况下。
7:36.100–7:39.100
如果多轮对话的话,它的潜力还有非常大的发布空间。
7:39.100–7:42.100
我认为这个模型是真的可以作为生产力的一个模型了。
7:42.100–7:44.100
然后我们再来看一下它生成的这个空外小说。
7:44.100–7:46.100
虽然我中途停止了,
7:46.100–7:47.100
但它生成了也很多东西了。
7:47.100–7:50.100
而且我看它这个内容真的让我非常的震惊。
7:50.100–7:52.100
我就一点看不出这是AI写的。
7:52.100–7:55.100
虽然它这个东西写的是一个老套的星际移民的故事,
7:55.100–7:58.100
但它这个东西让我看设定的时候,
7:58.100–8:02.100
我一下子想到就是美剧那个什么羊毛战记,就是末日地宝那个。
8:02.100–8:08.100
人们挤在地下桶汤里边,然后高层靠着隐瞒真相维持生存的秩序。
8:08.100–8:11.100
包括它的一些场景设定,比如说,
8:11.100–8:16.100
集水柱,然后墙上的救赎,就是人死了之后它会,
8:16.100–8:18.100
其实它不是说是死了就直接上传数据了,
8:18.100–8:20.100
而且它也保留了集水柱。
8:20.100–8:22.100
我就觉得就很有画面感。
8:22.100–8:24.100
就这个画面可能最后做出来就很震撼。
8:24.100–8:27.100
好了,感谢大家能听到我讲到这里。
8:27.100–8:30.100
后面我会给大家分享更多AI相关的知识。
8:30.100–8:33.100
大家如果感兴趣的话记得关注一下。
8:33.100–8:35.000
我是VV,在这里谢过大家了。
0:00.000–0:03.000
zh大家看我在DeepseekHannis的圆满里翻譯了什么。
大家看我在DeepseekHannis的圆满里翻譯了什么。
0:03.000–0:05.700
zhThe Agent Codex和The Agent Cloud。
The Agent Codex和The Agent Cloud。
0:05.700–0:08.300
zh这是要做Codex Cloud最严厉的父亲吗?
这是要做Codex Cloud最严厉的父亲吗?
0:08.300–0:12.700
zhHannis本地部署千万3.827B同时跑三个任务也行吗?
Hannis本地部署千万3.827B同时跑三个任务也行吗?
0:12.700–0:14.600
zh这下是不是真的Token自由了?
这下是不是真的Token自由了?
0:14.600–0:16.000
zh大家好,我是ZZ。
大家好,我是ZZ。
0:16.000–0:19.600
zhDeepseekHannis让本地Agent框架的看研程度更上一层楼,
DeepseekHannis让本地Agent框架的看研程度更上一层楼,
0:19.600–0:24.900
zh而千万3.827B则是让本地部署大模型执行复杂Agent的任务成为可能。
而千万3.827B则是让本地部署大模型执行复杂Agent的任务成为可能。
0:24.900–0:28.700
zh本期我们就来本地部署Hannis加千万3.827B,
本期我们就来本地部署Hannis加千万3.827B,
0:28.700–0:30.800
zh实现数据安全和Token自由。
实现数据安全和Token自由。
0:30.800–0:33.200
zh先给大家介绍一下什么是DeepseekHannis。
先给大家介绍一下什么是DeepseekHannis。
0:33.200–0:36.400
zh网上有人说这是Deepseek版的Codex或者Cloud,
网上有人说这是Deepseek版的Codex或者Cloud,
0:36.400–0:38.500
zh但是我想说这种说法都不太准确,
但是我想说这种说法都不太准确,
0:38.500–0:41.400
zh因为DeepseekHannis就像一块乐高的底板一样,
因为DeepseekHannis就像一块乐高的底板一样,
0:41.400–0:43.200
zh所有的Agent能力皆为插件,
所有的Agent能力皆为插件,
0:43.200–0:46.600
zh这些插件就像于CoreGIM可以任意组合按需替换。
这些插件就像于CoreGIM可以任意组合按需替换。
0:46.600–0:51.100
zh想用什么模型,想加载什么工具,怎么调度,怎么存储,都有你决定。
想用什么模型,想加载什么工具,怎么调度,怎么存储,都有你决定。
0:51.100–0:55.100
zh甚至可以给DeepseekHannis换了你喜欢的20元角色的UI皮肤。
甚至可以给DeepseekHannis换了你喜欢的20元角色的UI皮肤。
0:55.100–0:56.700
zh除了架构上的自由度外,
除了架构上的自由度外,
0:56.700–0:59.950
zhDeepseekHannis的运行过程不仅有迹可循,
DeepseekHannis的运行过程不仅有迹可循,
0:59.950–1:00.700
zh还公开透明,
还公开透明,
1:00.700–1:03.700
zh这一点是在同类任何BN软件上都看不到的。
这一点是在同类任何BN软件上都看不到的。
1:03.700–1:07.325
zh说起BN软件,我在看DeepseekHannis的原码时,
说起BN软件,我在看DeepseekHannis的原码时,
1:07.325–1:08.700
zh发现了一段有趣的代码。
发现了一段有趣的代码。
1:08.700–1:11.433
zhDeepseekHannis似乎在设计之初就考虑了
DeepseekHannis似乎在设计之初就考虑了
1:11.433–1:13.400
zh可以调用其他同类本地Agent能力。
可以调用其他同类本地Agent能力。
1:13.400–1:18.400
zh这你敢信,大部分AI助手类软件的设计逻辑肯定是能干的活都自己干了呀,
这你敢信,大部分AI助手类软件的设计逻辑肯定是能干的活都自己干了呀,
1:18.400–1:21.100
zh就算派子Agent肯定也是自己分身一个呀,
就算派子Agent肯定也是自己分身一个呀,
1:21.100–1:23.386
zh比通行留个门还分一杯各种的事情,
比通行留个门还分一杯各种的事情,
1:23.386–1:26.386
zh要是让用户跑了直接用上通行的了那怎么办呢?
要是让用户跑了直接用上通行的了那怎么办呢?
1:26.386–1:28.100
zh不得不说量身这格局够大。
不得不说量身这格局够大。
1:28.100–1:31.761
zh这里我也实际测试了一下,确实能调用到Codex的能力,
这里我也实际测试了一下,确实能调用到Codex的能力,
1:31.761–1:36.100
zh但是似乎没能找到合适的场景,让我不得不去调用Codex的情况呀。
但是似乎没能找到合适的场景,让我不得不去调用Codex的情况呀。
1:36.100–1:37.100
zhCodex你得加把劲了。
Codex你得加把劲了。
1:37.100–1:40.100
zh接下来我们来安装一下DeepseekHannis。
接下来我们来安装一下DeepseekHannis。
1:40.100–1:43.100
zh首先第一步我们需要来到Node.js的官网下载并安装。
首先第一步我们需要来到Node.js的官网下载并安装。
1:43.100–1:45.134
zh安装过程我们一直点下一步即可。
安装过程我们一直点下一步即可。
1:45.134–1:48.931
zh安装完成后,我们回到DeepseekHannis的官网,
安装完成后,我们回到DeepseekHannis的官网,
1:48.931–1:51.100
zh复制一下快速体验下面的正行命令。
复制一下快速体验下面的正行命令。
1:51.100–1:53.518
zh在开始探测中打开PowerShell,
在开始探测中打开PowerShell,
1:53.518–1:56.318
zh将正行命令粘贴进PowerShell后回车。
将正行命令粘贴进PowerShell后回车。
1:56.318–1:58.100
zh等待以后我们输入Y再按回车。
等待以后我们输入Y再按回车。
1:58.100–2:01.335
zh因为这里需要下载,所以它的花费时间会长一些,
因为这里需要下载,所以它的花费时间会长一些,
2:01.335–2:03.100
zh不是卡住了,请再按一下。
不是卡住了,请再按一下。
2:03.100–2:07.100
zh等我们看到外部UI的地址的时候就是安装成功了。
等我们看到外部UI的地址的时候就是安装成功了。
2:07.100–2:09.394
zh我们把它复制到浏览器打开。
我们把它复制到浏览器打开。
2:09.394–2:13.100
zh首先第一步就是让我们配置官方API Key。
首先第一步就是让我们配置官方API Key。
2:13.100–2:15.500
zh如果你想用自己的API Key或者本机部署,
如果你想用自己的API Key或者本机部署,
2:15.500–2:17.100
zh可以直接跳到视频的后面部分。
可以直接跳到视频的后面部分。
2:17.100–2:19.023
zhDeepseekHannis的Meal,
DeepseekHannis的Meal,
2:19.023–2:22.100
zh我们可以从DeepseekHannis的官网点击API开放平台。
我们可以从DeepseekHannis的官网点击API开放平台。
2:22.100–2:25.100
zh然后在API Key里面创建一个API Key。
然后在API Key里面创建一个API Key。
2:25.100–2:28.100
zh然后把API Key的Meal复制出来就行了。
然后把API Key的Meal复制出来就行了。
2:28.100–2:29.755
zh当然你得确保你还有余额,
当然你得确保你还有余额,
2:29.755–2:32.100
zh不然的话API Key也是用不了的。
不然的话API Key也是用不了的。
2:32.100–2:34.254
zh进入之后我们点击一下对话框,
进入之后我们点击一下对话框,
2:34.254–2:36.100
zh会让我们选择一个工作区。
会让我们选择一个工作区。
2:36.100–2:37.100
zh这个工作区呢,
这个工作区呢,
2:37.100–2:40.100
zh你就可以把它写成某一个具体项目的生产车间。
你就可以把它写成某一个具体项目的生产车间。
2:40.100–2:41.725
zh比如它需要的一些文件资料,
比如它需要的一些文件资料,
2:41.725–2:43.100
zh我们可以给它放在里面。
我们可以给它放在里面。
2:43.100–2:47.100
zh然后它做的一些处理结果,文档也会在里面生成。
然后它做的一些处理结果,文档也会在里面生成。
2:47.100–2:49.100
zh接着我们来做一下连通性测试。
接着我们来做一下连通性测试。
2:49.100–2:52.100
zh我们随便发给它一段话,能够收到对应的回复。
我们随便发给它一段话,能够收到对应的回复。
2:52.100–2:55.100
zh我们的DeepSeek Harness就安装成功了。
我们的DeepSeek Harness就安装成功了。
2:55.100–2:58.100
zh我们可以在对话框下面选择它的权限等级。
我们可以在对话框下面选择它的权限等级。
2:58.100–3:03.100
zh第一个是只读。这种情况下它只会读取你的文件,不会对你的电脑进行任何更改。
第一个是只读。这种情况下它只会读取你的文件,不会对你的电脑进行任何更改。
3:03.100–3:05.100
zh第二个是在工作区域的写入。
第二个是在工作区域的写入。
3:05.100–3:09.100
zh比如我们刚才选择的文件夹。正常的话我们就选择第二个就可以了。
比如我们刚才选择的文件夹。正常的话我们就选择第二个就可以了。
3:09.100–3:13.100
zh第三个是放开全部权限。这个适合有一定基础的小伙伴。
第三个是放开全部权限。这个适合有一定基础的小伙伴。
3:13.100–3:16.100
zh接下来我们来本机部署千问3.8-27B。
接下来我们来本机部署千问3.8-27B。
3:16.100–3:18.100
zh首先打开LM Studio的官网。
首先打开LM Studio的官网。
3:18.100–3:22.100
zh我们点击下载,然后安装的时候点击下一步即可。
我们点击下载,然后安装的时候点击下一步即可。
3:22.100–3:26.100
zh在LM Studio中我们可以点击左下角的设置,然后点击第一个选项。
在LM Studio中我们可以点击左下角的设置,然后点击第一个选项。
3:26.100–3:28.100
zh这里可以把它设置为中文。
这里可以把它设置为中文。
3:28.100–3:31.100
zh接下来我们来下载千问3.8-27B的模型。
接下来我们来下载千问3.8-27B的模型。
3:31.100–3:35.100
zh我们点击左侧这个在放大镜的图标。
我们点击左侧这个在放大镜的图标。
3:35.100–3:37.100
zh点击之后我们在这里搜索千问3.8。
点击之后我们在这里搜索千问3.8。
3:37.100–3:39.100
zh这里第一个就是,如果没有的话我们可以搜索。
这里第一个就是,如果没有的话我们可以搜索。
3:39.100–3:41.100
zh这里有一个下载的设置。
这里有一个下载的设置。
3:41.100–3:43.100
zh然后点开这就可以下载。
然后点开这就可以下载。
3:43.100–3:45.100
zh我这里都给下载完了。
我这里都给下载完了。
3:45.100–3:48.100
zh然后大家可以根据自己的显存来进行下载。
然后大家可以根据自己的显存来进行下载。
3:48.100–3:53.100
zh如果你的显存是16G的话,你就选择这个17B。
如果你的显存是16G的话,你就选择这个17B。
3:53.100–3:54.100
zh也是可以装到下载。
也是可以装到下载。
3:54.100–3:57.100
zh因为它有部分可能会装到内存里面。
因为它有部分可能会装到内存里面。
3:57.100–3:59.100
zh所以16G也是可以用的。
所以16G也是可以用的。
3:59.100–4:04.100
zh然后这个如果你的内存在16G的话,你就选择这个Q6量化的。
然后这个如果你的内存在16G的话,你就选择这个Q6量化的。
4:04.100–4:06.842
zh然后如果你的显存有29G以上的话,
然后如果你的显存有29G以上的话,
4:06.842–4:09.100
zh你就可以选择这个Q8量化的。
你就可以选择这个Q8量化的。
4:09.100–4:12.100
zh下载完成后,我们来测试一下连通性。
下载完成后,我们来测试一下连通性。
4:12.100–4:15.100
zh点击左侧的这个紫色的logo。
点击左侧的这个紫色的logo。
4:15.100–4:18.100
zh接着我们选择顶部要加载的模型。
接着我们选择顶部要加载的模型。
4:18.100–4:19.957
zh然后接着在选择我们的模型,
然后接着在选择我们的模型,
4:19.957–4:21.100
zh它就会自动加载。
它就会自动加载。
4:21.100–4:24.248
zh加载成功后,我们任意发送一条消息,
加载成功后,我们任意发送一条消息,
4:24.248–4:26.100
zh能够收到对应的回复。
能够收到对应的回复。
4:26.100–4:28.100
zh就说明我们的LM Studio安装成功了。
就说明我们的LM Studio安装成功了。
4:28.100–4:30.031
zh千问3.8-27B这个模型,
千问3.8-27B这个模型,
4:30.031–4:32.100
zh除了它的agent能力很强外。
除了它的agent能力很强外。
4:32.100–4:35.100
zh它还是一个原生的视觉语言模型。
它还是一个原生的视觉语言模型。
4:35.100–4:36.100
zh因此它是可以看图的。
因此它是可以看图的。
4:36.100–4:38.282
zh这里我找了一堆比的图片,
这里我找了一堆比的图片,
4:38.282–4:40.100
zh看它能不能数得清楚。
看它能不能数得清楚。
4:40.100–4:41.322
zh好,这里它已经数完了,
好,这里它已经数完了,
4:41.322–4:42.100
zh我们来看一下。
我们来看一下。
4:42.100–4:45.100
zh它这里说15支笔,我们来数一数对不对。
它这里说15支笔,我们来数一数对不对。
4:45.100–4:53.100
en123456789141112131415。
123456789141112131415。
4:53.100–4:58.100
zh成功数对了,而且它也没有被那支笔杆和笔帽没有在一起的笔给干扰。
成功数对了,而且它也没有被那支笔杆和笔帽没有在一起的笔给干扰。
4:58.100–5:00.309
zh接着我们将本地部署的千问3.8-27B
接着我们将本地部署的千问3.8-27B
5:00.309–5:03.100
zh进入到你们的DeepSeek Harness之中。
进入到你们的DeepSeek Harness之中。
5:03.100–5:04.831
zh首先我们在LM Studio里面
首先我们在LM Studio里面
5:04.831–5:06.100
zh点击左侧的第二个图标。
点击左侧的第二个图标。
5:06.100–5:07.464
zh我们把运行按钮打开,
我们把运行按钮打开,
5:07.464–5:09.100
zh然后点击这里的加载模型。
然后点击这里的加载模型。
5:09.100–5:12.100
zh选择我们要加载的千问3.8-27B。
选择我们要加载的千问3.8-27B。
5:12.100–5:15.100
zh加载完成后我们来到DeepSeek Harness之中。
加载完成后我们来到DeepSeek Harness之中。
5:15.100–5:18.100
zh点击左下角的设置,点击模型。
点击左下角的设置,点击模型。
5:18.100–5:21.100
zh然后我们可以点击添加自定义配置方。
然后我们可以点击添加自定义配置方。
5:21.100–5:24.100
zhProviderID这里一定要是小写字母开头。
ProviderID这里一定要是小写字母开头。
5:24.100–5:26.100
zh显示名称这里我们随便填。
显示名称这里我们随便填。
5:26.100–5:30.100
zhAPI地址这里我们从LMStudio这里复制一下这个地址。
API地址这里我们从LMStudio这里复制一下这个地址。
5:30.100–5:33.100
zh注意这个地址粘过来之后需要在后面加上斜线V1。
注意这个地址粘过来之后需要在后面加上斜线V1。
5:33.100–5:36.100
zhAPI协议选择OpenAI Compatible。
API协议选择OpenAI Compatible。
5:36.100–5:39.100
zh模型目录这里我们同样是从LMStudio这里复制过来。
模型目录这里我们同样是从LMStudio这里复制过来。
5:39.100–5:41.100
zh助理这里很容易复制过来空格。
助理这里很容易复制过来空格。
5:41.100–5:43.100
zh别问我为什么知道。
别问我为什么知道。
5:43.100–5:46.100
zh我们在对话窗口将模型修改为千问3.8,
我们在对话窗口将模型修改为千问3.8,
5:46.100–5:48.100
zh然后进行连通性测试。
然后进行连通性测试。
5:48.100–5:51.100
zh回复任意一句话能够收到对应的回应就为成功。
回复任意一句话能够收到对应的回应就为成功。
5:51.100–5:53.100
zh大家在本地部署的过程中遇到任何问题,
大家在本地部署的过程中遇到任何问题,
5:53.100–5:56.100
zh也可以先给Harness配上个线上的API。
也可以先给Harness配上个线上的API。
5:56.100–5:58.100
zh让Harness直接帮你修。
让Harness直接帮你修。
5:58.100–6:01.100
zh这样我们让他生成一个飞行小游戏来测试一下吧。
这样我们让他生成一个飞行小游戏来测试一下吧。
6:01.100–6:03.100
zh与此同时我们当然他去写一个科幻小说吧。
与此同时我们当然他去写一个科幻小说吧。
6:03.100–6:05.100
zh毕竟本地运行Token可是不要钱的啊。
毕竟本地运行Token可是不要钱的啊。
6:05.100–6:07.100
zh哎,怎么好像运行的还挺流畅的。
哎,怎么好像运行的还挺流畅的。
6:07.100–6:09.100
zh估计还有余地。
估计还有余地。
6:09.100–6:11.100
zh再给安排个生成天体的任务吧。
再给安排个生成天体的任务吧。
6:11.100–6:13.100
zh生产队的驴子估计没我电脑忙了。
生产队的驴子估计没我电脑忙了。
6:13.100–6:15.100
zh我只求你别冒烟啊。
我只求你别冒烟啊。
6:15.100–6:18.100
zh可以看到LMStudio这里三个任务都给跑起来了。
可以看到LMStudio这里三个任务都给跑起来了。
6:18.100–6:20.100
zh我这电脑的风扇也是呜呜的转。
我这电脑的风扇也是呜呜的转。
6:20.100–6:22.100
zh哎,好像开始卡了,卡了,不行了。
哎,好像开始卡了,卡了,不行了。
6:22.100–6:25.100
zh我这鼠标已经非常难用了。
我这鼠标已经非常难用了。
6:25.100–6:27.100
zh不过看这个任务它还是在运行的。
不过看这个任务它还是在运行的。
6:27.100–6:29.100
zh但是我这已经操作不了电脑了。
但是我这已经操作不了电脑了。
6:29.100–6:31.100
zh我想把鼠标移动到银子这里啊。
我想把鼠标移动到银子这里啊。
6:31.100–6:32.100
zh但是非常难移动啊。
但是非常难移动啊。
6:32.100–6:34.100
zh而且点机也没什么反应啊。
而且点机也没什么反应啊。
6:34.100–6:36.100
zh这个应该是内存平行导致的。
这个应该是内存平行导致的。
6:36.100–6:39.100
zh因为本次这个电脑的话是32G内存。
因为本次这个电脑的话是32G内存。
6:39.100–6:42.100
zh运行一个任务的话应该是一点问题没有。
运行一个任务的话应该是一点问题没有。
6:42.100–6:44.100
zh但是如果运行多个任务的话,
但是如果运行多个任务的话,
6:44.100–6:47.100
zh它上线文都夹在内存中是肯定撑不住的。
它上线文都夹在内存中是肯定撑不住的。
6:47.100–6:50.100
zh所以大家一定要根据自己的情况去执行这个任务。
所以大家一定要根据自己的情况去执行这个任务。
6:50.100–6:54.100
zh包括其实LM199它其实是可以设置上远文长度的。
包括其实LM199它其实是可以设置上远文长度的。
6:54.100–6:57.100
zh如果你内存不够高的话,尽量设置的低一点。
如果你内存不够高的话,尽量设置的低一点。
6:57.100–6:58.100
zh比如说64K以下。
比如说64K以下。
6:58.100–7:02.100
zh而且不要像我这样一聘同时执行好几个任务。
而且不要像我这样一聘同时执行好几个任务。
7:02.100–7:04.100
zh我替你试过了,你就不要去试了。
我替你试过了,你就不要去试了。
7:04.100–7:06.100
zh把电脑搞猫烟可不是那玩的。
把电脑搞猫烟可不是那玩的。
7:06.100–7:08.100
zh我这里想说任务管理器里面结束任务。
我这里想说任务管理器里面结束任务。
7:08.100–7:11.100
zh但是任务管理器已经卡成一张精彩图片了。
但是任务管理器已经卡成一张精彩图片了。
7:11.100–7:13.100
zh我这里是好不容易把录片软件给退了,
我这里是好不容易把录片软件给退了,
7:13.100–7:15.100
zh然后才能操作鼠标。
然后才能操作鼠标。
7:15.100–7:18.100
zh把后来提要两个字给关闭了,最后才生成的。
把后来提要两个字给关闭了,最后才生成的。
7:18.100–7:20.100
zh我们来看一下生成结果吧。
我们来看一下生成结果吧。
7:20.100–7:22.100
zh生成结果还是很出乎我的意料的。
生成结果还是很出乎我的意料的。
7:22.100–7:25.100
zh你别看这只是一个简单的飞行设计小游戏。
你别看这只是一个简单的飞行设计小游戏。
7:25.100–7:28.100
zh它处理的这些碰撞啊,移动啊,
它处理的这些碰撞啊,移动啊,
7:28.100–7:30.100
zh包括敌人的生成啊,都没有任何问题。
包括敌人的生成啊,都没有任何问题。
7:30.100–7:33.100
zh这对于一个27B的小模型来说是非常厉害的。
这对于一个27B的小模型来说是非常厉害的。
7:33.100–7:36.100
zh而且这还是只是一轮提示词的情况下。
而且这还是只是一轮提示词的情况下。
7:36.100–7:39.100
zh如果多轮对话的话,它的潜力还有非常大的发布空间。
如果多轮对话的话,它的潜力还有非常大的发布空间。
7:39.100–7:42.100
zh我认为这个模型是真的可以作为生产力的一个模型了。
我认为这个模型是真的可以作为生产力的一个模型了。
7:42.100–7:44.100
zh然后我们再来看一下它生成的这个空外小说。
然后我们再来看一下它生成的这个空外小说。
7:44.100–7:46.100
zh虽然我中途停止了,
虽然我中途停止了,
7:46.100–7:47.100
zh但它生成了也很多东西了。
但它生成了也很多东西了。
7:47.100–7:50.100
zh而且我看它这个内容真的让我非常的震惊。
而且我看它这个内容真的让我非常的震惊。
7:50.100–7:52.100
zh我就一点看不出这是AI写的。
我就一点看不出这是AI写的。
7:52.100–7:55.100
zh虽然它这个东西写的是一个老套的星际移民的故事,
虽然它这个东西写的是一个老套的星际移民的故事,
7:55.100–7:58.100
zh但它这个东西让我看设定的时候,
但它这个东西让我看设定的时候,
7:58.100–8:02.100
zh我一下子想到就是美剧那个什么羊毛战记,就是末日地宝那个。
我一下子想到就是美剧那个什么羊毛战记,就是末日地宝那个。
8:02.100–8:08.100
zh人们挤在地下桶汤里边,然后高层靠着隐瞒真相维持生存的秩序。
人们挤在地下桶汤里边,然后高层靠着隐瞒真相维持生存的秩序。
8:08.100–8:11.100
zh包括它的一些场景设定,比如说,
包括它的一些场景设定,比如说,
8:11.100–8:16.100
zh集水柱,然后墙上的救赎,就是人死了之后它会,
集水柱,然后墙上的救赎,就是人死了之后它会,
8:16.100–8:18.100
zh其实它不是说是死了就直接上传数据了,
其实它不是说是死了就直接上传数据了,
8:18.100–8:20.100
zh而且它也保留了集水柱。
而且它也保留了集水柱。
8:20.100–8:22.100
zh我就觉得就很有画面感。
我就觉得就很有画面感。
8:22.100–8:24.100
zh就这个画面可能最后做出来就很震撼。
就这个画面可能最后做出来就很震撼。
8:24.100–8:27.100
zh好了,感谢大家能听到我讲到这里。
好了,感谢大家能听到我讲到这里。
8:27.100–8:30.100
zh后面我会给大家分享更多AI相关的知识。
后面我会给大家分享更多AI相关的知识。
8:30.100–8:33.100
zh大家如果感兴趣的话记得关注一下。
大家如果感兴趣的话记得关注一下。
8:33.100–8:35.000
zh我是VV,在这里谢过大家了。
我是VV,在这里谢过大家了。

影片筆記：本地部署DeepSeek Harness 加 Qwen3.8-27B教程，实现token自由！我还发现“梁圣”在源码中的彩蛋！

一句話總結

講者演示如何在本地環境部署 DeepSeek Harness 框架並接入 Qwen 3.8-27B 模型，通過插件化架構實現 Agent 能力組合與數據安全，同時實測展示了該模型在單一任務下的強大生產力，但也揭示了多任務並發時對硬體記憶體與顯存的極高需求。

核心重點

  • DeepSeek Harness 定位：被描述為類似「樂高底板」的 Agent 框架，具備高度自由度與插件化架構，用戶可自定義模型、工具、存儲及 UI，且運行過程透明開源。
  • Qwen 3.8-27B 能力：具備原生視覺語言能力（可讀圖）及強大的 Agent 能力，在單一任務（如生成遊戲代碼、撰寫科幻小說）中展現出接近人類水平的生產力。
  • 本地部署流程：需安裝 Node.js 與 LM Studio，透過配置 API Key 與自定義模型連接，將本地模型接入 DeepSeek Harness 進行對話與任務執行。
  • 硬體瓶頸警告：實測同時執行三個高負載任務（飛行小遊戲、科幻小說、天體生成）時，導致 32G 記憶體電腦資源耗盡、系統卡死，驗證了本地部署大模型對硬體資源的巨大消耗。

詳細大綱

一、 DeepSeek Harness 介紹與特性

  • 框架定位：非單純的 Codex 或 Cloud 替代品，而是類似「樂高底板」的 Agent 框架。
  • 核心優勢：
  • 插件化架構：Agent 能力皆為插件，可任意組合、按需替換。
  • 高度自由：用戶決定使用何種模型、加載何種工具、調度方式及存儲方式。
  • UI 自定義：支援更換 UI 皮膚。
  • 透明性：運行過程有跡可循且公開透明，區別於其他閉源軟體。
  • 生態兼容性：原始碼設計考慮了調用同類本地 Agent 能力（如 Codex），展現大格局。

二、 DeepSeek Harness 安裝與配置

  • 前置條件：需安裝 Node.js。
  • 安裝步驟：
  1. 從官網下載安裝 Node.js。
  2. 從 DeepSeek Harness 官網複製快速體驗命令。
  3. 在 PowerShell 中執行命令，輸入 Y 確認下載。
  4. 獲取外部 UI 地址並透過瀏覽器開啟。
  • API Key 配置：
  • 需從 DeepSeek Harness 官網的 API 開放平台創建 API Key。
  • 確保帳戶有餘額方可使用。
  • 工作區（Workspace）設定：
  • 定義為具體項目的「生產車間」，用於存放文件資料及生成處理結果。
  • 權限等級選擇：
  1. 只讀：僅讀取文件，不更改電腦。
  2. 工作區域寫入（推薦）：僅對指定資料夾進行寫入。
  3. 全部權限：適合進階用戶。

三、 Qwen 3.8-27B 本地部署與測試

  • LM Studio 安裝：
  1. 下載安裝 LM Studio。
  2. 設定語言為中文。
  3. 搜尋並下載 Qwen 3.8 系列模型。
  • 硬體與量化選擇建議：
  • 16G 顯存：可選擇 17B 模型（部分資源可能佔用記憶體）。
  • 16G 記憶體：選擇 Q6 量化版本。
  • 29G+ 顯存：選擇 Q8 量化版本。
  • 連通性測試：
  • 在 LM Studio 中加載模型並發送訊息，確認能收到回覆。
  • 視覺能力測試：
  • 驗證 Qwen 3.8-27B 作為原生視覺語言模型的能力。
  • 實測數筆數量（15支筆），模型成功數出正確數量，且未受筆桿與筆帽分離的干擾。

四、 本地模型接入 DeepSeek Harness

  • LM Studio 服務端設置：
  1. 開啟運行按鈕。
  2. 加載 Qwen 3.8-27B 模型。
  • Harness 端配置：
  1. 進入設置 > 模型 > 添加自定義配置方。
  2. Provider ID：必須小寫字母開頭。
  3. 顯示名稱：隨意填寫。
  4. API 地址：從 LM Studio 複製，並務必在後方加上 /v1。
  5. API 協議：選擇 OpenAI Compatible。
  6. 模型目錄：從 LM Studio 複製（注意去除空格）。
  • 最終測試：在對話窗口切換至 Qwen 3.8 進行連通性測試。

五、 高負載實測與硬體瓶頸

  • 測試場景：同時執行三個任務（飛行小遊戲、科幻小說、天體生成）。
  • 執行過程：
  • 初期運行流暢，但隨任務增加，電腦風扇狂轉。
  • 系統出現嚴重延遲，滑鼠移動困難，點擊無反應。
  • 任務管理器卡死，講者被迫關閉錄製軟體才能恢復操作。
  • 原因分析：
  • 硬體限制：電腦僅 32G 記憶體。
  • 上下文載入：多個任務的上下文同時夾在記憶體中導致撐不住。
  • 建議：
  • 根據硬體情況執行任務。
  • 記憶體不足時，LM Studio 可設置上下文長度（建議 64K 以下）。
  • 避免同時執行多個高負載任務。

六、 生成結果評估

  • 飛行小遊戲：
  • 一輪提示詞下，碰撞、移動、敵人生成邏輯處理無誤。
  • 認為 27B 小模型具備此能力非常厲害，具備生產力潛力。
  • 科幻小說：
  • 雖中途停止，但生成內容令人震驚，難以辨認是 AI 所寫。
  • 設定靈感類似《羊毛戰記》或《末日地堡》（地下桶湯、高層隱瞞真相、集水柱、牆上救贖等）。
  • 具備強烈的畫面感與震撼力。

工具 / 模型 / 名詞整理

  • DeepSeek Harness（逐字稿中亦稱為 DeepseekHannis）
  • The Agent Codex
  • The Agent Cloud
  • Codex
  • Node.js
  • PowerShell
  • LM Studio
  • Qwen 3.8-27B（逐字稿中亦稱為 千问3.8-27B、千万3.827B、Qwen 3.8）
  • OpenAI Compatible（API 協議）
  • Q6 量化
  • Q8 量化
  • 《羊毛戰記》（提及的美劇/作品名稱）
  • 《末日地堡》（提及的美劇/作品名稱）

操作流程整理

  1. 環境準備：
  • 安裝 Node.js。
  • 安裝 LM Studio 並設定語言為中文。
  1. DeepSeek Harness 部署：
  • 從官網複製快速體驗命令。
  • 在 PowerShell 執行命令並確認下載。
  • 從官網 API 開放平台創建 API Key 並確保帳戶有餘額。
  • 獲取外部 UI 地址並透過瀏覽器開啟。
  • 設定工作區（Workspace）與權限等級（推薦「工作區域寫入」）。
  1. Qwen 3.8-27B 本地加載：
  • 在 LM Studio 搜尋並下載 Qwen 3.8 系列模型。
  • 根據硬體選擇量化版本（16G 顯存選 17B/Q6；29G+ 顯存選 Q8）。
  • 在 LM Studio 中加載模型並開啟服務端運行按鈕。
  1. 連接 Harness 與本地模型：
  • 在 DeepSeek Harness 中進入設置 > 模型 > 添加自定義配置方。
  • 填寫 Provider ID（小寫字母開頭）、顯示名稱。
  • 複製 LM Studio 的 API 地址並加上 /v1。
  • 選擇 API 協議為 OpenAI Compatible。
  • 複製模型目錄（去除空格）。
  1. 實測驗證：
  • 在對話窗口切換至 Qwen 3.8 進行連通性測試。
  • 執行高負載任務（如生成遊戲代碼、撰寫小說）並監控系統資源。

值得注意的限制或風險

  • 硬體資源消耗極大：同時執行多個高負載任務（如遊戲生成、小說撰寫）會迅速佔滿記憶體與顯存，導致系統卡死、滑鼠無響應，甚至需要強制關閉錄製軟體才能恢復操作。
  • 記憶體限制：對於僅有 32G 記憶體的電腦，建議將 LM Studio 的上下文長度設置在 64K 以下，以避免記憶體溢出。
  • 多任務並發不穩定：目前實測顯示，單任務下生產力潛力巨大，但多任務並發時硬體瓶頸明顯，不建議同時執行多個高負載任務。

逐字稿辨識疑點

  • DeepseekHannis：逐字稿中多次出現此名稱，與常見的 DeepSeek 產品線名稱（如 DeepSeek-V3, DeepSeek-Coder 等）不符，疑為聽寫錯誤或特定暱稱。
  • 千万3.827B：模型名稱疑點，通常 Qwen 系列為 7B, 14B, 32B, 72B 等，「3.827B」與「千问」的對應關係需查證，可能為「Qwen 2.5-32B」或「Qwen 1.5-7B」等的聽誤，或指代特定未公開版本。
  • Meal：在提及 API Key 時，講者說「DeepseekHannis的Meal...把API Key的Meal复制出来」，疑為「Key」或「Secret」的聽誤。
  • 正行命令：疑為「命令行」或「指令」的聽誤。
  • 开始探测中：疑為「開始菜單」或「終端」的聽誤。
  • BN软件：疑為「閉源軟體」或「商業軟體」的聽誤。
  • 派子Agent：疑為「派生 Agent」或「子 Agent」的聽誤。
  • 通行留个门：語意不明，疑為「同行留個門」或特定隱喻的聽誤。
  • 量身这格局：疑為「這格局」或「深層格局」的聽誤。
  • LM199：疑為「LM Studio」或某個參數名稱的聽誤。
  • 一聘：疑為「一並」的聽誤。
  • 精彩图片：形容任務管理器卡死狀態，疑為「靜態圖片」或「截圖」的聽誤。
  • 录片软件：疑為「錄屏軟體」的聽誤。
  • 后来提要：疑為「後台提要」或「任務列」的聽誤。
  • VV：講者開頭自稱 ZZ，結尾自稱 VV，需確認講者暱稱。
  • 空外小说：疑為「科幻小說」的聽誤。
  • 集水柱：小說設定中的詞彙，疑為「蓄水池」或特定設定名稱。
  • 墙上的救赎：小說設定中的詞彙，疑為特定隱喻或聽誤。

可延伸追問

  • DeepSeek Harness 的原始碼中提到的「梁聖」彩蛋具體指什麼內容？
  • Qwen 3.8-27B 的「3.8」參數具體代表什麼意義？是否為官方正式發行的版本？
  • 在記憶體不足的情況下，是否有其他優化策略可以進一步降低本地部署的硬體門檻？
  • DeepSeek Harness 的插件生態目前支持哪些具體的工具類型？

尚未產生學習筆記

請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習