1 00:00:00,000 --> 00:00:24,620 大家看我在DeepseekHannis的原码里翻譯了什么。The Agent Codex和The Agent Cloud。这是要做Codex和Codex最严厉的父亲吗?Hannis本地部署千问3.827B同时跑三个任务也行吗?这下是不是真的token自由了?大家好,我是ZZ。DeepseekHannis让本地Agent框架的看研程度更上一层楼,而千问3.827B则是让本地部署大模型执行复杂Agent的任务成为可能。 2 00:00:24,620 --> 00:00:38,220 本期我们就来本地部署Hannis加千问3.827B,实现数据安全和token自由。先给大家介绍一下什么是DeepseekHannis。网上有人说这是Deepseek版的Codex或者Cloud,但是我想说这种说法都不太准确。 3 00:00:38,380 --> 00:00:46,300 因为DeepseekHannis就像一块乐高的底板一样,所有的AZ的能力就为插件,这些插件就像于CoreG,可以任意组合按需替换。 4 00:00:46,300 --> 00:00:54,900 想用手模型,想加载什么工具,怎么调度,怎么囤储都有你决定。甚至可以给DeepseekHannis换了你喜欢的20元角色的UI皮肤。 5 00:00:55,140 --> 00:01:03,380 除了架构上的自由度外,DeepseekHannis的运行过程不仅有迹可循,还公开透明。这一点是在同类任何别人软件上都看不到的。 6 00:01:04,020 --> 00:01:08,480 说起币安软件,我在看DeepseekHannis的原码时,发现了一段有趣的代码。 7 00:01:08,720 --> 00:01:13,260 DeepseekHannis似乎在设计之初就考虑了可以调用其他同类本地Agent能力。 8 00:01:13,260 --> 00:01:18,180 这你敢信,大部分AI助手类软件的设计逻辑肯定是能干的活都自己干了呀。 9 00:01:18,560 --> 00:01:20,920 就算派子一指头肯定也是自己分身一个呀。 10 00:01:21,240 --> 00:01:26,480 比同行留个门还分一杯各种的事情,要是让用户跑了直接用上同行的了那怎么办呢? 11 00:01:26,660 --> 00:01:28,280 不得不说量身这格局够大。 12 00:01:28,540 --> 00:01:36,260 这里我也实际测试了一下,确实能调用到Codex的能力,但是似乎没能找到合适的场景让我不得不去调用Codex的情况呀。 13 00:01:36,380 --> 00:01:37,720 Codex你得加把劲了。 14 00:01:37,720 --> 00:01:40,060 接下来我们来安装一下DeepseekHannis。 15 00:01:40,060 --> 00:01:43,680 首先第一步我们需要来到Node.js的官网下载并安装。 16 00:01:43,680 --> 00:01:45,780 安装过程我们一直点下一步即可。 17 00:01:46,040 --> 00:01:51,700 安装完成后,我们回到DeepseekHannis的官网,复制一下快速体验下面的正行命令。 18 00:01:51,960 --> 00:01:56,480 在开始探测中打开PowerShell,将正行命令粘贴进PowerShell后回车。 19 00:01:56,820 --> 00:01:59,080 等待以后我们输入Y再按回车。 20 00:01:59,500 --> 00:02:04,200 因为这里需要下载,所以它的花费时间会长一些,不是卡住了,请在按那些等一下。 21 00:02:04,920 --> 00:02:07,980 等我们看到外部UI的地址的时候就是安装成功了。 22 00:02:07,980 --> 00:02:09,980 我们把它复制到浏览器打开。 23 00:02:09,980 --> 00:02:12,740 首先第一步就是让我们配置官方API Key。 24 00:02:12,740 --> 00:02:17,600 如果你想用自己的API Key或者本地部署,可以直接跳到视频的后面部分。 25 00:02:17,600 --> 00:02:22,240 Deepseek的Meal,我们可以从Deepseek的官网点击这个API开放平台。 26 00:02:22,240 --> 00:02:25,220 然后在API Key里面创建一个API Key。 27 00:02:25,220 --> 00:02:27,860 然后把这个API Key的Meal复制出来就行了。 28 00:02:27,860 --> 00:02:29,860 当然你得确保你还有余额啊。 29 00:02:29,860 --> 00:02:31,980 不然的话这个API Key也是用不了的。 30 00:02:31,980 --> 00:02:35,980 进入之后我们点击一下对话框,会让我们选择一个工作区。 31 00:02:35,980 --> 00:02:39,980 这个工作区你就可以把它想象成某一个具体项目的生产车间。 32 00:02:39,980 --> 00:02:43,380 比如它需要的一些文件资料,我们可以给它放到里面。 33 00:02:43,380 --> 00:02:47,380 然后它做的一些产出结果,文档也会在里面生成。 34 00:02:47,380 --> 00:02:49,380 接着我们来做一下联通信测试。 35 00:02:49,380 --> 00:02:52,500 我们随便发给它一段话,能够收到对应的回复。 36 00:02:52,500 --> 00:02:54,860 我们的Deepseek Harness就安装成功了。 37 00:02:54,860 --> 00:02:57,980 我们可以在对话框下面选择它的群演等级。 38 00:02:57,980 --> 00:03:02,980 第一个是只读,这种情况下它只会读取你的文件,不会对你的电脑进行任何更改。 39 00:03:02,980 --> 00:03:06,980 第二个是在工作区域的写入,也就是我们刚才选择的文件夹。 40 00:03:06,980 --> 00:03:08,980 正常的话我们就选择第二个就可以了。 41 00:03:08,980 --> 00:03:13,380 第三个是放开全部权限,这个适合有一定基础的小伙伴。 42 00:03:13,380 --> 00:03:16,380 接下来我们来本机部署签问3.820CB。 43 00:03:16,380 --> 00:03:21,980 首先打开LM499的官网,我们点一下载,然后安装的时候点击一支下一步即可。 44 00:03:21,980 --> 00:03:26,980 在LM499中我们可以点击左下角的设置,然后点击第一个选项。 45 00:03:26,980 --> 00:03:28,980 这里可以把它设置为中文。 46 00:03:28,980 --> 00:03:30,980 接下来我们下载千万3.827B模型。 47 00:03:30,980 --> 00:03:33,980 我们点击左侧这个在放大镜的图标。 48 00:03:33,980 --> 00:03:36,980 点击之后我们在这里搜索千万3.8。 49 00:03:36,980 --> 00:03:38,980 这里第一个就是,如果没有的话我可以搜索。 50 00:03:38,980 --> 00:03:40,980 这里一个下载的一个设置。 51 00:03:40,980 --> 00:03:42,980 然后我们点开这就可以下载。 52 00:03:42,980 --> 00:03:44,980 我这里都给下载完了。 53 00:03:44,980 --> 00:03:47,980 然后大家可以根据自己的显存来进行下载。 54 00:03:47,980 --> 00:03:51,980 如果你的显存是16个JJ的话,你就选择这个。 55 00:03:51,980 --> 00:03:53,980 这个17个J也是可以装到下载。 56 00:03:53,980 --> 00:03:56,980 因为它有部分可能会装到内存里面。 57 00:03:56,980 --> 00:03:58,980 所以16J也是可以用的。 58 00:03:58,980 --> 00:04:03,980 然后这个如果你的内存在24J的话,你就选择这个Q6量化的。 59 00:04:03,980 --> 00:04:08,980 然后如果你的显存有29个J以上的话,你就可以选择这个Q8量化的。 60 00:04:08,980 --> 00:04:12,980 下载完成后,我们来测试一下联通性。 61 00:04:12,980 --> 00:04:14,980 点击左侧的这个紫色的logo。 62 00:04:14,980 --> 00:04:17,980 接着我们选择顶部要加载的模型。 63 00:04:17,980 --> 00:04:20,980 然后接着在选择我们的模型,它就会自动加载。 64 00:04:20,980 --> 00:04:25,980 下载成功后,我们任意发送一条消息,能够收到对应的回复。 65 00:04:25,980 --> 00:04:27,980 就说明我们的LM19安装成功了。 66 00:04:27,980 --> 00:04:31,980 千辛3.8RTB这个模型,除了它的agent能力很强外。 67 00:04:31,980 --> 00:04:34,980 它还是一个原生的视觉语言模型。 68 00:04:34,980 --> 00:04:35,980 因此它是可以看图的。 69 00:04:35,980 --> 00:04:39,980 这里我找了一堆笔的图片,看它能不能数得清楚。 70 00:04:39,980 --> 00:04:41,980 好,这里它已经数完了,我们来看一下。 71 00:04:41,980 --> 00:04:44,980 它这里说15支笔,我们来数一数对不对。 72 00:04:44,980 --> 00:04:52,980 1,2,3,4,5,6,7,8,9,10,11,12,13,14,15。 73 00:04:52,980 --> 00:04:57,980 成功数对了,而且它也没有被这一个笔杆和笔帽没有在一起的笔给干扰。 74 00:04:57,980 --> 00:05:02,980 接着我们将本地的约条3.8RTB进入到我们的DVSIC HANIS中。 75 00:05:02,980 --> 00:05:05,980 首先我们在LM1919里面点击左侧的第二个图标。 76 00:05:05,980 --> 00:05:07,980 我们把运行按钮打开。 77 00:05:07,980 --> 00:05:09,980 然后点击这里的加载模型。 78 00:05:09,980 --> 00:05:11,980 选择我们要加载的千万3.8RTB。 79 00:05:11,980 --> 00:05:14,980 加载完成后我们来到DVSIC HANIS中。 80 00:05:14,980 --> 00:05:17,980 点击左下角的设置,点击模型。 81 00:05:17,980 --> 00:05:20,980 然后我们可以点击添加自定义配置方。 82 00:05:20,980 --> 00:05:23,980 Provide ID这里一定要是小写字幕开头。 83 00:05:23,980 --> 00:05:25,980 显示名称这里我们随便填。 84 00:05:25,980 --> 00:05:29,980 API地址这里我们从LM Studio这里复制一下这个地址。 85 00:05:29,980 --> 00:05:33,980 注意这个地址粘过来之后需要在后面加上斜线V1。 86 00:05:33,980 --> 00:05:35,980 API协议选择OpenAI Comulations。 87 00:05:35,980 --> 00:05:39,980 模型目录这里我们同样是从RM Studio这里复制过来。 88 00:05:39,980 --> 00:05:41,980 助理这里很容易复制过来空格。 89 00:05:41,980 --> 00:05:42,980 别问我为什么知道。 90 00:05:42,980 --> 00:05:45,980 我们在对话空中将模型修改为千万3.8RT。 91 00:05:45,980 --> 00:05:47,980 然后进行连通性测试。 92 00:05:47,980 --> 00:05:50,980 回复任意一句话能够受到对应的回应就为成功。 93 00:05:50,980 --> 00:05:53,980 大家在本地部署的过程中遇到任何问题, 94 00:05:53,980 --> 00:05:55,980 也可以先给Hanis配上个线上的API。 95 00:05:55,980 --> 00:05:57,980 让Hanis直接帮你修。 96 00:05:57,980 --> 00:06:00,980 我们让它生成一个飞行小游戏来测试一下。 97 00:06:00,980 --> 00:06:03,980 与此同时我们再让它去写一个科幻小说。 98 00:06:03,980 --> 00:06:05,980 毕竟本运行超恨可是不要钱的。 99 00:06:05,980 --> 00:06:07,980 怎么好像运行的还挺流畅的。 100 00:06:07,980 --> 00:06:08,980 估计还有余力。 101 00:06:08,980 --> 00:06:10,980 再给安排个生成天体的任务吧。 102 00:06:10,980 --> 00:06:12,980 生产队的驴都估计没我电脑忙了。 103 00:06:12,980 --> 00:06:14,980 我只求你别冒烟。 104 00:06:14,980 --> 00:06:17,980 可以看到RM Studio这里三个任务都给跑起来了。 105 00:06:17,980 --> 00:06:19,980 我这电脑的风扇也是嗚嗚的转。 106 00:06:19,980 --> 00:06:21,980 好像开始卡了。不行了。 107 00:06:21,980 --> 00:06:24,980 我这鼠标已经非常难用了。 108 00:06:24,980 --> 00:06:26,980 不过看这个任务它还是在运行的。 109 00:06:26,980 --> 00:06:28,980 但是我这已经操作不了电脑了。 110 00:06:28,980 --> 00:06:30,980 我想把鼠标移动到听纸这里。 111 00:06:30,980 --> 00:06:31,980 但是非常难移动。 112 00:06:31,980 --> 00:06:33,980 而且点击也没什么反应。 113 00:06:33,980 --> 00:06:35,980 这个应该是内存频引导致的。 114 00:06:35,980 --> 00:06:38,980 因为本次这个电脑的话是三十二级内存。 115 00:06:38,980 --> 00:06:41,980 运行一个任务的话应该是一点问题没有。 116 00:06:41,980 --> 00:06:43,980 但是如果运行多个任务的话, 117 00:06:43,980 --> 00:06:46,980 它上线纹都夹在内存中是肯定撑不住的。 118 00:06:46,980 --> 00:06:48,980 所以大家一定要根据自己的情况去执行这个。 119 00:06:48,980 --> 00:06:50,980 任务啊。 120 00:06:50,980 --> 00:06:53,980 包括其实LM199它其实是可以设置上远文长度的。 121 00:06:53,980 --> 00:06:56,980 如果你内存不够高的话,尽量设置的低一点。 122 00:06:56,980 --> 00:06:57,980 比如说64K以下。 123 00:06:57,980 --> 00:07:01,980 而且不要像我这样一聘同时执行好几个任务。 124 00:07:01,980 --> 00:07:03,980 我替你试过了,你就不要去试了。 125 00:07:03,980 --> 00:07:05,980 把电脑搞冒烟可不是那玩的。 126 00:07:05,980 --> 00:07:07,980 我这里想说任务管理器里面结束任务。 127 00:07:07,980 --> 00:07:10,980 但是任务管理器已经卡成一张精彩图片了。 128 00:07:10,980 --> 00:07:13,980 我这里是好不容易把录片软件给退了。 129 00:07:13,980 --> 00:07:14,980 然后才能操作鼠标。 130 00:07:14,980 --> 00:07:16,980 把后来提要两个任务关闭了。 131 00:07:16,980 --> 00:07:18,980 就会排生成的。 132 00:07:18,980 --> 00:07:19,980 我们来看一下生成结果吧。 133 00:07:19,980 --> 00:07:21,980 生成结果还是很出乎我的意料的。 134 00:07:21,980 --> 00:07:24,980 你别看这只是一个简单的飞行射击小游戏。 135 00:07:24,980 --> 00:07:30,980 它处理的这些碰撞啊,移动啊,包括敌人的生成啊,都没有任何问题。 136 00:07:30,980 --> 00:07:33,980 这对于一个27B的小模型来说是非常厉害的。 137 00:07:33,980 --> 00:07:35,980 而且这还是只是一轮停止词的情况下。 138 00:07:35,980 --> 00:07:38,980 如果多轮对话的话,它的潜力还有非常大的发布空间。 139 00:07:38,980 --> 00:07:41,980 我认为这个模型是真的可以多为生产地的一个模型了。 140 00:07:41,980 --> 00:07:43,980 然后我们再来看一下它生成的这个空白小说啊。 141 00:07:43,980 --> 00:07:46,980 虽然我中途停止了,但它生成了也很多东西了。 142 00:07:46,980 --> 00:07:49,980 而且我看它这个内容真的让我非常的震惊啊。 143 00:07:49,980 --> 00:07:51,980 我就一点看不出这是AI写的。 144 00:07:51,980 --> 00:07:54,980 虽然它这个东西写的是一个老套的星际移民的故事啊。 145 00:07:54,980 --> 00:07:59,980 但它这个东西让我看设定的时候,我一下子想到的就是美剧那个什么羊毛战记啊。 146 00:07:59,980 --> 00:08:01,980 就是末日地宝那个。 147 00:08:01,980 --> 00:08:07,980 就是人们挤在地下桶堂里边,然后高层靠着野蛮真相维持生存的秩序啊。 148 00:08:07,980 --> 00:08:09,980 包括它的一些场景设定啊。 149 00:08:09,980 --> 00:08:12,980 比如说,呃,集水柱啊。 150 00:08:12,980 --> 00:08:13,980 然后墙上的救赎啊。 151 00:08:13,980 --> 00:08:15,980 就人死了之后它会。 152 00:08:15,980 --> 00:08:17,980 其实它不是说是死了,就直接上传数据了。 153 00:08:17,980 --> 00:08:19,980 而且它也保留了集水柱。 154 00:08:19,980 --> 00:08:21,980 我就觉得就很有画面感。 155 00:08:21,980 --> 00:08:24,980 就这个画面可能最后做出来就很震撼。 156 00:08:24,980 --> 00:08:27,980 好了,感谢大家能听到我讲到这里啊。 157 00:08:27,980 --> 00:08:30,980 后面我会给大家分享更多的AI相关的知识啊。 158 00:08:30,980 --> 00:08:32,980 大家如果感兴趣的话记得关注一下。 159 00:08:32,980 --> 00:08:34,980 我是VV,在这里谢过大家了。