WEBVTT

00:00.000 --> 00:03.000
大家看我在DeepseekHannis的圆满里翻譯了什么。

00:03.000 --> 00:05.700
The Agent Codex和The Agent Cloud。

00:05.700 --> 00:08.300
这是要做Codex Cloud最严厉的父亲吗?

00:08.300 --> 00:12.700
Hannis本地部署千万3.827B同时跑三个任务也行吗?

00:12.700 --> 00:14.600
这下是不是真的Token自由了?

00:14.600 --> 00:16.000
大家好,我是ZZ。

00:16.000 --> 00:19.600
DeepseekHannis让本地Agent框架的看研程度更上一层楼,

00:19.600 --> 00:24.900
而千万3.827B则是让本地部署大模型执行复杂Agent的任务成为可能。

00:24.900 --> 00:28.700
本期我们就来本地部署Hannis加千万3.827B,

00:28.700 --> 00:30.800
实现数据安全和Token自由。

00:30.800 --> 00:33.200
先给大家介绍一下什么是DeepseekHannis。

00:33.200 --> 00:36.400
网上有人说这是Deepseek版的Codex或者Cloud,

00:36.400 --> 00:38.500
但是我想说这种说法都不太准确,

00:38.500 --> 00:41.400
因为DeepseekHannis就像一块乐高的底板一样,

00:41.400 --> 00:43.200
所有的Agent能力皆为插件,

00:43.200 --> 00:46.600
这些插件就像于CoreGIM可以任意组合按需替换。

00:46.600 --> 00:51.100
想用什么模型,想加载什么工具,怎么调度,怎么存储,都有你决定。

00:51.100 --> 00:55.100
甚至可以给DeepseekHannis换了你喜欢的20元角色的UI皮肤。

00:55.100 --> 00:56.700
除了架构上的自由度外,

00:56.700 --> 01:00.700
DeepseekHannis的运行过程不仅有迹可循,还公开透明,

01:00.700 --> 01:03.700
这一点是在同类任何BN软件上都看不到的。

01:03.700 --> 01:08.700
说起BN软件,我在看DeepseekHannis的原码时,发现了一段有趣的代码。

01:08.700 --> 01:13.400
DeepseekHannis似乎在设计之初就考虑了可以调用其他同类本地Agent能力。

01:13.400 --> 01:18.400
这你敢信,大部分AI助手类软件的设计逻辑肯定是能干的活都自己干了呀,

01:18.400 --> 01:21.100
就算派子Agent肯定也是自己分身一个呀,

01:21.100 --> 01:28.100
比通行留个门还分一杯各种的事情,要是让用户跑了直接用上通行的了那怎么办呢?不得不说量身这格局够大。

01:28.100 --> 01:36.100
这里我也实际测试了一下,确实能调用到Codex的能力,但是似乎没能找到合适的场景,让我不得不去调用Codex的情况呀。

01:36.100 --> 01:37.100
Codex你得加把劲了。

01:37.100 --> 01:40.100
接下来我们来安装一下DeepseekHannis。

01:40.100 --> 01:43.100
首先第一步我们需要来到Node.js的官网下载并安装。

01:43.100 --> 01:51.100
安装过程我们一直点下一步即可。安装完成后,我们回到DeepseekHannis的官网,复制一下快速体验下面的正行命令。

01:51.100 --> 01:58.100
在开始探测中打开PowerShell,将正行命令粘贴进PowerShell后回车。等待以后我们输入Y再按回车。

01:58.100 --> 02:03.100
因为这里需要下载,所以它的花费时间会长一些,不是卡住了,请再按一下。

02:03.100 --> 02:07.100
等我们看到外部UI的地址的时候就是安装成功了。

02:07.100 --> 02:13.100
我们把它复制到浏览器打开。首先第一步就是让我们配置官方API Key。

02:13.100 --> 02:17.100
如果你想用自己的API Key或者本机部署,可以直接跳到视频的后面部分。

02:17.100 --> 02:22.100
DeepseekHannis的Meal,我们可以从DeepseekHannis的官网点击API开放平台。

02:22.100 --> 02:25.100
然后在API Key里面创建一个API Key。

02:25.100 --> 02:28.100
然后把API Key的Meal复制出来就行了。

02:28.100 --> 02:32.100
当然你得确保你还有余额,不然的话API Key也是用不了的。

02:32.100 --> 02:36.100
进入之后我们点击一下对话框,会让我们选择一个工作区。

02:36.100 --> 02:40.100
这个工作区呢,你就可以把它写成某一个具体项目的生产车间。

02:40.100 --> 02:43.100
比如它需要的一些文件资料,我们可以给它放在里面。

02:43.100 --> 02:47.100
然后它做的一些铲除结果,文档也会在里面生成。

02:47.100 --> 02:49.100
接着我们来做一下联通性测试。

02:49.100 --> 02:52.100
我们随便发给它一段话,能够收到对应的回复。

02:52.100 --> 02:55.100
我们的DeepseekHannis就安装成功了。

02:55.100 --> 02:58.100
我们可以在对话框下面选择它的群演等级。

02:58.100 --> 03:03.100
第一个是只读。这种情况下它只会读取你的文件,不会对你的电脑进行任何更改。

03:03.100 --> 03:05.100
第二个是在工作区域的写入。

03:05.100 --> 03:09.100
比如我们刚才选择的文件夹。正常的话我们就选择第二个就可以了。

03:09.100 --> 03:13.100
第三个是放开全部权限。这个适合有一定基础的小伙伴。

03:13.100 --> 03:16.100
接下来我们来本机部署签问3.827B。

03:16.100 --> 03:18.100
首先打开LM499的官网。

03:18.100 --> 03:22.100
我们点一下载,然后安装的时候点击一支下一步即可。

03:22.100 --> 03:26.100
在LM499中我们可以点击左下角的设置,然后点击第一个选项。

03:26.100 --> 03:28.100
这里可以把它设置为中文。

03:28.100 --> 03:31.100
接下来我们来下载签问3.827B的模型。

03:31.100 --> 03:35.100
我们点击左侧这个在放大镜的图标。

03:35.100 --> 03:37.100
点击之后我们在这里搜索千元3.8。

03:37.100 --> 03:39.100
这里第一个就是,如果没有的话我们可以搜索。

03:39.100 --> 03:41.100
这里一个下载的一个设置。

03:41.100 --> 03:43.100
然后点开这就可以下载。

03:43.100 --> 03:45.100
我这里都给下载完了。

03:45.100 --> 03:48.100
然后大家可以根据自己的显存来进行下载。

03:48.100 --> 03:53.100
如果你的显存是16G的话,你就选择这个17G。

03:53.100 --> 03:54.100
也是可以装到下载。

03:54.100 --> 03:57.100
因为它有部分可能会装到内存里面。

03:57.100 --> 03:59.100
所以16G也是可以用的。

03:59.100 --> 04:04.100
然后这个如果你的内存在LM4G的话,你就选择这个Q6样化的。

04:04.100 --> 04:09.100
然后如果你的显存有29G以上的话,你就可以选择这个Q8样化的。

04:09.100 --> 04:12.100
下载完成后,我们来测试一下连通信。

04:12.100 --> 04:15.100
紧左侧的这个紫色的logo。

04:15.100 --> 04:18.100
接着我们选择顶部要加载的模型。

04:18.100 --> 04:21.100
然后接着在选择我们的模型,它就会自动加载。

04:21.100 --> 04:26.100
加载成功后,我们任意发送一条消息,能够收到对应的回复。

04:26.100 --> 04:28.100
就说明我们的LM19安装成功了。

04:28.100 --> 04:32.100
千元3.8RTB这个模型,除了它的agent能力很强外。

04:32.100 --> 04:35.100
它还是一个原生的视觉语言模型。

04:35.100 --> 04:36.100
因此它是可以看图的。

04:36.100 --> 04:40.100
这里我找了一堆比的图片,看它能不能数得清楚。

04:40.100 --> 04:42.100
好,这里它已经数完了,我们来看一下。

04:42.100 --> 04:45.100
它这里说15之笔,我们来数一数对不对。

04:45.100 --> 04:53.100
123456789141112131415。

04:53.100 --> 04:58.100
成功数对了,而且它也没有被这一个笔杆和笔帽没有在一起的笔给干扰。

04:58.100 --> 05:03.100
接着我们将本地语题的千元3.8RTB进入到你们的DeepSyncHoney之中。

05:03.100 --> 05:06.100
首先我们在LM1999里面点击左侧的第二个图标。

05:06.100 --> 05:09.100
我们把运行按钮打开,然后点击这里的加载模型。

05:09.100 --> 05:12.100
选择我们要加载的千元3.8RTB。

05:12.100 --> 05:15.100
加载完成后我们来到DeepSyncHoney之中。

05:15.100 --> 05:18.100
点击左下角的设置,点击模型。

05:18.100 --> 05:21.100
然后我们可以点击添加自定义配置方。

05:21.100 --> 05:24.100
ProvideID这里一定要是小写字幕开头。

05:24.100 --> 05:26.100
显示名称这里我们随便填。

05:26.100 --> 05:30.100
API地址这里我们从LMStudio这里复制一下这个地址。

05:30.100 --> 05:33.100
注意这个地址粘过来之后需要在后面加上斜线V1。

05:33.100 --> 05:36.100
API协议选择OpenAI CovLacens。

05:36.100 --> 05:39.100
模型目录这里我们同样是从LMStudio这里复制过来。

05:39.100 --> 05:41.100
助理这里很容易复制过来空格。

05:41.100 --> 05:43.100
别问我为什么知道。

05:43.100 --> 05:46.100
我们在对话空中将模型修改为千问3.8,

05:46.100 --> 05:48.100
然后进行联通性测试。

05:48.100 --> 05:51.100
回复任意一句话能够收到对应的回应就为成功。

05:51.100 --> 05:53.100
大家在本地部署的过程中遇到任何问题,

05:53.100 --> 05:56.100
也可以先给HaniZ配上个线上的API。

05:56.100 --> 05:58.100
让HaniZ直接帮你修。

05:58.100 --> 06:01.100
这样我们让他生存一个飞行小游戏来测试一下吧。

06:01.100 --> 06:03.100
与此同时我们当然他去写一个科幻小说吧。

06:03.100 --> 06:05.100
毕竟本地运行TOK可是不要钱的啊。

06:05.100 --> 06:07.100
哎,怎么好像运行的还挺流畅的。

06:07.100 --> 06:09.100
估计还有余地。

06:09.100 --> 06:11.100
再给安排个生成天体的任务吧。

06:11.100 --> 06:13.100
生产队的驴子估计没我电脑忙了。

06:13.100 --> 06:15.100
我只求你别冒烟啊。

06:15.100 --> 06:18.100
可以看到LMStudio这里三个任务都给跑起来了。

06:18.100 --> 06:20.100
我这电脑的风扇也是呜呜的转。

06:20.100 --> 06:22.100
哎,好像开始卡了,卡了,不行了。

06:22.100 --> 06:25.100
我这鼠标已经非常难用了。

06:25.100 --> 06:27.100
不过看这个任务它还是在运行的。

06:27.100 --> 06:29.100
但是我这已经操作不了电脑了。

06:29.100 --> 06:31.100
我想把鼠标移动到银子这里啊。

06:31.100 --> 06:32.100
但是非常难移动啊。

06:32.100 --> 06:34.100
而且点机也没什么反应啊。

06:34.100 --> 06:36.100
这个应该是内存平行导致的。

06:36.100 --> 06:39.100
因为本次这个电脑的话是32G内存。

06:39.100 --> 06:42.100
运行一个任务的话应该是一点问题没有。

06:42.100 --> 06:44.100
但是如果运行多个任务的话,

06:44.100 --> 06:47.100
它上线文都夹在内存中是肯定撑不住的。

06:47.100 --> 06:50.100
所以大家一定要根据自己的情况去执行这个任务。

06:50.100 --> 06:54.100
包括其实LM199它其实是可以设置上远文长度的。

06:54.100 --> 06:57.100
如果你内存不够高的话,尽量设置的低一点。

06:57.100 --> 06:58.100
比如说64K以下。

06:58.100 --> 07:02.100
而且不要像我这样一聘同时执行好几个任务。

07:02.100 --> 07:04.100
我替你试过了,你就不要去试了。

07:04.100 --> 07:06.100
把电脑搞猫烟可不是那玩的。

07:06.100 --> 07:08.100
我这里想说任务管理器里面结束任务。

07:08.100 --> 07:11.100
但是任务管理器已经卡成一张精彩图片了。

07:11.100 --> 07:13.100
我这里是好不容易把录片软件给退了,

07:13.100 --> 07:15.100
然后才能操作鼠标。

07:15.100 --> 07:18.100
把后来提要两个字给关闭了,最后才生成的。

07:18.100 --> 07:20.100
我们来看一下生成结果吧。

07:20.100 --> 07:22.100
生成结果还是很出乎我的意料的。

07:22.100 --> 07:25.100
你别看这只是一个简单的飞行设计小游戏。

07:25.100 --> 07:28.100
它处理的这些碰撞啊,移动啊,

07:28.100 --> 07:30.100
包括敌人的生成啊,都没有任何问题。

07:30.100 --> 07:33.100
这对于一个27B的小模型来说是非常厉害的。

07:33.100 --> 07:36.100
而且这还是只是一轮提示词的情况下。

07:36.100 --> 07:39.100
如果多轮对话的话,它的潜力还有非常大的发布空间。

07:39.100 --> 07:42.100
我认为这个模型是真的可以作为生产力的一个模型了。

07:42.100 --> 07:44.100
然后我们再来看一下它生成的这个空外小说。

07:44.100 --> 07:46.100
虽然我中途停止了,

07:46.100 --> 07:47.100
但它生成了也很多东西了。

07:47.100 --> 07:50.100
而且我看它这个内容真的让我非常的震惊。

07:50.100 --> 07:52.100
我就一点看不出这是AI写的。

07:52.100 --> 07:55.100
虽然它这个东西写的是一个老套的星际移民的故事,

07:55.100 --> 07:58.100
但它这个东西让我看设定的时候,

07:58.100 --> 08:02.100
我一下子想到就是美剧那个什么羊毛战记,就是末日地宝那个。

08:02.100 --> 08:08.100
人们挤在地下桶汤里边,然后高层靠着隐瞒真相维持生存的秩序。

08:08.100 --> 08:11.100
包括它的一些场景设定,比如说,

08:11.100 --> 08:16.100
集水柱,然后墙上的救赎,就是人死了之后它会,

08:16.100 --> 08:18.100
其实它不是说是死了就直接上传数据了,

08:18.100 --> 08:20.100
而且它也保留了集水柱。

08:20.100 --> 08:22.100
我就觉得就很有画面感。

08:22.100 --> 08:24.100
就这个画面可能最后做出来就很震撼。

08:24.100 --> 08:27.100
好了,感谢大家能听到我讲到这里。

08:27.100 --> 08:30.100
后面我会给大家分享更多AI相关的知识。

08:30.100 --> 08:33.100
大家如果感兴趣的话记得关注一下。

08:33.100 --> 08:35.100
我是VV,在这里谢过大家了。

