大家看我在DeepseekHannis的圆满里翻譯了什么。
The Agent Codex和The Agent Cloud。
这是要做Codex Cloud最严厉的父亲吗?
Hannis本地部署千万3.827B同时跑三个任务也行吗?
这下是不是真的Token自由了?
大家好,我是ZZ。
DeepseekHannis让本地Agent框架的看研程度更上一层楼,
而千万3.827B则是让本地部署大模型执行复杂Agent的任务成为可能。
本期我们就来本地部署Hannis加千万3.827B,
实现数据安全和Token自由。
先给大家介绍一下什么是DeepseekHannis。
网上有人说这是Deepseek版的Codex或者Cloud,
但是我想说这种说法都不太准确,
因为DeepseekHannis就像一块乐高的底板一样,
所有的Agent能力皆为插件,
这些插件就像于CoreGIM可以任意组合按需替换。
想用什么模型,想加载什么工具,怎么调度,怎么存储,都有你决定。
甚至可以给DeepseekHannis换了你喜欢的20元角色的UI皮肤。
除了架构上的自由度外,
DeepseekHannis的运行过程不仅有迹可循,还公开透明,
这一点是在同类任何BN软件上都看不到的。
说起BN软件,我在看DeepseekHannis的原码时,发现了一段有趣的代码。
DeepseekHannis似乎在设计之初就考虑了可以调用其他同类本地Agent能力。
这你敢信,大部分AI助手类软件的设计逻辑肯定是能干的活都自己干了呀,
就算派子Agent肯定也是自己分身一个呀,
比通行留个门还分一杯各种的事情,要是让用户跑了直接用上通行的了那怎么办呢?不得不说量身这格局够大。
这里我也实际测试了一下,确实能调用到Codex的能力,但是似乎没能找到合适的场景,让我不得不去调用Codex的情况呀。
Codex你得加把劲了。
接下来我们来安装一下DeepseekHannis。
首先第一步我们需要来到Node.js的官网下载并安装。
安装过程我们一直点下一步即可。安装完成后,我们回到DeepseekHannis的官网,复制一下快速体验下面的正行命令。
在开始探测中打开PowerShell,将正行命令粘贴进PowerShell后回车。等待以后我们输入Y再按回车。
因为这里需要下载,所以它的花费时间会长一些,不是卡住了,请再按一下。
等我们看到外部UI的地址的时候就是安装成功了。
我们把它复制到浏览器打开。首先第一步就是让我们配置官方API Key。
如果你想用自己的API Key或者本机部署,可以直接跳到视频的后面部分。
DeepseekHannis的Meal,我们可以从DeepseekHannis的官网点击API开放平台。
然后在API Key里面创建一个API Key。
然后把API Key的Meal复制出来就行了。
当然你得确保你还有余额,不然的话API Key也是用不了的。
进入之后我们点击一下对话框,会让我们选择一个工作区。
这个工作区呢,你就可以把它写成某一个具体项目的生产车间。
比如它需要的一些文件资料,我们可以给它放在里面。
然后它做的一些铲除结果,文档也会在里面生成。
接着我们来做一下联通性测试。
我们随便发给它一段话,能够收到对应的回复。
我们的DeepseekHannis就安装成功了。
我们可以在对话框下面选择它的群演等级。
第一个是只读。这种情况下它只会读取你的文件,不会对你的电脑进行任何更改。
第二个是在工作区域的写入。
比如我们刚才选择的文件夹。正常的话我们就选择第二个就可以了。
第三个是放开全部权限。这个适合有一定基础的小伙伴。
接下来我们来本机部署签问3.827B。
首先打开LM499的官网。
我们点一下载,然后安装的时候点击一支下一步即可。
在LM499中我们可以点击左下角的设置,然后点击第一个选项。
这里可以把它设置为中文。
接下来我们来下载签问3.827B的模型。
我们点击左侧这个在放大镜的图标。
点击之后我们在这里搜索千元3.8。
这里第一个就是,如果没有的话我们可以搜索。
这里一个下载的一个设置。
然后点开这就可以下载。
我这里都给下载完了。
然后大家可以根据自己的显存来进行下载。
如果你的显存是16G的话,你就选择这个17G。
也是可以装到下载。
因为它有部分可能会装到内存里面。
所以16G也是可以用的。
然后这个如果你的内存在LM4G的话,你就选择这个Q6样化的。
然后如果你的显存有29G以上的话,你就可以选择这个Q8样化的。
下载完成后,我们来测试一下连通信。
紧左侧的这个紫色的logo。
接着我们选择顶部要加载的模型。
然后接着在选择我们的模型,它就会自动加载。
加载成功后,我们任意发送一条消息,能够收到对应的回复。
就说明我们的LM19安装成功了。
千元3.8RTB这个模型,除了它的agent能力很强外。
它还是一个原生的视觉语言模型。
因此它是可以看图的。
这里我找了一堆比的图片,看它能不能数得清楚。
好,这里它已经数完了,我们来看一下。
它这里说15之笔,我们来数一数对不对。
123456789141112131415。
成功数对了,而且它也没有被这一个笔杆和笔帽没有在一起的笔给干扰。
接着我们将本地语题的千元3.8RTB进入到你们的DeepSyncHoney之中。
首先我们在LM1999里面点击左侧的第二个图标。
我们把运行按钮打开,然后点击这里的加载模型。
选择我们要加载的千元3.8RTB。
加载完成后我们来到DeepSyncHoney之中。
点击左下角的设置,点击模型。
然后我们可以点击添加自定义配置方。
ProvideID这里一定要是小写字幕开头。
显示名称这里我们随便填。
API地址这里我们从LMStudio这里复制一下这个地址。
注意这个地址粘过来之后需要在后面加上斜线V1。
API协议选择OpenAI CovLacens。
模型目录这里我们同样是从LMStudio这里复制过来。
助理这里很容易复制过来空格。
别问我为什么知道。
我们在对话空中将模型修改为千问3.8,
然后进行联通性测试。
回复任意一句话能够收到对应的回应就为成功。
大家在本地部署的过程中遇到任何问题,
也可以先给HaniZ配上个线上的API。
让HaniZ直接帮你修。
这样我们让他生存一个飞行小游戏来测试一下吧。
与此同时我们当然他去写一个科幻小说吧。
毕竟本地运行TOK可是不要钱的啊。
哎,怎么好像运行的还挺流畅的。
估计还有余地。
再给安排个生成天体的任务吧。
生产队的驴子估计没我电脑忙了。
我只求你别冒烟啊。
可以看到LMStudio这里三个任务都给跑起来了。
我这电脑的风扇也是呜呜的转。
哎,好像开始卡了,卡了,不行了。
我这鼠标已经非常难用了。
不过看这个任务它还是在运行的。
但是我这已经操作不了电脑了。
我想把鼠标移动到银子这里啊。
但是非常难移动啊。
而且点机也没什么反应啊。
这个应该是内存平行导致的。
因为本次这个电脑的话是32G内存。
运行一个任务的话应该是一点问题没有。
但是如果运行多个任务的话,
它上线文都夹在内存中是肯定撑不住的。
所以大家一定要根据自己的情况去执行这个任务。
包括其实LM199它其实是可以设置上远文长度的。
如果你内存不够高的话,尽量设置的低一点。
比如说64K以下。
而且不要像我这样一聘同时执行好几个任务。
我替你试过了,你就不要去试了。
把电脑搞猫烟可不是那玩的。
我这里想说任务管理器里面结束任务。
但是任务管理器已经卡成一张精彩图片了。
我这里是好不容易把录片软件给退了,
然后才能操作鼠标。
把后来提要两个字给关闭了,最后才生成的。
我们来看一下生成结果吧。
生成结果还是很出乎我的意料的。
你别看这只是一个简单的飞行设计小游戏。
它处理的这些碰撞啊,移动啊,
包括敌人的生成啊,都没有任何问题。
这对于一个27B的小模型来说是非常厉害的。
而且这还是只是一轮提示词的情况下。
如果多轮对话的话,它的潜力还有非常大的发布空间。
我认为这个模型是真的可以作为生产力的一个模型了。
然后我们再来看一下它生成的这个空外小说。
虽然我中途停止了,
但它生成了也很多东西了。
而且我看它这个内容真的让我非常的震惊。
我就一点看不出这是AI写的。
虽然它这个东西写的是一个老套的星际移民的故事,
但它这个东西让我看设定的时候,
我一下子想到就是美剧那个什么羊毛战记,就是末日地宝那个。
人们挤在地下桶汤里边,然后高层靠着隐瞒真相维持生存的秩序。
包括它的一些场景设定,比如说,
集水柱,然后墙上的救赎,就是人死了之后它会,
其实它不是说是死了就直接上传数据了,
而且它也保留了集水柱。
我就觉得就很有画面感。
就这个画面可能最后做出来就很震撼。
好了,感谢大家能听到我讲到这里。
后面我会给大家分享更多AI相关的知识。
大家如果感兴趣的话记得关注一下。
我是VV,在这里谢过大家了。