我们现在看到的这个就是CM3.827B精华版
它的特点就是模型体积被压缩的很小
然后但是它的性能或者是智商并没有下降
就是普通电脑都能运行它
然后它一个月是有82万的下载将近
我们来看一下它的文件
它的文件都是很小的
它是被压缩了
但是它的智商或者性能并没有被压缩的
然后我们可以看到它最大是12GB
然后最小就只有8GB
然后普通电脑也能够运营它
然后它是支持多模态的
下面一个多模态文件
它是能够解析图片的
然后我已经把它安装到我的电脑上
然后安装到Hermes的印记里面去
然后我们可以看到这边
这个模型就是33.8 27B
然后GSQL RCO就是精华版
没问它一些问题
比如說你好你是什麼大模型為它發送
他回到他说我是Hermesingin
然后他模型是123.827B
然后我再让他识别一张图片内容
因为他是支持动模态的
让他识别这一张图片吧
那么可以看它识别的内容是
Chenryn大模型发布宣传横幅
然后
左側的文章是Chenryn3.827B
然后进化版来了
然后小体型不降至多模型
多模态
然后它是都能够
分析出来的
然后背景色啥啥都是非常准确的
然后我再让它写一个ATMR
看它的效果怎么样
内容是X超哥的简单单页
那么可以看到它已经在桌面上创建了
让我们双击打开它看一下效果
这就是一个很简单单页
做的效果还是不错的
非常漂亮
大家好,我是超哥
今天给大家分享
Chemain 3.8 27B GSK加RCO AI模型本地部署教程
它最大的特点就是
模型体积小,能力强,运行美感低
在保持模型能力的同时
大幅压缩模型体积
让普通电脑也有机会运行27B大模型
同时还支持131K上下文
多模态图像理解和MTP加速技术
还可以接入Hermes Engine
下面开始教程
我也把所有运动材料
放到我的这个博客的网址里
我们首先来看他看一下我这个电脑环境
大家可以参考一下
下面第一步我们是需要下载大模型
然后我提供了三个下载地址
第一个是官方的
我们可以看一下
这个是官方的
点开
进来之后这就是他的所有的模型都在这了
然后如果你这个网址打不开的话
也可以用夸克跟虚拟网埋下载
我也都放到里面去了
让我们开看一下
这是他的大模型
然后这边有它的介绍
我们点这里
可以切换到它的官方介绍
这是它的官方介绍
我们再点这个fills
就是它的文件
模型文件了
就这些
我们可以看一下上面是具体的模型
这个带-MTP的
它是有加速技术的
它不带-MTP
它就是没有加速技术
它会小一点点
有小一点点而已
我们尽量是用带加速的
带-MTP的
然后最下面这个是多模态文件
就是理解图像的
这边有我写了一个具体的选择
你给你自己的电脑情况进行选择就行了
然后就下载
先我们一定把这个动摩台下载
不然它这个动摩台实现不了的
点这个下载
然后就下载第一个吧
这边下一个因为只是做演示
然后我们等它下载完它是比较大的
然后下载的时候我来做一个小广告
然后我的X超和推特
希望大家能关注一下
我们打开看一下
这是我的推特账号
有推特的可以关注一下
模型已经下载好了
我们再来到我的博客
然后第二步是我们需要下载并配置
Lama.cpp
然后这是Lama.cpp的下载地址也是三个
第一个是官方的Headahub下载地址
第二个是Quack给迅雷的
如果是Headahub打不开的话可以用Quack网盘跟迅雷网盘进行下载
然后我就用这个官方的
点击打开
打了之后我们点击这个进行的版本号
点开这个版本号之后
这就是它的下载链接
我们可以看到这边是有
MacOS版本
有Link版本
然后有Windows版本
因为我是Windows
我就下载Windows的
然后它是有很多
电接的Windows的
我们可以对比一下
这边是Windows的各个不同的版本的对应
然后给你自己的显卡跟CPU进行选择
因为我是英伟达显卡
我就下这两个就行了
我选择一个就行了
然后这个13的
coda13
然后这个要下载
然后后面这个DLLS也要下载
赶紧下载
我们可以看到已经下载好了这两个压缩包
一个是前面的正式的程序
后面是dlls
这两个都要下载的前后两个
我们可以打开看一下
然后这是两个模型
一个多模态一个正常的模型文件
这两个就是lama.cpp的程序
然后先把这个两个压缩包都给它解压出来
打开看一下这个是dll的
然后给它剪切
剪切到我们的LAMA主程序里面来
这个
只要它的主程序给它剪切过来
这个是已经空了
然后这个给它删了吧
这两个压缩包给它删了
这个就是LAMA的主程序
让我给它命名一下吧
这个太长了
然后现在就好了,我们就先不要管它
然后把这两额给它关掉
我们再看下面,下面是需要把模型接入到lama.cpp里面
我们才能运行它
是把下载的大模型放到lama.cpp程序的game录下的modus目录
然后这个目录我们是需要自行创建的
我们先来到lama.cpp的程序的game录下
这个就是刚刚我命名的这个
然后打开它就是game目录
我们需要创建一个文件夹
文件夹就是models文件夹
然后我们复制一下名字
然后给它点击空白处UG
给它清点一个文件夹
名字给它粘贴进去
就这个目录我们已经创建好了
然后我们需要把大模型放到这个目录里面来
然后给大家来到这边
剪切这两个模型
一个多模型一个正式的
给它剪切到这个modus目录来就行了
然后这个LAMA主程序我们放哪都行啊随便放
只要你的盘够用就行
下面我们需要配置启动脚本
lama.cpgameloo创建启动脚本
命名成启动.bat
也可以命名成1.bat都行
然后我们需要创建这个启动脚本
然后我先复制这个名字吧
启动.bat 复制
然后来到lama主程序来
然后右击空白处
然后给它新建一个文本文档线
然后我们把这个文本文档给它重移命名一下
后面的.tlt也要给它删了
删了之后我们把启动.bat给它粘贴进来
这就是一个BAT文件了
让给它确定一下
现在已经改好了
这边前面变成一个小尺
说明它就是命名成功了
然后我们右击
右击它用文明打开
我们还要均匀修改
打开入里面是啥都没有的
是空白的
我们需要把我们的这个
启动脚本给它复制粘贴进去
然后我们点击这边的copy
让给它粘贴过来
粘贴到启动点BAT里面来
这就是它的启动脚本
我们可以看一下这边
这里
其实我这边也有写的
这边是代码说明
有一个模型名是我们要改的
这个端口号
如果你本身端口号
给它自
给我这个启动交流的端口号冲突的话
你要改一下
然后-c就是上下文长度
我们来到启动交流这边
这个就是模型名称
我们要改成我们自己的模型名称
你要使用的模型名称
比如说我刚刚下载的是
modus
里面我是这个模型
这个模型名称
我就要复制这个模型名
加上后缀
后缀也要复制过去
然后把这个模型名给它删了
把真正的模型名称给它复制过来就行了
然后后面这个是多模态文件
这个我们就不要动它了
多模态
但是你一定要下载这个多模态才行
这个文件
然后后面这个
这个是我们的端口号8085
如果你冲突的话
就是你改一下别的
如果不冲突你就默认用8085就行了
然后后面这个是上下文长度
现在我默认给它是6万
如果你觉得小你可以自己改
再改大一些就行了
让我们现在给它改好了
给它保存就行了
保存之后我们就可以启动它了
我们来到拉玛主程序
然后启动点BAT
这个我们双击打开进行启动
我们可以看一下已经启动成功了
当看到这个端号后面有127的0.0.1的时候就只启动成功了
然后我们按住键盘左下角的CainTool键
然后再点击这个链接就能打开了
你也可以在我这边点击这个链接是一样的
这个端号要对
要是你自己的才行
点击一样可以打开的
但是我们测试一下
比如说八哥你好
你是什么大模型
他是我Chiamin,速度是50TOKAY每秒
这边是有个具体的模型信息的
具体的模型信息,就是我们现在正在用的
它是支持多模态的,因为有多模态文件在里面
比如我上传个图片给他
添加个图片
然后识别图片内容
我们可以看到它运行完了
它是每秒也是50Token
然后这是它识别到的图片内容是比较准确的
它是能够识别图片的
这是多模态
然后我们这个可以给它关掉
因为我们要对接到Hermes的A进里面去
然后我说一下这个终端是不能关掉的
你关掉它就没办法用了
因为它靠这个终端的
如果你重新电脑之后
你也要再开启这个终端才能用
就是点这边在启动点BT就行了
让我们现在看一下子摩对接到Hermic3进去
Hermic3进下载地址是这个,我们可以点开
点开之后,点击这个下载就行了
这个是它默认显示的就是Windows,点击,进下载
这边我允许一下,它比较小的已经下载好了,让我点击进行安装
打开之后,我们点这边的安装就行了
我们可以看到它已经装好了
然后点这边的开始
现在已经好了
我们点这边的稍后再选择提供方
先给它打开
然后打开之后我们把这个给它关掉
关掉之后我们下面要开始配置它了
然后再打开HermesInch
然后点这边的齿轮打开
打开之后我们选择
左边这边有个提供方点击
点击之后下面有一个API密钥点击
点击之后我们找到下面下面有一个OpenAI
我们往下拉找一下
这个有个OpenAI API,点击
点击之后这有两个要填
一个是密钥
另外一个就是URL
这个密钥我们就随便填就行了
因为它是本地模型
12345
然后保存
URL我们用这个
这个URL
我博客这边的
然后这个8085
你就
你没改的话就是8085
你改了
改了端口号的话
你就是你自己改的那个端口号
我们来复制一下
然后给它粘贴过来
然后点保存
现在就已经保存成功了
让我们点这边的模型
然后这边有一个选择
现在是自动
让我们点一下
这边有个open ai
选中它
然后这我们点应用
现在保错
然后我们选一下这个模型
下面有我们刚刚的这个选择的模型
然后选中它
7213.827B
然后再点应用
然后现在就成功了
我们给它关掉
刚才之后
我们可以看到这边对话框这边
末人就选中了723.827BGSQRCO这个模型
我们问一下看它能不能用
比如说发个你好
你是什么模型
我们可以给老大回复了
然后说明它是能够正常连上的
然后我们再选择一张图片
因为它知识多模态的
看它能不能识别到图片
还是选择这张图吧
我们可以看到他已经分析完了
他说他是主题是723.827B
他之前是太大了
然后他自动给压缩了
这荷米生意境还是挺智能的
然后我提醒一下大家
大家用的时候
不管用荷米生意境还是他这个
还是用这个网址进行使用这个模型
我们都不要把这个终端给关掉
你关掉就没办法用了
好吧
今天就就到这吧
如果大家有什么问题的话
可以在视频下方的评论区留言交流
谢谢大家的观看