我們現在看到的這個就是CM3.827B精華版。它的特點就是模型體積被壓縮的很小,但是它的性能或者智商並沒有下降。
就是普通電腦都能運行它,然後它一個月是有82萬的下載將近。
我們來看一下它的文件。它的文件都是很小的,它是被壓縮了,但是它的智商或者性能並沒有被壓縮的。
可以看到它最大是12GB
然后最小就只有8GB
然后普通电脑也能够运营它
然后它是支持多模态的
下面一个多模态文件
它是能够解析图片的
然后我已经把它安装到我的电脑上
然后安装到Hermes的Engine里面去
然后我们可以看到这边
这个模型就是13.827B
然后GSQRCO就是精华版
我们也问他一些问题
比如说你好你是什么大模型
我给他发送
他回路了他说我是Hermeson
然后他模型是千万3.827B
然后我再让他识别一张图片内容
因为他是支持多模态的
让他识别这一张图片吧
那么可见他识别的内容是千万大模型发布宣传横幅
然后左偷的文图是千万3.827B
然后进化版来了
然后小铁铁铁不降至多模型多模态
然后他是都能够分析出来的
然后背景色啥啥都是非常准确的
然后我再让他写一个ATMARO
看它的效果怎么样
内容是X超哥的简单单页
我们可以看到它已经在桌面上创建了
让我们双击打开它看一下效果
这就是一个很简单单页
做的效果还是不错的
非常漂亮
大家好我是超哥
今天给大家分享CM3.827B
GSQ加RCO AI模型本地步骤教程
它最大的特点就是模型体积小
能力强运行美感低
在保持模型能力的同时
大幅压缩模型体积
让普通电脑也有机会进行27B大模型
同时还支持131K上下文
多茅态图像理解和MTP加速技术
还可以接入Hermes Engine
下面开始教程
我也把所有用的材料
放到我的博客的网址里
我们首先来看一下我这个电脑环境
大家可以参考一下
下面第一步我们是需要下载大模型
然后我提供了三个下载地址
第一个是官方的
我们可以看一下
这个是官方的
点开
进来之后这就是它的所有的模型都在这了
然后如果你这个网址打不开的话
也可以用夸克跟蓄力网牌下载
我也都放到里面去了
让我们开看一下
这是它的大模型
然后这边有它的介绍
我们点这里
可以切换到它的官方介绍
这是它的官方介绍
让我们再点这个Fuse
就是它的文件
模型文件了
那就这些
我们可以看一下上面是具体的模型
这个带-MTP的
它是有加速技术的
它不带-MTP
它就是没有加速技术
它会小一点点
有小一点点而已
我们尽量是用带加速的
带-MTP的
然后最下面这个是多模态文件
就是理解图像的
这边有我写了一个具体的选择
你根据自己的电脑情况进行选择就行了
然后就下载
先我们一定要把这个多模态下载
不然它这个多么太迟前不了的
点这个下载
然后我就下载第一个吧
这边下一个因为只是做演示
然后我们等它下载完
它是比较大的
然后下载的时候
我来推做一个小广告
然后我的X超和推特
希望大家能关注一下
打开看一下
这我的推特账号
有推特的可以关注一下
模型已经下载好了
我们再来到我的博客
然后第二步是我们需要下载并配置
这是Lama.cpp
然后这是Lama.cpp的下载地址
也是三个
第一个是官方的Headahub下载地址
第二个是Quack给迅雷的
如果是Headahub打不开的话
可以用Quack网盘跟迅雷网盘进行下载
我就用这个官方的
点击打开
打开之后
我们点击这个进行的版本号
点击这个版本号之后
这就是它的下载链接
我们可以看到这边是有MacOS版本
然后有Winux版本
因为我是Windows我就下载Windows的
然后它是有很多电接的Windows的
我们可以对比一下
这边是Windows的各个不同的版本的对应
然后给你自己的显卡跟CPU进行选择
因为我是英伟达显卡
我下这两个就行了
我选择一个就行了
然后这个13的
coda13
然后这个要下载
然后后面这个DLS也要下载
点击下载
我们可以看到已经下载好了
这两个压缩包
一个是前面的正式的程序
后面是dlls
这两个都要下载的前后两个
我们可以打开看一下
然后这是两个模型
一个多模态
一个正常的模型文件
这两个就是lama.cpp的程序
然后先把这个两个压缩包都给它解压出来
然后打开看一下
这个是dll的
然后给它剪切
复制剪切到我们的LAMA主程序里面来
这个只要它的主程序给它剪切过来
这个是已经空了
然后这给它删了吧
这两个压缩包给它删了
这个就是LAMA的主程序
然后我给它命名一下吧
这个太长了
然后现在就好了
我们就先不要管它
然后把这两个给它关掉
然后我们再看下面
下面是需要把模型
接入到lama.cpp里面
我们才能运行它
是把下载的大模型放到lama.cpp程序的game目录下的modus目录
然后这个目录我们是需要自行创建的
我们先来到lama.cpp的程序的game目录下
这个就是刚刚我命名的这个
然后打开它就是game目录
然后我们需要创建一个文件夹
文件夹就是modus文件夹
然后我们复制一下名字
然后给它点击空白处UG
给它清点一个文件夹
明天给大家粘贴进去
就这个目录我们已经创建好了
然后我们需要把大模型放到这个目录里面来
然后给大家来到这边
剪切这两个模型
一个多模的一个正式的
然后给它剪切到这个modus目录来就行了
然后这个LAMA主程序我们放哪都行啊
随便放
只要你的盘够用就行
下面我们需要配置启动脚本
lama.cpp gamelo创建启动脚本
命名成启动.bat
也可以命名成1.bat都行
然后我们需要创建这个启动脚本
然后我先复制这个名字吧
启动.bat 复制
然后来到lama主程序来
然后右击空白处
然后给它新建一个文本文档先
然后我们把这个文本文档给它重义命名一下
后面的.tlt也要给它删了
上讲之后我们把启动点BAT给它粘贴进来
这就是一个BAT文件了
让给它确定一下
现在已经改好了
这边前面变成一个小尺
说明它就是命名成功了
让我们右击
右击它用文明打开
我们还要均匀修改
打开入里面是啥都没有的
是空白的
我们需要把我们的这个
启动脚本给它复制粘贴进去
让我们点击这边的copy
让给它粘贴过来
监贴到启动.bat里面来
这就是它的启动脚本
我们可以看一下这边
这里
其实我这边也有写的
这边是代码说明
有一个模型名是我们要改的
这个端口号
如果你本身端口号
跟他自跟我这个启动脚本的端口号冲突的话
你要改一下
然后-c就是上下文长度
我们来到启动脚本这边
这个就是模型名称
我们要改成我们自己的模型名称
你要使用的模型名称
比如说我刚刚下载的是
然后把这个模型名给它删了
把真正的模型名称给它复制过来就行了
然后后面这个是多模态文件
这个我们就不要动它了
多模态
但是你一定要下载这个多模态才行
这个文件
然后后面这个
这个是我们的端口号8085
如果你冲突的话
就是你改一下别的
如果不冲突
你就默然用8085就行了
然后后面这个是上下文长度
现在我默认给它是6万
如果你觉得小你可以自己改再改大一些就行了
让我们现在给它改好了
给它保存就行了
保存之后
我们就可以启动它了
我们来到拉玛主程序
然后启动点BAT
这个我们双击打开进行启动
我们可以看一下已经启动成功了
当看到这个段号后面有127的0.0.1的时候就启动成功了
然后我们按住键盘左下角的Kintry键
然后再点击这个链接就能打开了
你也可以在我这边点击这个链接是一样的
这个端号要对
要是你自己的才行
点击一样可以打开的
但是我测试一下
比如说八个你好
你是什么大模型
他说我签位
然后速度是50tok每秒
然后这个是
这边是有个句子的模型信息的
这句子的模型信息
这个就是我们现在正在用的
它是支持多模态的
因为我们有多模态文件在里面
比如我上传个图片给他
添加个图片
然后识别图片内容
我们可以看到它运行完了
它是每秒也是50Token
然后这是它识别到的图片内容
是比较准确的
它是能够识别图片的
这是多模态
然后我们这个可以给它关掉
因为我们要对接到Hermes的A进里面去
然后我说一下这个中端是不能关掉的
你关掉它就没办法用了
因为它靠这个中端的
如果你重启电脑之后
你也要再开启这个中端才能用
就是点击微软起动点BAT就行了
让我们现在看一下紫模对接到荷免声音镜里面去
荷免声音镜下载地址是这个
我们可以点开
点开之后
点击这个下载就行了
这个是他默认显示的就是windows
点击
进行下载
这边我允许一下
他比较小的已经下载好了
让我点击进行安装
打开之后我们点这边的安装就行了
我们可以看到他已经装好了
让我们点这边的开始
现在已经好了
我们点这边的稍后再选择提供方
先给它打开
然后打开之后我们把这个给它关掉
关掉之后我们下面要开始配置它了
然后再打开HermicEinge
然后点这边的齿轮打开
打开之后我们选择
左边这边有个提供方点击
点击之后下面有一个APM秘钥点击
点击之后我们找到下面下面有一个OpenAI
我们往阿拉找一下
这个有个openaiapi点击
点击之后这有两个要填
一个是密钥
另外一个就是url
这个密钥我们就随便填就行了
因为它是本地模型
12345
然后保存
url我们用这个
这个url
我博客这边的
然后这个8085
你就
你没改的话就是8085
你改了端口号的话
你就是你自己改的那个端口号
我们复制一下
然后给它粘贴过来
然后点保存
现在就已经保存成功了
让我们点这边的模型
然后这边有一个选择
现在是自动
然后我们点一下
这边有一个open AI
选中它
然后这我们点应用
现在保错
然后我们选一下这个模型
下面有我们刚刚的这个选择的模型
然后选中它
7213.827B
然后再点应用
然后现在就成功了
我们给它关掉
关掉之后我们可以看到这边对话框这边
默认就选中了723.827BGSQRCO这个模型
我们问一下看它能不能用
比如说发个你好
你是什么模型
我们可以看到它回复了
然后它说明它是能够正常连上的
然后我们再选择一张图片
因为它这是多模态的
看它能不能识别到图片
还是选择这张图吧
我们可以看到他已经分析完了
他说他是主题是7W3.827B
他之前是太大了
然后他自动给压缩了
这Hermicene Geek还是挺智能的
然后我提醒一下大家
大家用的时候不管用Hermicene Geek
还是他这个
还是用这个网址进行使用这个模型
我们都不要把这个终端给关掉
你关掉就没办法用了
好吧
今天这段就到这吧
如果大家有什么问题的话
可以在视频下方的频道去留言交流
谢谢大家的观看