0:00.000–0:03.022
zh想让DeepthicHonix看懂图片,
0:03.022–0:04.231
zh到底有几种方法。
0:04.231–0:06.649
zh不是换个多魔态模型就万事大吉了,
0:06.649–0:08.613
zh很多人配置完依旧发动失败。
0:08.613–0:09.113
zh还有,
0:09.113–0:11.938
zh如果我们想给纯妹妹打模型直接发动图像,
0:11.938–0:13.147
zh应该怎么实现呢?
0:13.147–0:13.647
zh本期,
0:13.647–0:16.773
zh我们将通过本地部署和线上调用两组技术路线。
0:16.773–0:17.680
zh一次讲明白,
0:17.680–0:18.284
zh踩坑点,
0:18.284–0:19.040
zh配置细节,
0:19.040–0:20.400
zh插件石头全部给刀。
0:20.400–0:21.156
zh干货满满,
0:21.156–0:22.062
zh建议先收藏。
0:22.062–0:22.818
zh我是DD,
0:22.818–0:23.876
zh让我们开始吧。
0:23.876–0:26.293
zh想要本地Agent能够识别图像,
0:26.293–0:27.502
zh通常有两种路径。
0:27.502–0:29.920
zh第一种方案是使用同时具备图像识别
0:29.920–0:32.043
zh和任务处理能力的多魔态模型。
0:32.043–0:33.864
zh这种不依赖插件就能实现,
0:33.864–0:36.139
zh也是对画面其一随时最小的方案。
0:36.139–0:39.476
zh第二种方案是视觉模型翻译后再未给纯文本模型。
0:39.476–0:41.599
zh这也是大多插件所属于的方法,
0:41.599–0:44.329
zh并也通过插件可以让这个过程基本误感。
0:44.329–0:46.149
zh但坦承的说也是有缺点的,
0:46.149–0:49.183
zh因为图像和纯文本大模型中间多了个传话的,
0:49.183–0:52.065
zh对于较为复杂的图像可能会有信息的丢失。
0:52.065–0:54.036
zh首先我们来演示第一种方案,
0:54.036–0:57.373
zh在DeepthicHonix走下角点击设置,
0:57.373–0:58.283
zh再点击模型。
0:58.283–0:59.800
zh在天安模型提供方中,
0:59.800–1:01.675
zh如果有你的模型提供商的话,
1:01.675–1:02.973
zh你可以在这里添加。
1:02.973–1:05.425
zh否则我们需要点击添加自定义提供方,
1:05.425–1:08.165
zh然后在这里面填写我们相关的API信息。
1:08.165–1:11.627
zh我这里先给大家演示一下如何添加一个线上的API。
1:11.627–1:14.800
zh首先我们要判断你的API是否能支持图片理解。
1:14.800–1:18.216
zh最简单的方式就是直接将模型名发给某个AI助手,
1:18.216–1:19.404
zh让AI帮你判断,
1:19.404–1:21.335
zh或者我们直接来看官方文档。
1:21.335–1:25.493
zh我们可以直接在文档中搜索多模态或者图片理解之类的关键词。
1:25.493–1:28.018
zh如描述模型支持图像输入等相关表述,
1:28.018–1:29.800
zh即为可以识别图像的模型。
1:29.800–1:30.600
zh接下来我们进行实际配置,
1:30.600–1:31.200
zh这里不做任何推荐,
1:31.200–1:31.700
zh仅用于演示。
1:31.700–1:32.433
zh在后台复制API地址。
1:32.433–1:33.033
zh回到模型配置这里,
1:33.033–1:34.300
zhprovideID需要以小写字母开头。
1:34.300–1:35.433
zh我们这里可以填写模型提供商的名称。
1:35.433–1:36.300
zh因为我此前已经配置过一次,
1:36.300–1:36.967
zh所以我这里加个02,
1:36.967–1:37.467
zh避免重名。
1:37.467–1:38.467
zh显示名称这里可以用同样的名字。
1:38.467–1:39.600
zhAPI地址粘贴我们刚才复制的地址。
1:39.600–1:41.267
zhAPI协议选择OpenAI Cooplicions。
1:41.267–1:42.600
zh到Api后台复制API后台复制APIk。
1:42.600–1:44.542
zh接着在自定义提供方的API密尔中粘贴我们复制的APIk。
1:44.542–1:48.413
zh正常我们可以点击获取可用模型来自动加载模型目录。
1:48.413–1:51.800
zh但是我用的这个平台使用了自动算法切换模型。
1:51.800–1:54.749
zh所以我需要手动复制指定的模型名称。
1:54.749–1:56.484
zh担贴到模型ID这里,
1:56.484–1:58.912
zh显示名称这里我们可以任意填。
1:58.912–2:00.647
zh然后点击创建提供方。
2:00.647–2:02.902
zh接着我们开启一个新的绘画。
2:02.902–2:06.198
zh选择我们刚才添加的可以识别图像的模型。
2:06.198–2:08.800
zh此时复制一张图像粘贴到对话框。
2:08.800–2:10.106
zh点击发送。
2:10.106–2:14.286
zh不少小伙伴会遇到图片发送不出去。
2:14.286–2:17.160
zh提示该模型不支持图像。
2:17.160–2:20.295
zh我起初以为这是个bug。
2:20.295–2:22.908
zh查了圆码才发现不是。
2:22.908–2:26.305
zh而且这个设计其实挺讲究的。
2:26.305–2:31.791
zh问题的根源在于接口不告诉你模型能不能看图。
2:31.791–2:37.800
zh所以DeepseekHanice没法自动判断。
2:38.800–2:40.218
zh它选择了保守策略。
2:40.218–2:41.479
zh默认当做纯文本。
2:41.479–2:43.371
zh要发的图片必须显示声明。
2:43.371–2:45.420
zh不然你有可能图片发出去了。
2:45.420–2:46.838
zhToken消耗了。
2:46.838–2:48.572
zh最后只达到了一个报错。
2:48.572–2:50.463
zh所以我们来给它声明一下。
2:50.463–2:51.882
zh点击左下角的设置。
2:51.882–2:54.246
zh在通用设置中点击打开配置文件。
2:54.246–2:56.295
zh如果这里没有自动打开的话,
2:56.295–2:58.816
zh你可以像我一样从安装目录中打开。
2:58.816–2:59.920
zh首先打开C盘。
2:59.920–3:00.708
zh点击用户。
3:00.708–3:03.229
zh打开一粒电脑名命名的这个文件夹。
3:03.229–3:04.175
zh找到并打开.
3:04.175–3:05.278
zhdsh文件夹。
3:05.278–3:07.800
zh右键Sitings用记事本打开。
3:07.800–3:09.535
zh找到我们刚才添加的模型。
3:09.535–3:11.848
zh在内幕的下面我们输入这一行代码。
3:11.848–3:13.294
zh按Ctrl加S保存。
3:13.294–3:14.595
zh这个修改会热生效。
3:14.595–3:15.752
zh我们不需要充气。
3:15.752–3:16.619
zh回到对话框。
3:16.619–3:17.920
zh我们直接点击发送。
3:17.920–3:19.800
zh此时图片就可以正常识别了。
3:19.800–3:23.646
zh有些小伙伴可能希望自己的纯文本大模型也能识别图像。
3:23.646–3:26.262
zh所以我们接下来再来演示第二种方法。
3:26.262–3:27.954
zh先使用视觉模型翻译后。
3:27.954–3:29.492
zh再位给纯文本大模型。
3:29.492–3:31.800
zh首先我们需要先有一个视觉模型。
3:31.800–3:33.586
zh这时候肯定有小伙伴会问了。
3:33.586–3:36.609
zh我们上一部添加的多模台大模型能直接拿来用吗?
3:36.609–3:37.434
zh可以是可以。
3:37.434–3:39.769
zh但是多少有点闲鱼占教油多此一举了。
3:39.769–3:41.831
zh因为想要一个模型既能识别图像。
3:41.831–3:43.617
zh又能处理agent的任务。
3:43.617–3:45.953
zh那么这个模型本身能力就已经很强了。
3:45.953–3:48.426
zh结果我们只是拿来给纯文本模型当眼睛。
3:48.426–3:49.800
zh多少有点大才小用了。
3:49.800–3:54.497
zh所以通常的做法是我们用一个小巧的视觉模型来给纯文本模型戴眼睛。
3:54.497–3:56.315
zh这样既能解决token。
3:56.315–3:58.891
zh又能让纯文本大模型获知图像的内容。
3:58.891–4:01.315
zh那么这个小巧的视觉模型怎么来呢?
4:01.315–4:05.255
zh很多模型提供商职业提供永久免费的视觉模型供用户适用。
4:05.255–4:07.679
zh但是接口存在严格的使用频率限制。
4:07.679–4:09.497
zh如果你有很高的使用需求,
4:09.497–4:12.224
zh那么就可以参考我们接下来的本地部署。
4:12.224–4:14.497
zh首先我们需要下载iom499。
4:14.497–4:16.618
zh然后一直点击下一步安装即可。
4:16.618–4:19.800
zh在iom499中我们可以点击左下角的设置。
4:19.800–4:23.131
zh然后点击第一个选项这里可以把它设置为中文。
4:23.131–4:25.035
zh接着我们来下载视觉模型。
4:25.035–4:27.414
zh我们点击左侧的带放大镜的图标。
4:27.414–4:28.683
zh搜索千万3vl。
4:28.683–4:30.428
zh如果你的显存充足的话,
4:30.428–4:33.283
zh可以使用8b的版本以获得更好的效果。
4:33.283–4:37.090
zh我这里为了快速演示下载的提计较小的一个4b版本。
4:37.090–4:38.676
zh点击左侧第三个图标。
4:38.676–4:40.738
zh选择我们要加载的视觉模型。
4:40.738–4:42.642
zh然后点击这里的加载设置。
4:42.642–4:44.863
zh上下温长度我们稍微改大一点。
4:44.863–4:48.670
zh避免一次对话装不下就会出现token超线的报错。
4:48.670–4:49.780
zh我们这里改成。
4:49.780–4:50.905
en32768。
4:50.905–4:52.967
zh然后再点击第二个图标。
4:52.967–4:55.592
zh然后确保这里的状态是开启的。
4:55.592–4:56.905
zh点击加载模型。
4:56.905–4:58.780
zh选择我们的视觉模型。
4:58.780–5:00.988
zh然后DipsickHannis这里。
5:00.988–5:02.214
zh点击添加自定的空方。
5:02.214–5:04.789
zhProvideID这里我们以消息这么开头。
5:04.789–5:06.384
zh写入iom4stuDIO。
5:06.384–5:08.346
zh因为我曾经创过一个它的API了。
5:08.346–5:09.818
zh这里为了区分我加个02。
5:09.818–5:11.780
zh显示名称这里我们也用同一个名字。
5:11.780–5:16.149
zhIP地址的话我们来到iom4stuDIO再复制一下这个地址。
5:16.149–5:17.751
zh回到这里我们输入之后。
5:17.751–5:19.935
zh在后面紧接着输入一个斜杠v1。
5:19.935–5:22.557
zhAPI写选择compleasens。
5:22.557–5:24.159
zhAPI密要随便填一个。
5:24.159–5:25.469
zh我这里输入123。
5:25.469–5:26.780
zh点击获取可用模型。
5:26.780–5:28.592
zh只保留我们的视觉模型。
5:28.592–5:29.745
zh其他取消勾选。
5:29.745–5:32.051
zh显示名称这里输入千万三v2。
5:32.051–5:33.698
zh然后点击创建提供方。
5:33.698–5:35.345
zh打开我们的配置文件。
5:35.345–5:37.651
zh找到我们刚才创建的这个模型。
5:37.651–5:39.133
zh我们在内幕的下面。
5:39.133–5:40.780
eninputtess。
5:40.780–5:42.150
zhAmit这段代码。
5:42.150–5:43.976
zh然后按Ctrl加S保存。
5:43.976–5:45.346
zh我们先开一个绘画。
5:45.346–5:47.476
zh然后选择我们刚才提下的模型。
5:47.476–5:48.998
zh在这里粘贴一张图片。
5:48.998–5:49.759
zh点击发送。
5:49.759–5:52.346
zh此时可以看到正常识别我们的图片了。
5:52.346–5:54.325
zh现在虽然能成功识别图像了。
5:54.325–5:56.760
zh但是如果每次都是识别图像后。再把
5:56.760–5:58.986
zh文案粘贴给一个重用本模型的话。
5:58.986–6:00.767
zh这样的话操作就太复杂了。
6:00.767–6:03.290
zh为此我们可以安装一个视觉识别插件。
6:03.290–6:06.259
zh此类插件在社区已经有很多版本可以选择了。
6:06.259–6:08.188
zh不过我还是自行开发了一个。
6:08.188–6:10.860
zh这不是想证明我多牛或者说我的更好用。
6:10.860–6:13.234
zh相反我开发的这个插件只是第一版。
6:13.234–6:14.273
zh可能更加简陋。
6:14.273–6:19.022
zh我之所以开发它是因为我更倾向于开发一个更符合自己使用习惯的工具。
6:19.022–6:21.842
zh比如我希望能自定已识别图像时的提示词。
6:21.842–6:22.881
zh增加缓头功能。
6:22.881–6:24.662
zh同一张图片不带重复识别。
6:24.662–6:26.740
zh可以一键关闭和开启。不污染。
6:26.740–6:29.979
zh配置的。让我感觉我是真的在掌控插件的。
6:29.979–6:32.195
zh我调研了很多视觉识别插件。
6:32.195–6:33.558
zh做的都挺成熟的。
6:33.558–6:35.263
zh功能也比我这个丰富。
6:35.263–6:37.820
zh在这里感谢以下项目的公开圆码。
6:37.820–6:40.717
zh为本插件的若干设计考量提供了参考。
6:40.717–6:41.570
zh不同的是。
6:41.570–6:43.785
zh我这个实现上走了另一条路。
6:43.785–6:46.001
zh不注册路由也不注册示威器。
6:46.001–6:48.899
zh而是在请求发出之前把图片换成文字。
6:48.899–6:49.751
zh这样的话。
6:49.751–6:51.797
zh模型列表里不会都是条目。
6:51.797–6:52.990
zh插件本身也小。
6:52.990–6:54.524
zh不用下载额外依赖。
6:54.524–6:56.740
zh除了转述这件事什么都不做。
6:56.740–6:58.044
zh复制这条命令。
6:58.044–7:00.839
zh在PowerShell中安装。
7:00.839–7:02.703
zh接着我们来安装插件。
7:02.703–7:05.498
zh无论你的DFH是不是全局安装。
7:05.498–7:09.597
zh都可以通过这个命令来安装我们的视觉桥接插件。
7:09.597–7:13.324
zh将命令暂停到PowerShell中回车。
7:13.324–7:14.628
zh等待安装完成。
7:14.628–7:18.541
zh重新启动我们的DeepSigHonice。
7:18.541–7:23.200
zh此时在我们的视视中就可以看到我们的视觉桥接插件了。
7:23.200–7:26.740
zh第一步选的模型就是用来识别图像的模型。
7:26.740–7:28.785
zh直接取用是你已经确定它能看图。
7:28.785–7:29.876
zh跳过测试直接写。
7:29.876–7:30.831
zh切好声明之后。
7:30.831–7:34.649
zh就不用像前面那样手动去加input text image了。
7:34.649–7:36.831
zh第二步是选择哪些模型需要被桥接。
7:36.831–7:40.104
zh你会发现内置的DeepSig模型不在这个列表里。
7:40.104–7:42.967
zh这是因为插件读取的是自定义模型Q方的配置。
7:42.967–7:46.376
zh而内置的DeepSigOfficial不在那里面。
7:46.376–7:48.149
zh它是留另一个插件单组注册。
7:48.149–7:49.513
zh就算能选也桥接不了。
7:49.513–7:51.013
zh它的模态写死在代码里。
7:51.013–7:52.649
zh支配器还会直接拒收图片。
7:52.649–7:54.013
zh单纯的声明也改不了。
7:54.013–7:56.740
zh所以如果想用DeepSig的纯文本模型。
7:56.740–7:57.695
zh还要能发图片。
7:57.695–7:59.740
zh就得通过添加自定义模型提供方。
7:59.740–8:02.195
zh自己配置一份DeepSig的API。
8:02.195–8:03.558
zh这里我们来配置一下。
8:03.558–8:04.922
enprovideID。
8:04.922–8:06.013
zh这里随便写一个。
8:06.013–8:07.785
zh我们填DeepSigV4。
8:07.785–8:09.831
zh显示明圣这里我们用同样的内容。
8:09.831–8:12.558
zh这里我们填写DeepSig的API地址。
8:12.558–8:15.149
zhAPI写意选择Completions。
8:15.149–8:17.058
zh我们在后台创建一个APIK。
8:17.058–8:19.240
zh复制APIK粘贴到我们的密钥中。
8:19.240–8:20.467
zh点击获取可用模型。
8:20.467–8:21.695
zh然后点击添压搜索。
8:21.695–8:24.149
zh显示明圣这里为了和默认模型区分一下。
8:24.149–8:25.922
zh我这里用DLSV4来表示。
8:25.922–8:26.740
zh回到视觉前。
8:26.740–8:27.845
zh调节插件这里。
8:27.845–8:30.845
zh在第一步中选择我们用来识别图像的模型。
8:30.845–8:32.424
zh然后点击测试并启动。
8:32.424–8:35.424
zh在第二步中勾选需要增加视图能力的模型。
8:35.424–8:36.529
zh接着点击保存。
8:36.529–8:37.635
zh我们重启一下。
8:37.635–8:39.056
zh然后开一个新对话。
8:39.056–8:41.108
zh暂停一张图片进来测试一下。
8:41.108–8:45.372
zh请注意我们需要切换到刚才自定义的DeepSig模型上。
8:45.372–8:48.372
zh可以看到此时即使是我们选择的纯本模型。
8:48.372–8:50.424
zh也可以正常的给它发送图片。
8:50.424–8:53.108
zh并且帮助它识别出图片的内容是什么。
8:53.108–8:56.740
zh到这里DeepSigHanis的视图方案。包括
8:56.740–8:58.674
zh解决。还有插件的完整用法。
8:58.674–8:59.715
zh就全部讲完了。
8:59.715–9:04.029
zh后续我还会继续更新更多DeepSigHanis的间接玩法。
9:04.029–9:04.921
zh和AI知识。
9:04.921–9:06.855
zh想看更多干货可以关注一波。
9:06.855–9:07.599
zh我是DZ。
9:07.599–9:08.640
zh我们下期再见。
0:00.000–0:03.022
想让DeepthicHonix看懂图片,
0:03.022–0:04.231
到底有几种方法。
0:04.231–0:06.649
不是换个多魔态模型就万事大吉了,
0:06.649–0:08.613
很多人配置完依旧发动失败。
0:08.613–0:09.113
还有,
0:09.113–0:11.938
如果我们想给纯妹妹打模型直接发动图像,
0:11.938–0:13.147
应该怎么实现呢?
0:13.147–0:13.647
本期,
0:13.647–0:16.773
我们将通过本地部署和线上调用两组技术路线。
0:16.773–0:17.680
一次讲明白,
0:17.680–0:18.284
踩坑点,
0:18.284–0:19.040
配置细节,
0:19.040–0:20.400
插件石头全部给刀。
0:20.400–0:21.156
干货满满,
0:21.156–0:22.062
建议先收藏。
0:22.062–0:22.818
我是DD,
0:22.818–0:23.876
让我们开始吧。
0:23.876–0:26.293
想要本地Agent能够识别图像,
0:26.293–0:27.502
通常有两种路径。
0:27.502–0:29.920
第一种方案是使用同时具备图像识别
0:29.920–0:32.043
和任务处理能力的多魔态模型。
0:32.043–0:33.864
这种不依赖插件就能实现,
0:33.864–0:36.139
也是对画面其一随时最小的方案。
0:36.139–0:39.476
第二种方案是视觉模型翻译后再未给纯文本模型。
0:39.476–0:41.599
这也是大多插件所属于的方法,
0:41.599–0:44.329
并也通过插件可以让这个过程基本误感。
0:44.329–0:46.149
但坦承的说也是有缺点的,
0:46.149–0:49.183
因为图像和纯文本大模型中间多了个传话的,
0:49.183–0:52.065
对于较为复杂的图像可能会有信息的丢失。
0:52.065–0:54.036
首先我们来演示第一种方案,
0:54.036–0:57.373
在DeepthicHonix走下角点击设置,
0:57.373–0:58.283
再点击模型。
0:58.283–0:59.800
在天安模型提供方中,
0:59.800–1:01.675
如果有你的模型提供商的话,
1:01.675–1:02.973
你可以在这里添加。
1:02.973–1:05.425
否则我们需要点击添加自定义提供方,
1:05.425–1:08.165
然后在这里面填写我们相关的API信息。
1:08.165–1:11.627
我这里先给大家演示一下如何添加一个线上的API。
1:11.627–1:14.800
首先我们要判断你的API是否能支持图片理解。
1:14.800–1:18.216
最简单的方式就是直接将模型名发给某个AI助手,
1:18.216–1:19.404
让AI帮你判断,
1:19.404–1:21.335
或者我们直接来看官方文档。
1:21.335–1:25.493
我们可以直接在文档中搜索多模态或者图片理解之类的关键词。
1:25.493–1:28.018
如描述模型支持图像输入等相关表述,
1:28.018–1:29.800
即为可以识别图像的模型。
1:29.800–1:30.600
接下来我们进行实际配置,
1:30.600–1:31.200
这里不做任何推荐,
1:31.200–1:31.700
仅用于演示。
1:31.700–1:32.433
在后台复制API地址。
1:32.433–1:33.033
回到模型配置这里,
1:33.033–1:34.300
provideID需要以小写字母开头。
1:34.300–1:35.433
我们这里可以填写模型提供商的名称。
1:35.433–1:36.300
因为我此前已经配置过一次,
1:36.300–1:36.967
所以我这里加个02,
1:36.967–1:37.467
避免重名。
1:37.467–1:38.467
显示名称这里可以用同样的名字。
1:38.467–1:39.600
API地址粘贴我们刚才复制的地址。
1:39.600–1:41.267
API协议选择OpenAI Cooplicions。
1:41.267–1:42.600
到Api后台复制API后台复制APIk。
1:42.600–1:44.542
接着在自定义提供方的API密尔中粘贴我们复制的APIk。
1:44.542–1:48.413
正常我们可以点击获取可用模型来自动加载模型目录。
1:48.413–1:51.800
但是我用的这个平台使用了自动算法切换模型。
1:51.800–1:54.749
所以我需要手动复制指定的模型名称。
1:54.749–1:56.484
担贴到模型ID这里,
1:56.484–1:58.912
显示名称这里我们可以任意填。
1:58.912–2:00.647
然后点击创建提供方。
2:00.647–2:02.902
接着我们开启一个新的绘画。
2:02.902–2:06.198
选择我们刚才添加的可以识别图像的模型。
2:06.198–2:08.800
此时复制一张图像粘贴到对话框。
2:08.800–2:10.106
点击发送。
2:10.106–2:14.286
不少小伙伴会遇到图片发送不出去。
2:14.286–2:17.160
提示该模型不支持图像。
2:17.160–2:20.295
我起初以为这是个bug。
2:20.295–2:22.908
查了圆码才发现不是。
2:22.908–2:26.305
而且这个设计其实挺讲究的。
2:26.305–2:31.791
问题的根源在于接口不告诉你模型能不能看图。
2:31.791–2:37.800
所以DeepseekHanice没法自动判断。
2:38.800–2:40.218
它选择了保守策略。
2:40.218–2:41.479
默认当做纯文本。
2:41.479–2:43.371
要发的图片必须显示声明。
2:43.371–2:45.420
不然你有可能图片发出去了。
2:45.420–2:46.838
Token消耗了。
2:46.838–2:48.572
最后只达到了一个报错。
2:48.572–2:50.463
所以我们来给它声明一下。
2:50.463–2:51.882
点击左下角的设置。
2:51.882–2:54.246
在通用设置中点击打开配置文件。
2:54.246–2:56.295
如果这里没有自动打开的话,
2:56.295–2:58.816
你可以像我一样从安装目录中打开。
2:58.816–2:59.920
首先打开C盘。
2:59.920–3:00.708
点击用户。
3:00.708–3:03.229
打开一粒电脑名命名的这个文件夹。
3:03.229–3:04.175
找到并打开.
3:04.175–3:05.278
dsh文件夹。
3:05.278–3:07.800
右键Sitings用记事本打开。
3:07.800–3:09.535
找到我们刚才添加的模型。
3:09.535–3:11.848
在内幕的下面我们输入这一行代码。
3:11.848–3:13.294
按Ctrl加S保存。
3:13.294–3:14.595
这个修改会热生效。
3:14.595–3:15.752
我们不需要充气。
3:15.752–3:16.619
回到对话框。
3:16.619–3:17.920
我们直接点击发送。
3:17.920–3:19.800
此时图片就可以正常识别了。
3:19.800–3:23.646
有些小伙伴可能希望自己的纯文本大模型也能识别图像。
3:23.646–3:26.262
所以我们接下来再来演示第二种方法。
3:26.262–3:27.954
先使用视觉模型翻译后。
3:27.954–3:29.492
再位给纯文本大模型。
3:29.492–3:31.800
首先我们需要先有一个视觉模型。
3:31.800–3:33.586
这时候肯定有小伙伴会问了。
3:33.586–3:36.609
我们上一部添加的多模台大模型能直接拿来用吗?
3:36.609–3:37.434
可以是可以。
3:37.434–3:39.769
但是多少有点闲鱼占教油多此一举了。
3:39.769–3:41.831
因为想要一个模型既能识别图像。
3:41.831–3:43.617
又能处理agent的任务。
3:43.617–3:45.953
那么这个模型本身能力就已经很强了。
3:45.953–3:48.426
结果我们只是拿来给纯文本模型当眼睛。
3:48.426–3:49.800
多少有点大才小用了。
3:49.800–3:54.497
所以通常的做法是我们用一个小巧的视觉模型来给纯文本模型戴眼睛。
3:54.497–3:56.315
这样既能解决token。
3:56.315–3:58.891
又能让纯文本大模型获知图像的内容。
3:58.891–4:01.315
那么这个小巧的视觉模型怎么来呢?
4:01.315–4:05.255
很多模型提供商职业提供永久免费的视觉模型供用户适用。
4:05.255–4:07.679
但是接口存在严格的使用频率限制。
4:07.679–4:09.497
如果你有很高的使用需求,
4:09.497–4:12.224
那么就可以参考我们接下来的本地部署。
4:12.224–4:14.497
首先我们需要下载iom499。
4:14.497–4:16.618
然后一直点击下一步安装即可。
4:16.618–4:19.800
在iom499中我们可以点击左下角的设置。
4:19.800–4:23.131
然后点击第一个选项这里可以把它设置为中文。
4:23.131–4:25.035
接着我们来下载视觉模型。
4:25.035–4:27.414
我们点击左侧的带放大镜的图标。
4:27.414–4:28.683
搜索千万3vl。
4:28.683–4:30.428
如果你的显存充足的话,
4:30.428–4:33.283
可以使用8b的版本以获得更好的效果。
4:33.283–4:37.090
我这里为了快速演示下载的提计较小的一个4b版本。
4:37.090–4:38.676
点击左侧第三个图标。
4:38.676–4:40.738
选择我们要加载的视觉模型。
4:40.738–4:42.642
然后点击这里的加载设置。
4:42.642–4:44.863
上下温长度我们稍微改大一点。
4:44.863–4:48.670
避免一次对话装不下就会出现token超线的报错。
4:48.670–4:49.780
我们这里改成。
4:49.780–4:50.905
32768。
4:50.905–4:52.967
然后再点击第二个图标。
4:52.967–4:55.592
然后确保这里的状态是开启的。
4:55.592–4:56.905
点击加载模型。
4:56.905–4:58.780
选择我们的视觉模型。
4:58.780–5:00.988
然后DipsickHannis这里。
5:00.988–5:02.214
点击添加自定的空方。
5:02.214–5:04.789
ProvideID这里我们以消息这么开头。
5:04.789–5:06.384
写入iom4stuDIO。
5:06.384–5:08.346
因为我曾经创过一个它的API了。
5:08.346–5:09.818
这里为了区分我加个02。
5:09.818–5:11.780
显示名称这里我们也用同一个名字。
5:11.780–5:16.149
IP地址的话我们来到iom4stuDIO再复制一下这个地址。
5:16.149–5:17.751
回到这里我们输入之后。
5:17.751–5:19.935
在后面紧接着输入一个斜杠v1。
5:19.935–5:22.557
API写选择compleasens。
5:22.557–5:24.159
API密要随便填一个。
5:24.159–5:25.469
我这里输入123。
5:25.469–5:26.780
点击获取可用模型。
5:26.780–5:28.592
只保留我们的视觉模型。
5:28.592–5:29.745
其他取消勾选。
5:29.745–5:32.051
显示名称这里输入千万三v2。
5:32.051–5:33.698
然后点击创建提供方。
5:33.698–5:35.345
打开我们的配置文件。
5:35.345–5:37.651
找到我们刚才创建的这个模型。
5:37.651–5:39.133
我们在内幕的下面。
5:39.133–5:40.780
inputtess。
5:40.780–5:42.150
Amit这段代码。
5:42.150–5:43.976
然后按Ctrl加S保存。
5:43.976–5:45.346
我们先开一个绘画。
5:45.346–5:47.476
然后选择我们刚才提下的模型。
5:47.476–5:48.998
在这里粘贴一张图片。
5:48.998–5:49.759
点击发送。
5:49.759–5:52.346
此时可以看到正常识别我们的图片了。
5:52.346–5:54.325
现在虽然能成功识别图像了。
5:54.325–5:56.760
但是如果每次都是识别图像后。再把
5:56.760–5:58.986
文案粘贴给一个重用本模型的话。
5:58.986–6:00.767
这样的话操作就太复杂了。
6:00.767–6:03.290
为此我们可以安装一个视觉识别插件。
6:03.290–6:06.259
此类插件在社区已经有很多版本可以选择了。
6:06.259–6:08.188
不过我还是自行开发了一个。
6:08.188–6:10.860
这不是想证明我多牛或者说我的更好用。
6:10.860–6:13.234
相反我开发的这个插件只是第一版。
6:13.234–6:14.273
可能更加简陋。
6:14.273–6:19.022
我之所以开发它是因为我更倾向于开发一个更符合自己使用习惯的工具。
6:19.022–6:21.842
比如我希望能自定已识别图像时的提示词。
6:21.842–6:22.881
增加缓头功能。
6:22.881–6:24.662
同一张图片不带重复识别。
6:24.662–6:26.740
可以一键关闭和开启。不污染。
6:26.740–6:29.979
配置的。让我感觉我是真的在掌控插件的。
6:29.979–6:32.195
我调研了很多视觉识别插件。
6:32.195–6:33.558
做的都挺成熟的。
6:33.558–6:35.263
功能也比我这个丰富。
6:35.263–6:37.820
在这里感谢以下项目的公开圆码。
6:37.820–6:40.717
为本插件的若干设计考量提供了参考。
6:40.717–6:41.570
不同的是。
6:41.570–6:43.785
我这个实现上走了另一条路。
6:43.785–6:46.001
不注册路由也不注册示威器。
6:46.001–6:48.899
而是在请求发出之前把图片换成文字。
6:48.899–6:49.751
这样的话。
6:49.751–6:51.797
模型列表里不会都是条目。
6:51.797–6:52.990
插件本身也小。
6:52.990–6:54.524
不用下载额外依赖。
6:54.524–6:56.740
除了转述这件事什么都不做。
6:56.740–6:58.044
复制这条命令。
6:58.044–7:00.839
在PowerShell中安装。
7:00.839–7:02.703
接着我们来安装插件。
7:02.703–7:05.498
无论你的DFH是不是全局安装。
7:05.498–7:09.597
都可以通过这个命令来安装我们的视觉桥接插件。
7:09.597–7:13.324
将命令暂停到PowerShell中回车。
7:13.324–7:14.628
等待安装完成。
7:14.628–7:18.541
重新启动我们的DeepSigHonice。
7:18.541–7:23.200
此时在我们的视视中就可以看到我们的视觉桥接插件了。
7:23.200–7:26.740
第一步选的模型就是用来识别图像的模型。
7:26.740–7:28.785
直接取用是你已经确定它能看图。
7:28.785–7:29.876
跳过测试直接写。
7:29.876–7:30.831
切好声明之后。
7:30.831–7:34.649
就不用像前面那样手动去加input text image了。
7:34.649–7:36.831
第二步是选择哪些模型需要被桥接。
7:36.831–7:40.104
你会发现内置的DeepSig模型不在这个列表里。
7:40.104–7:42.967
这是因为插件读取的是自定义模型Q方的配置。
7:42.967–7:46.376
而内置的DeepSigOfficial不在那里面。
7:46.376–7:48.149
它是留另一个插件单组注册。
7:48.149–7:49.513
就算能选也桥接不了。
7:49.513–7:51.013
它的模态写死在代码里。
7:51.013–7:52.649
支配器还会直接拒收图片。
7:52.649–7:54.013
单纯的声明也改不了。
7:54.013–7:56.740
所以如果想用DeepSig的纯文本模型。
7:56.740–7:57.695
还要能发图片。
7:57.695–7:59.740
就得通过添加自定义模型提供方。
7:59.740–8:02.195
自己配置一份DeepSig的API。
8:02.195–8:03.558
这里我们来配置一下。
8:03.558–8:04.922
provideID。
8:04.922–8:06.013
这里随便写一个。
8:06.013–8:07.785
我们填DeepSigV4。
8:07.785–8:09.831
显示明圣这里我们用同样的内容。
8:09.831–8:12.558
这里我们填写DeepSig的API地址。
8:12.558–8:15.149
API写意选择Completions。
8:15.149–8:17.058
我们在后台创建一个APIK。
8:17.058–8:19.240
复制APIK粘贴到我们的密钥中。
8:19.240–8:20.467
点击获取可用模型。
8:20.467–8:21.695
然后点击添压搜索。
8:21.695–8:24.149
显示明圣这里为了和默认模型区分一下。
8:24.149–8:25.922
我这里用DLSV4来表示。
8:25.922–8:26.740
回到视觉前。
8:26.740–8:27.845
调节插件这里。
8:27.845–8:30.845
在第一步中选择我们用来识别图像的模型。
8:30.845–8:32.424
然后点击测试并启动。
8:32.424–8:35.424
在第二步中勾选需要增加视图能力的模型。
8:35.424–8:36.529
接着点击保存。
8:36.529–8:37.635
我们重启一下。
8:37.635–8:39.056
然后开一个新对话。
8:39.056–8:41.108
暂停一张图片进来测试一下。
8:41.108–8:45.372
请注意我们需要切换到刚才自定义的DeepSig模型上。
8:45.372–8:48.372
可以看到此时即使是我们选择的纯本模型。
8:48.372–8:50.424
也可以正常的给它发送图片。
8:50.424–8:53.108
并且帮助它识别出图片的内容是什么。
8:53.108–8:56.740
到这里DeepSigHanis的视图方案。包括
8:56.740–8:58.674
解决。还有插件的完整用法。
8:58.674–8:59.715
就全部讲完了。
8:59.715–9:04.029
后续我还会继续更新更多DeepSigHanis的间接玩法。
9:04.029–9:04.921
和AI知识。
9:04.921–9:06.855
想看更多干货可以关注一波。
9:06.855–9:07.599
我是DZ。
9:07.599–9:08.640
我们下期再见。
0:00.000–0:03.022
zh想让DeepthicHonix看懂图片,
想让DeepthicHonix看懂图片,
0:03.022–0:04.231
zh到底有几种方法。
到底有几种方法。
0:04.231–0:06.649
zh不是换个多魔态模型就万事大吉了,
不是换个多魔态模型就万事大吉了,
0:06.649–0:08.613
zh很多人配置完依旧发动失败。
很多人配置完依旧发动失败。
0:08.613–0:09.113
zh还有,
还有,
0:09.113–0:11.938
zh如果我们想给纯妹妹打模型直接发动图像,
如果我们想给纯妹妹打模型直接发动图像,
0:11.938–0:13.147
zh应该怎么实现呢?
应该怎么实现呢?
0:13.147–0:13.647
zh本期,
本期,
0:13.647–0:16.773
zh我们将通过本地部署和线上调用两组技术路线。
我们将通过本地部署和线上调用两组技术路线。
0:16.773–0:17.680
zh一次讲明白,
一次讲明白,
0:17.680–0:18.284
zh踩坑点,
踩坑点,
0:18.284–0:19.040
zh配置细节,
配置细节,
0:19.040–0:20.400
zh插件石头全部给刀。
插件石头全部给刀。
0:20.400–0:21.156
zh干货满满,
干货满满,
0:21.156–0:22.062
zh建议先收藏。
建议先收藏。
0:22.062–0:22.818
zh我是DD,
我是DD,
0:22.818–0:23.876
zh让我们开始吧。
让我们开始吧。
0:23.876–0:26.293
zh想要本地Agent能够识别图像,
想要本地Agent能够识别图像,
0:26.293–0:27.502
zh通常有两种路径。
通常有两种路径。
0:27.502–0:29.920
zh第一种方案是使用同时具备图像识别
第一种方案是使用同时具备图像识别
0:29.920–0:32.043
zh和任务处理能力的多魔态模型。
和任务处理能力的多魔态模型。
0:32.043–0:33.864
zh这种不依赖插件就能实现,
这种不依赖插件就能实现,
0:33.864–0:36.139
zh也是对画面其一随时最小的方案。
也是对画面其一随时最小的方案。
0:36.139–0:39.476
zh第二种方案是视觉模型翻译后再未给纯文本模型。
第二种方案是视觉模型翻译后再未给纯文本模型。
0:39.476–0:41.599
zh这也是大多插件所属于的方法,
这也是大多插件所属于的方法,
0:41.599–0:44.329
zh并也通过插件可以让这个过程基本误感。
并也通过插件可以让这个过程基本误感。
0:44.329–0:46.149
zh但坦承的说也是有缺点的,
但坦承的说也是有缺点的,
0:46.149–0:49.183
zh因为图像和纯文本大模型中间多了个传话的,
因为图像和纯文本大模型中间多了个传话的,
0:49.183–0:52.065
zh对于较为复杂的图像可能会有信息的丢失。
对于较为复杂的图像可能会有信息的丢失。
0:52.065–0:54.036
zh首先我们来演示第一种方案,
首先我们来演示第一种方案,
0:54.036–0:57.373
zh在DeepthicHonix走下角点击设置,
在DeepthicHonix走下角点击设置,
0:57.373–0:58.283
zh再点击模型。
再点击模型。
0:58.283–0:59.800
zh在天安模型提供方中,
在天安模型提供方中,
0:59.800–1:01.675
zh如果有你的模型提供商的话,
如果有你的模型提供商的话,
1:01.675–1:02.973
zh你可以在这里添加。
你可以在这里添加。
1:02.973–1:05.425
zh否则我们需要点击添加自定义提供方,
否则我们需要点击添加自定义提供方,
1:05.425–1:08.165
zh然后在这里面填写我们相关的API信息。
然后在这里面填写我们相关的API信息。
1:08.165–1:11.627
zh我这里先给大家演示一下如何添加一个线上的API。
我这里先给大家演示一下如何添加一个线上的API。
1:11.627–1:14.800
zh首先我们要判断你的API是否能支持图片理解。
首先我们要判断你的API是否能支持图片理解。
1:14.800–1:18.216
zh最简单的方式就是直接将模型名发给某个AI助手,
最简单的方式就是直接将模型名发给某个AI助手,
1:18.216–1:19.404
zh让AI帮你判断,
让AI帮你判断,
1:19.404–1:21.335
zh或者我们直接来看官方文档。
或者我们直接来看官方文档。
1:21.335–1:25.493
zh我们可以直接在文档中搜索多模态或者图片理解之类的关键词。
我们可以直接在文档中搜索多模态或者图片理解之类的关键词。
1:25.493–1:28.018
zh如描述模型支持图像输入等相关表述,
如描述模型支持图像输入等相关表述,
1:28.018–1:29.800
zh即为可以识别图像的模型。
即为可以识别图像的模型。
1:29.800–1:30.600
zh接下来我们进行实际配置,
接下来我们进行实际配置,
1:30.600–1:31.200
zh这里不做任何推荐,
这里不做任何推荐,
1:31.200–1:31.700
zh仅用于演示。
仅用于演示。
1:31.700–1:32.433
zh在后台复制API地址。
在后台复制API地址。
1:32.433–1:33.033
zh回到模型配置这里,
回到模型配置这里,
1:33.033–1:34.300
zhprovideID需要以小写字母开头。
provideID需要以小写字母开头。
1:34.300–1:35.433
zh我们这里可以填写模型提供商的名称。
我们这里可以填写模型提供商的名称。
1:35.433–1:36.300
zh因为我此前已经配置过一次,
因为我此前已经配置过一次,
1:36.300–1:36.967
zh所以我这里加个02,
所以我这里加个02,
1:36.967–1:37.467
zh避免重名。
避免重名。
1:37.467–1:38.467
zh显示名称这里可以用同样的名字。
显示名称这里可以用同样的名字。
1:38.467–1:39.600
zhAPI地址粘贴我们刚才复制的地址。
API地址粘贴我们刚才复制的地址。
1:39.600–1:41.267
zhAPI协议选择OpenAI Cooplicions。
API协议选择OpenAI Cooplicions。
1:41.267–1:42.600
zh到Api后台复制API后台复制APIk。
到Api后台复制API后台复制APIk。
1:42.600–1:44.542
zh接着在自定义提供方的API密尔中粘贴我们复制的APIk。
接着在自定义提供方的API密尔中粘贴我们复制的APIk。
1:44.542–1:48.413
zh正常我们可以点击获取可用模型来自动加载模型目录。
正常我们可以点击获取可用模型来自动加载模型目录。
1:48.413–1:51.800
zh但是我用的这个平台使用了自动算法切换模型。
但是我用的这个平台使用了自动算法切换模型。
1:51.800–1:54.749
zh所以我需要手动复制指定的模型名称。
所以我需要手动复制指定的模型名称。
1:54.749–1:56.484
zh担贴到模型ID这里,
担贴到模型ID这里,
1:56.484–1:58.912
zh显示名称这里我们可以任意填。
显示名称这里我们可以任意填。
1:58.912–2:00.647
zh然后点击创建提供方。
然后点击创建提供方。
2:00.647–2:02.902
zh接着我们开启一个新的绘画。
接着我们开启一个新的绘画。
2:02.902–2:06.198
zh选择我们刚才添加的可以识别图像的模型。
选择我们刚才添加的可以识别图像的模型。
2:06.198–2:08.800
zh此时复制一张图像粘贴到对话框。
此时复制一张图像粘贴到对话框。
2:08.800–2:10.106
zh点击发送。
点击发送。
2:10.106–2:14.286
zh不少小伙伴会遇到图片发送不出去。
不少小伙伴会遇到图片发送不出去。
2:14.286–2:17.160
zh提示该模型不支持图像。
提示该模型不支持图像。
2:17.160–2:20.295
zh我起初以为这是个bug。
我起初以为这是个bug。
2:20.295–2:22.908
zh查了圆码才发现不是。
查了圆码才发现不是。
2:22.908–2:26.305
zh而且这个设计其实挺讲究的。
而且这个设计其实挺讲究的。
2:26.305–2:31.791
zh问题的根源在于接口不告诉你模型能不能看图。
问题的根源在于接口不告诉你模型能不能看图。
2:31.791–2:37.800
zh所以DeepseekHanice没法自动判断。
所以DeepseekHanice没法自动判断。
2:38.800–2:40.218
zh它选择了保守策略。
它选择了保守策略。
2:40.218–2:41.479
zh默认当做纯文本。
默认当做纯文本。
2:41.479–2:43.371
zh要发的图片必须显示声明。
要发的图片必须显示声明。
2:43.371–2:45.420
zh不然你有可能图片发出去了。
不然你有可能图片发出去了。
2:45.420–2:46.838
zhToken消耗了。
Token消耗了。
2:46.838–2:48.572
zh最后只达到了一个报错。
最后只达到了一个报错。
2:48.572–2:50.463
zh所以我们来给它声明一下。
所以我们来给它声明一下。
2:50.463–2:51.882
zh点击左下角的设置。
点击左下角的设置。
2:51.882–2:54.246
zh在通用设置中点击打开配置文件。
在通用设置中点击打开配置文件。
2:54.246–2:56.295
zh如果这里没有自动打开的话,
如果这里没有自动打开的话,
2:56.295–2:58.816
zh你可以像我一样从安装目录中打开。
你可以像我一样从安装目录中打开。
2:58.816–2:59.920
zh首先打开C盘。
首先打开C盘。
2:59.920–3:00.708
zh点击用户。
点击用户。
3:00.708–3:03.229
zh打开一粒电脑名命名的这个文件夹。
打开一粒电脑名命名的这个文件夹。
3:03.229–3:04.175
zh找到并打开.
找到并打开.
3:04.175–3:05.278
zhdsh文件夹。
dsh文件夹。
3:05.278–3:07.800
zh右键Sitings用记事本打开。
右键Sitings用记事本打开。
3:07.800–3:09.535
zh找到我们刚才添加的模型。
找到我们刚才添加的模型。
3:09.535–3:11.848
zh在内幕的下面我们输入这一行代码。
在内幕的下面我们输入这一行代码。
3:11.848–3:13.294
zh按Ctrl加S保存。
按Ctrl加S保存。
3:13.294–3:14.595
zh这个修改会热生效。
这个修改会热生效。
3:14.595–3:15.752
zh我们不需要充气。
我们不需要充气。
3:15.752–3:16.619
zh回到对话框。
回到对话框。
3:16.619–3:17.920
zh我们直接点击发送。
我们直接点击发送。
3:17.920–3:19.800
zh此时图片就可以正常识别了。
此时图片就可以正常识别了。
3:19.800–3:23.646
zh有些小伙伴可能希望自己的纯文本大模型也能识别图像。
有些小伙伴可能希望自己的纯文本大模型也能识别图像。
3:23.646–3:26.262
zh所以我们接下来再来演示第二种方法。
所以我们接下来再来演示第二种方法。
3:26.262–3:27.954
zh先使用视觉模型翻译后。
先使用视觉模型翻译后。
3:27.954–3:29.492
zh再位给纯文本大模型。
再位给纯文本大模型。
3:29.492–3:31.800
zh首先我们需要先有一个视觉模型。
首先我们需要先有一个视觉模型。
3:31.800–3:33.586
zh这时候肯定有小伙伴会问了。
这时候肯定有小伙伴会问了。
3:33.586–3:36.609
zh我们上一部添加的多模台大模型能直接拿来用吗?
我们上一部添加的多模台大模型能直接拿来用吗?
3:36.609–3:37.434
zh可以是可以。
可以是可以。
3:37.434–3:39.769
zh但是多少有点闲鱼占教油多此一举了。
但是多少有点闲鱼占教油多此一举了。
3:39.769–3:41.831
zh因为想要一个模型既能识别图像。
因为想要一个模型既能识别图像。
3:41.831–3:43.617
zh又能处理agent的任务。
又能处理agent的任务。
3:43.617–3:45.953
zh那么这个模型本身能力就已经很强了。
那么这个模型本身能力就已经很强了。
3:45.953–3:48.426
zh结果我们只是拿来给纯文本模型当眼睛。
结果我们只是拿来给纯文本模型当眼睛。
3:48.426–3:49.800
zh多少有点大才小用了。
多少有点大才小用了。
3:49.800–3:54.497
zh所以通常的做法是我们用一个小巧的视觉模型来给纯文本模型戴眼睛。
所以通常的做法是我们用一个小巧的视觉模型来给纯文本模型戴眼睛。
3:54.497–3:56.315
zh这样既能解决token。
这样既能解决token。
3:56.315–3:58.891
zh又能让纯文本大模型获知图像的内容。
又能让纯文本大模型获知图像的内容。
3:58.891–4:01.315
zh那么这个小巧的视觉模型怎么来呢?
那么这个小巧的视觉模型怎么来呢?
4:01.315–4:05.255
zh很多模型提供商职业提供永久免费的视觉模型供用户适用。
很多模型提供商职业提供永久免费的视觉模型供用户适用。
4:05.255–4:07.679
zh但是接口存在严格的使用频率限制。
但是接口存在严格的使用频率限制。
4:07.679–4:09.497
zh如果你有很高的使用需求,
如果你有很高的使用需求,
4:09.497–4:12.224
zh那么就可以参考我们接下来的本地部署。
那么就可以参考我们接下来的本地部署。
4:12.224–4:14.497
zh首先我们需要下载iom499。
首先我们需要下载iom499。
4:14.497–4:16.618
zh然后一直点击下一步安装即可。
然后一直点击下一步安装即可。
4:16.618–4:19.800
zh在iom499中我们可以点击左下角的设置。
在iom499中我们可以点击左下角的设置。
4:19.800–4:23.131
zh然后点击第一个选项这里可以把它设置为中文。
然后点击第一个选项这里可以把它设置为中文。
4:23.131–4:25.035
zh接着我们来下载视觉模型。
接着我们来下载视觉模型。
4:25.035–4:27.414
zh我们点击左侧的带放大镜的图标。
我们点击左侧的带放大镜的图标。
4:27.414–4:28.683
zh搜索千万3vl。
搜索千万3vl。
4:28.683–4:30.428
zh如果你的显存充足的话,
如果你的显存充足的话,
4:30.428–4:33.283
zh可以使用8b的版本以获得更好的效果。
可以使用8b的版本以获得更好的效果。
4:33.283–4:37.090
zh我这里为了快速演示下载的提计较小的一个4b版本。
我这里为了快速演示下载的提计较小的一个4b版本。
4:37.090–4:38.676
zh点击左侧第三个图标。
点击左侧第三个图标。
4:38.676–4:40.738
zh选择我们要加载的视觉模型。
选择我们要加载的视觉模型。
4:40.738–4:42.642
zh然后点击这里的加载设置。
然后点击这里的加载设置。
4:42.642–4:44.863
zh上下温长度我们稍微改大一点。
上下温长度我们稍微改大一点。
4:44.863–4:48.670
zh避免一次对话装不下就会出现token超线的报错。
避免一次对话装不下就会出现token超线的报错。
4:48.670–4:49.780
zh我们这里改成。
我们这里改成。
4:49.780–4:50.905
en32768。
32768。
4:50.905–4:52.967
zh然后再点击第二个图标。
然后再点击第二个图标。
4:52.967–4:55.592
zh然后确保这里的状态是开启的。
然后确保这里的状态是开启的。
4:55.592–4:56.905
zh点击加载模型。
点击加载模型。
4:56.905–4:58.780
zh选择我们的视觉模型。
选择我们的视觉模型。
4:58.780–5:00.988
zh然后DipsickHannis这里。
然后DipsickHannis这里。
5:00.988–5:02.214
zh点击添加自定的空方。
点击添加自定的空方。
5:02.214–5:04.789
zhProvideID这里我们以消息这么开头。
ProvideID这里我们以消息这么开头。
5:04.789–5:06.384
zh写入iom4stuDIO。
写入iom4stuDIO。
5:06.384–5:08.346
zh因为我曾经创过一个它的API了。
因为我曾经创过一个它的API了。
5:08.346–5:09.818
zh这里为了区分我加个02。
这里为了区分我加个02。
5:09.818–5:11.780
zh显示名称这里我们也用同一个名字。
显示名称这里我们也用同一个名字。
5:11.780–5:16.149
zhIP地址的话我们来到iom4stuDIO再复制一下这个地址。
IP地址的话我们来到iom4stuDIO再复制一下这个地址。
5:16.149–5:17.751
zh回到这里我们输入之后。
回到这里我们输入之后。
5:17.751–5:19.935
zh在后面紧接着输入一个斜杠v1。
在后面紧接着输入一个斜杠v1。
5:19.935–5:22.557
zhAPI写选择compleasens。
API写选择compleasens。
5:22.557–5:24.159
zhAPI密要随便填一个。
API密要随便填一个。
5:24.159–5:25.469
zh我这里输入123。
我这里输入123。
5:25.469–5:26.780
zh点击获取可用模型。
点击获取可用模型。
5:26.780–5:28.592
zh只保留我们的视觉模型。
只保留我们的视觉模型。
5:28.592–5:29.745
zh其他取消勾选。
其他取消勾选。
5:29.745–5:32.051
zh显示名称这里输入千万三v2。
显示名称这里输入千万三v2。
5:32.051–5:33.698
zh然后点击创建提供方。
然后点击创建提供方。
5:33.698–5:35.345
zh打开我们的配置文件。
打开我们的配置文件。
5:35.345–5:37.651
zh找到我们刚才创建的这个模型。
找到我们刚才创建的这个模型。
5:37.651–5:39.133
zh我们在内幕的下面。
我们在内幕的下面。
5:39.133–5:40.780
eninputtess。
inputtess。
5:40.780–5:42.150
zhAmit这段代码。
Amit这段代码。
5:42.150–5:43.976
zh然后按Ctrl加S保存。
然后按Ctrl加S保存。
5:43.976–5:45.346
zh我们先开一个绘画。
我们先开一个绘画。
5:45.346–5:47.476
zh然后选择我们刚才提下的模型。
然后选择我们刚才提下的模型。
5:47.476–5:48.998
zh在这里粘贴一张图片。
在这里粘贴一张图片。
5:48.998–5:49.759
zh点击发送。
点击发送。
5:49.759–5:52.346
zh此时可以看到正常识别我们的图片了。
此时可以看到正常识别我们的图片了。
5:52.346–5:54.325
zh现在虽然能成功识别图像了。
现在虽然能成功识别图像了。
5:54.325–5:56.760
zh但是如果每次都是识别图像后。再把
但是如果每次都是识别图像后。再把
5:56.760–5:58.986
zh文案粘贴给一个重用本模型的话。
文案粘贴给一个重用本模型的话。
5:58.986–6:00.767
zh这样的话操作就太复杂了。
这样的话操作就太复杂了。
6:00.767–6:03.290
zh为此我们可以安装一个视觉识别插件。
为此我们可以安装一个视觉识别插件。
6:03.290–6:06.259
zh此类插件在社区已经有很多版本可以选择了。
此类插件在社区已经有很多版本可以选择了。
6:06.259–6:08.188
zh不过我还是自行开发了一个。
不过我还是自行开发了一个。
6:08.188–6:10.860
zh这不是想证明我多牛或者说我的更好用。
这不是想证明我多牛或者说我的更好用。
6:10.860–6:13.234
zh相反我开发的这个插件只是第一版。
相反我开发的这个插件只是第一版。
6:13.234–6:14.273
zh可能更加简陋。
可能更加简陋。
6:14.273–6:19.022
zh我之所以开发它是因为我更倾向于开发一个更符合自己使用习惯的工具。
我之所以开发它是因为我更倾向于开发一个更符合自己使用习惯的工具。
6:19.022–6:21.842
zh比如我希望能自定已识别图像时的提示词。
比如我希望能自定已识别图像时的提示词。
6:21.842–6:22.881
zh增加缓头功能。
增加缓头功能。
6:22.881–6:24.662
zh同一张图片不带重复识别。
同一张图片不带重复识别。
6:24.662–6:26.740
zh可以一键关闭和开启。不污染。
可以一键关闭和开启。不污染。
6:26.740–6:29.979
zh配置的。让我感觉我是真的在掌控插件的。
配置的。让我感觉我是真的在掌控插件的。
6:29.979–6:32.195
zh我调研了很多视觉识别插件。
我调研了很多视觉识别插件。
6:32.195–6:33.558
zh做的都挺成熟的。
做的都挺成熟的。
6:33.558–6:35.263
zh功能也比我这个丰富。
功能也比我这个丰富。
6:35.263–6:37.820
zh在这里感谢以下项目的公开圆码。
在这里感谢以下项目的公开圆码。
6:37.820–6:40.717
zh为本插件的若干设计考量提供了参考。
为本插件的若干设计考量提供了参考。
6:40.717–6:41.570
zh不同的是。
不同的是。
6:41.570–6:43.785
zh我这个实现上走了另一条路。
我这个实现上走了另一条路。
6:43.785–6:46.001
zh不注册路由也不注册示威器。
不注册路由也不注册示威器。
6:46.001–6:48.899
zh而是在请求发出之前把图片换成文字。
而是在请求发出之前把图片换成文字。
6:48.899–6:49.751
zh这样的话。
这样的话。
6:49.751–6:51.797
zh模型列表里不会都是条目。
模型列表里不会都是条目。
6:51.797–6:52.990
zh插件本身也小。
插件本身也小。
6:52.990–6:54.524
zh不用下载额外依赖。
不用下载额外依赖。
6:54.524–6:56.740
zh除了转述这件事什么都不做。
除了转述这件事什么都不做。
6:56.740–6:58.044
zh复制这条命令。
复制这条命令。
6:58.044–7:00.839
zh在PowerShell中安装。
在PowerShell中安装。
7:00.839–7:02.703
zh接着我们来安装插件。
接着我们来安装插件。
7:02.703–7:05.498
zh无论你的DFH是不是全局安装。
无论你的DFH是不是全局安装。
7:05.498–7:09.597
zh都可以通过这个命令来安装我们的视觉桥接插件。
都可以通过这个命令来安装我们的视觉桥接插件。
7:09.597–7:13.324
zh将命令暂停到PowerShell中回车。
将命令暂停到PowerShell中回车。
7:13.324–7:14.628
zh等待安装完成。
等待安装完成。
7:14.628–7:18.541
zh重新启动我们的DeepSigHonice。
重新启动我们的DeepSigHonice。
7:18.541–7:23.200
zh此时在我们的视视中就可以看到我们的视觉桥接插件了。
此时在我们的视视中就可以看到我们的视觉桥接插件了。
7:23.200–7:26.740
zh第一步选的模型就是用来识别图像的模型。
第一步选的模型就是用来识别图像的模型。
7:26.740–7:28.785
zh直接取用是你已经确定它能看图。
直接取用是你已经确定它能看图。
7:28.785–7:29.876
zh跳过测试直接写。
跳过测试直接写。
7:29.876–7:30.831
zh切好声明之后。
切好声明之后。
7:30.831–7:34.649
zh就不用像前面那样手动去加input text image了。
就不用像前面那样手动去加input text image了。
7:34.649–7:36.831
zh第二步是选择哪些模型需要被桥接。
第二步是选择哪些模型需要被桥接。
7:36.831–7:40.104
zh你会发现内置的DeepSig模型不在这个列表里。
你会发现内置的DeepSig模型不在这个列表里。
7:40.104–7:42.967
zh这是因为插件读取的是自定义模型Q方的配置。
这是因为插件读取的是自定义模型Q方的配置。
7:42.967–7:46.376
zh而内置的DeepSigOfficial不在那里面。
而内置的DeepSigOfficial不在那里面。
7:46.376–7:48.149
zh它是留另一个插件单组注册。
它是留另一个插件单组注册。
7:48.149–7:49.513
zh就算能选也桥接不了。
就算能选也桥接不了。
7:49.513–7:51.013
zh它的模态写死在代码里。
它的模态写死在代码里。
7:51.013–7:52.649
zh支配器还会直接拒收图片。
支配器还会直接拒收图片。
7:52.649–7:54.013
zh单纯的声明也改不了。
单纯的声明也改不了。
7:54.013–7:56.740
zh所以如果想用DeepSig的纯文本模型。
所以如果想用DeepSig的纯文本模型。
7:56.740–7:57.695
zh还要能发图片。
还要能发图片。
7:57.695–7:59.740
zh就得通过添加自定义模型提供方。
就得通过添加自定义模型提供方。
7:59.740–8:02.195
zh自己配置一份DeepSig的API。
自己配置一份DeepSig的API。
8:02.195–8:03.558
zh这里我们来配置一下。
这里我们来配置一下。
8:03.558–8:04.922
enprovideID。
provideID。
8:04.922–8:06.013
zh这里随便写一个。
这里随便写一个。
8:06.013–8:07.785
zh我们填DeepSigV4。
我们填DeepSigV4。
8:07.785–8:09.831
zh显示明圣这里我们用同样的内容。
显示明圣这里我们用同样的内容。
8:09.831–8:12.558
zh这里我们填写DeepSig的API地址。
这里我们填写DeepSig的API地址。
8:12.558–8:15.149
zhAPI写意选择Completions。
API写意选择Completions。
8:15.149–8:17.058
zh我们在后台创建一个APIK。
我们在后台创建一个APIK。
8:17.058–8:19.240
zh复制APIK粘贴到我们的密钥中。
复制APIK粘贴到我们的密钥中。
8:19.240–8:20.467
zh点击获取可用模型。
点击获取可用模型。
8:20.467–8:21.695
zh然后点击添压搜索。
然后点击添压搜索。
8:21.695–8:24.149
zh显示明圣这里为了和默认模型区分一下。
显示明圣这里为了和默认模型区分一下。
8:24.149–8:25.922
zh我这里用DLSV4来表示。
我这里用DLSV4来表示。
8:25.922–8:26.740
zh回到视觉前。
回到视觉前。
8:26.740–8:27.845
zh调节插件这里。
调节插件这里。
8:27.845–8:30.845
zh在第一步中选择我们用来识别图像的模型。
在第一步中选择我们用来识别图像的模型。
8:30.845–8:32.424
zh然后点击测试并启动。
然后点击测试并启动。
8:32.424–8:35.424
zh在第二步中勾选需要增加视图能力的模型。
在第二步中勾选需要增加视图能力的模型。
8:35.424–8:36.529
zh接着点击保存。
接着点击保存。
8:36.529–8:37.635
zh我们重启一下。
我们重启一下。
8:37.635–8:39.056
zh然后开一个新对话。
然后开一个新对话。
8:39.056–8:41.108
zh暂停一张图片进来测试一下。
暂停一张图片进来测试一下。
8:41.108–8:45.372
zh请注意我们需要切换到刚才自定义的DeepSig模型上。
请注意我们需要切换到刚才自定义的DeepSig模型上。
8:45.372–8:48.372
zh可以看到此时即使是我们选择的纯本模型。
可以看到此时即使是我们选择的纯本模型。
8:48.372–8:50.424
zh也可以正常的给它发送图片。
也可以正常的给它发送图片。
8:50.424–8:53.108
zh并且帮助它识别出图片的内容是什么。
并且帮助它识别出图片的内容是什么。
8:53.108–8:56.740
zh到这里DeepSigHanis的视图方案。包括
到这里DeepSigHanis的视图方案。包括
8:56.740–8:58.674
zh解决。还有插件的完整用法。
解决。还有插件的完整用法。
8:58.674–8:59.715
zh就全部讲完了。
就全部讲完了。
8:59.715–9:04.029
zh后续我还会继续更新更多DeepSigHanis的间接玩法。
后续我还会继续更新更多DeepSigHanis的间接玩法。
9:04.029–9:04.921
zh和AI知识。
和AI知识。
9:04.921–9:06.855
zh想看更多干货可以关注一波。
想看更多干货可以关注一波。
9:06.855–9:07.599
zh我是DZ。
我是DZ。
9:07.599–9:08.640
zh我们下期再见。
我们下期再见。
尚未產生學習筆記
請在 Telegram 指令最後加上「學習」,例如:videonote 網址 英文 雙語 學習