0:00.000–0:04.160
zh今天我们一起将Hermes从单文本模型直接扩染到接近全模态的能力
0:04.160–0:06.840
zh包括介入免费的Arganes实现生图能力
0:06.840–0:08.960
zh支持文生图也支持图生图
0:08.960–0:11.160
zh同时也介入直接生生视频的能力
0:11.160–0:14.280
zh同样包括文生视频和图生视频都是可以做到的
0:14.280–0:18.760
zh并通过介入minimax m3的原生多模态能力实现视觉理解
0:18.760–0:21.520
zh就比如说我给他一张楼房的草线图
0:21.520–0:23.120
zh他能详细理解整体的设计
0:23.120–0:26.880
zh甚至根据草线图自己去绘制每一个局部并进行讲解
0:26.880–0:28.800
zh还可以让他具备视频理解的能力
0:28.800–0:31.120
zh就比如我给他一段魔术的短视频
0:31.120–0:33.560
zh可以让他分析与提取魔术的技巧部分
0:33.560–0:36.120
zh就相当于给agent提供了一双眼睛
0:36.120–0:38.800
zh然后还可以给他加入TTS的语音生成能力
0:38.800–0:40.800
zh让agent定时汇报的事情
0:40.800–0:42.320
zh用语音来给你播播
0:42.320–0:45.280
zh随时随地收听AI推送给你的消息
0:45.280–0:49.440
zh汇总起来就是生存能力、生视频能力、图像理解能力、视频理解能力
0:49.440–0:50.720
zh以及语音生成能力
0:50.720–0:53.040
zh几乎可以达到一定程度的全模态
0:53.040–0:54.440
zh而且这也不限于Hermes
0:54.440–0:57.920
zh其他的agent工具按照接下来的讲解也可以做到这样的程度
0:57.920–1:02.480
zh好 接下来我们来看一下五种能力的接入和实现是怎么操作的
1:02.480–1:05.680
zh首先我们来说一下图片生成和视频生成能力的实现
1:05.680–1:09.520
zh这里主要是我们需要接入agent的这么一个模型
1:09.520–1:11.600
zh首先他是可以提供免费来使用的
1:11.600–1:13.360
zh而且是没有额度的限制
1:13.360–1:16.160
zh他只有一个每分钟的调用频率的限制
1:16.160–1:17.920
zh应该是一分钟可以调用20次
1:17.920–1:19.640
zh基本上也是雇用的
1:19.640–1:23.920
zh他同时具备了文本、图像和视频三种模态
1:23.920–1:28.160
zh所以说他的文本模型也可以称为你Hermes的主力模型
1:28.160–1:31.440
zh然后呢 生图和深视频这两个是可以免费使用
1:31.440–1:32.480
zh这个是非常不错的
1:32.480–1:34.320
zh使用很简单
1:34.320–1:36.120
zh你只需要去进入agent
1:36.120–1:38.480
zh然后去获取一个API key
1:38.480–1:41.360
zh文本、图像和视频也就都可以用了
1:41.360–1:42.480
zh这里最好呢
1:42.480–1:44.000
zh是新建一个tsc文文文件
1:44.000–1:45.680
zh把你的API key放到里面
1:45.680–1:49.200
zh比如说我这个是地盘的key.txt
1:53.040–1:54.640
zh这里我就不具体演示的
1:54.640–1:56.080
zh都是一些常规操作
1:56.080–2:00.080
zh然后呢 其实是关于这个文本模型
2:00.080–2:01.120
zh不是今天的重点
2:01.120–2:02.160
zh但是我们也可以说一下
2:02.160–2:03.680
zh他这个文本模型的介入
2:03.680–2:05.200
zh需要以自信的方式来介入
2:05.200–2:07.360
zh所以说这个地方你要打开命令行
2:07.360–2:09.840
zh通过输入HermesModel进来
2:09.840–2:12.960
zh然后呢 在这里去选择这个custom的endpoint
2:12.960–2:16.400
zh然后呢 把你的把这个地址
2:16.400–2:21.120
zh这是Agnus的那个baseurl给到他
2:21.120–2:23.680
zh然后再把你的API key付给他
2:23.680–2:26.400
zh好 然后选择这个autodetect
2:28.240–2:29.040
zh然后这里呢
2:29.040–2:31.680
zh给Hermes配置只能配置这个文本模型
2:31.680–2:33.200
zh其他的生图和生视频
2:33.200–2:36.000
zh是以skill和插入的方式来实现的
2:36.000–2:38.080
zh所以这地方你选4就可以了
2:38.080–2:40.400
zh这个是他的一共五个模型嘛
2:40.400–2:42.800
zh然后这个4是他的那个文本模型
2:42.800–2:44.240
zh好 输入4
2:44.240–2:45.360
zh完了之后呢 这个位置呢
2:45.360–2:48.080
zh是他是有一个要去给你输入一个名字的
2:48.080–2:48.960
zh大模型的名字啊
2:48.960–2:50.560
zh我们就输一个custom冒号
2:50.560–2:51.760
zhAgnus就可以了
2:52.880–2:54.320
zh好 然后保存
2:54.320–2:55.680
zh保存完了之后重启
2:55.680–2:56.320
zh重启之后
2:57.280–2:59.840
zh我们再新建一个打开一个新建绘画
2:59.840–3:01.240
zh你在这里下拉
3:01.240–3:02.320
zh你就能看到了啊
3:02.320–3:04.640
zh看到这个什么customagent
3:04.640–3:06.960
zh这么一个刚才的一个别名啊
3:06.960–3:08.960
zh然后呢 你再选择这个
3:10.320–3:11.280
zh选择这个模型啊
3:11.280–3:12.720
zh这个模型是个文本模型
3:12.720–3:17.440
zh好 请问你是用的什么大模型
3:17.440–3:18.480
zh我们可以看一下啊
3:19.040–3:20.240
zh好 他告诉你了
3:20.240–3:21.760
zh根据当前对话的配置信
3:21.760–3:23.120
zh我使用的是这个
3:23.120–3:24.720
zh题目上是他 对吧
3:24.720–3:26.160
zh他已经就是已经通过了
3:26.160–3:27.440
zh然后比如说
3:27.440–3:29.120
zh请帮我查询一下
3:33.040–3:34.880
zh嗯 请告诉我
3:37.680–3:39.360
zh李白的医生
3:39.360–3:40.960
zh好 我们先干干别的吧
3:40.960–3:42.480
zh好 整个这一步呢
3:42.480–3:43.880
zh其实是相当于是你把
3:43.880–3:45.440
zhAgnus接进来之后
3:46.000–3:50.400
zh你是可以用它去作为你的主力的文本模型的
3:50.400–3:53.200
zh然后接下来我们进入图片生成的这个环节啊
3:53.200–3:54.240
zh图片生成是这样的
3:54.800–3:55.520
zh这个地方呢
3:55.520–3:57.600
zh其实是它这个是提供了一个使用文档的
3:57.600–3:58.800
zh关于这个Agnus
3:58.800–4:00.640
zh而且它是2.0和2.1
4:00.640–4:01.840
zh它有两个版本
4:01.840–4:03.360
zh2.0的速度更快
4:03.360–4:04.000
zh2.1呢
4:04.000–4:06.000
zh它是效果会更好一些
4:06.000–4:07.600
zh细节会做的更好一些
4:07.600–4:08.160
zh所以说呢
4:08.160–4:08.800
zh你这个地方
4:08.800–4:09.920
zh大家可以注意一下啊
4:09.920–4:10.240
zh就是
4:11.200–4:11.840
zh是这么写的
4:11.840–4:14.320
zh请参考Agnus的生涂API使用文档
4:14.320–4:15.840
zh帮我实验图片生成能力
4:15.840–4:17.760
zh然后把这把这两个给到它
4:17.760–4:18.560
zh然后呢
4:18.560–4:19.360
zh你还要告诉他
4:19.360–4:20.480
zh你的API case在哪个
4:20.480–4:22.040
zh这就是刚才我们在前面说的
4:22.040–4:23.040
zh你的key放在这
4:24.320–4:24.720
zh好
4:26.800–4:27.440
zh好 然后呢
4:27.440–4:29.200
zh我过去可以切开看一下
4:30.160–4:31.280
zh这是刚才他去做的
4:31.280–4:32.160
zh你看
4:32.160–4:33.440
zh可以完全可以正常来使用的
4:34.880–4:37.240
zh就现在是这部Agnus2.0 flash嘛
4:37.240–4:38.400
zh这就是它的文本模型
4:38.400–4:40.240
zh好
4:40.240–4:40.800
zh接下来呢
4:40.800–4:42.480
zh我们再去看一下
4:42.480–4:43.040
zh它这个地方
4:43.040–4:44.320
zh你输入完这个之后呢
4:45.360–4:46.120
zh这是一个过程
4:46.120–4:47.200
zh我给大家写的一些图
4:47.760–4:48.360
zh就是
4:48.360–4:50.520
zh它会让你去做几个选择
4:50.520–4:51.320
zh第一就是
4:51.320–4:52.560
zh它这个是有个插件嘛
4:52.560–4:53.360
zh在Hermes里边
4:53.360–4:54.920
zh生图和生视频
4:54.920–4:56.320
zh包括视频分析
4:56.320–4:56.960
zh视觉分析
4:56.960–4:58.880
zh都是有专门的插件
4:58.880–4:59.600
zh这么一个存在的
4:59.600–5:01.040
zh但是它插件是存在一个机制
5:01.040–5:02.680
zh你是需要去给它实现的
5:02.680–5:03.400
zh所以这里呢
5:03.400–5:04.480
zh就是它会问你啊
5:04.480–5:05.160
zh这个地方
5:05.160–5:06.560
zh我选的其实是这个都做
5:06.560–5:08.320
zh选都做
5:08.400–5:08.960
zh第三项
5:13.600–5:15.160
zh然后第二个事情是什么呢
5:15.160–5:16.880
zh它这里是你的API key在哪里
5:18.400–5:18.800
zh好
5:19.600–5:20.760
zh我这里让它去选
5:20.760–5:21.760
zh也是选第三项行了
5:22.560–5:24.240
zh因为我写了那个文件
5:24.240–5:25.520
zh它这里是
5:25.520–5:27.800
zh现在Hermes那个桌面端是
5:27.800–5:30.200
zh你直接给它Key有的时候是
5:30.200–5:31.720
zh是不行的啊
5:31.720–5:33.200
zh可能做一些安适机制
5:33.200–5:34.140
zh那第三个呢
5:34.140–5:34.680
zh这里是
5:34.680–5:37.400
zh我让它是默认组2.1的
5:37.400–5:39.280
zh也是选第三项
5:39.280–5:42.060
zh2.1的效果更好嘛
5:42.060–5:44.760
zh所以说这个也是选这个就可以了
5:44.760–5:45.560
zh好
5:45.560–5:47.980
zh大概可能需要个几分钟的时间嘛
5:47.980–5:49.160
zh可能十分钟
5:49.160–5:50.160
zh5到10分钟
5:50.160–5:50.920
zh然后完了之后
5:50.920–5:53.200
zh它会告诉你生生图片的能力啊
5:53.200–5:54.400
zh已经落地了
5:54.400–5:56.680
zh然后有几种方式啊
5:56.680–5:58.480
zh包括这个2.1 2.0的啊
5:58.480–5:59.560
zh包括图生图的
5:59.560–6:01.520
zh文生图的就t
6:01.520–6:02.600
en!text image
6:02.600–6:03.600
en2.1 2.0
6:03.600–6:05.360
zh图生图也都有了
6:05.360–6:06.440
zh好
6:06.440–6:07.000
zh接下来呢
6:07.000–6:09.240
zh就是包括这些东西都是正确的啊
6:09.240–6:12.040
zh它这里还给你生成了三张这个测试图片嘛
6:12.040–6:15.080
zh这三张图分为用了三种不同的方式啊
6:15.080–6:16.600
zh文生图的2.1
6:16.600–6:17.960
zh文生图的2.0
6:17.960–6:19.000
zh然后图生图的2.1
6:19.000–6:20.600
zh好
6:20.600–6:21.200
zh就是三张图
6:21.200–6:22.040
zh就是这三张图啊
6:22.040–6:23.720
zh意思就是这个顺序啊
6:23.720–6:25.280
zh这个是2.1的2.0的
6:25.280–6:26.440
zh然后这个是个图生图
6:26.440–6:32.160
zh这个图生图很明显是肯定是用了那个反光行空的那个方式啊
6:32.160–6:33.320
zh来做的
6:33.320–6:33.920
zh好
6:33.920–6:34.640
zh就完事了啊
6:34.640–6:35.080
zh然后呢
6:35.080–6:36.480
zh我们可以做下测试
6:36.480–6:38.240
zh我这里做的测试是用
6:38.240–6:39.280
zh是写的这么一句啊
6:39.280–6:43.000
zh帮我用星海生的风格生生一个女孩在教室读书的照片啊
6:43.000–6:44.600
zh一会儿他也是完成了
6:44.600–6:45.840
zh完成了之后
6:45.840–6:46.280
zh你看啊
6:46.280–6:46.920
zh他完成了之后
6:46.920–6:50.840
zh他是这个他试书的一个指定路径
6:50.840–6:51.120
zh呃
6:51.120–6:54.240
zh然后他还对整个过程的元素进行一些描述
6:54.240–6:55.160
zh然后就这张图啊
6:55.160–6:56.400
zh就这张图
6:56.400–6:57.680
zh然后图生图
6:57.680–6:59.280
zh接下来是我做了个图生图
6:59.280–7:00.720
zh我我是有联系追问的啊
7:00.720–7:02.040
zh可以看
7:02.040–7:04.200
zh大家看一看这里
7:04.200–7:04.800
zh这里啊
7:04.800–7:05.280
zh嗯
7:08.400–7:08.640
zh对
7:08.640–7:09.120
zh就这个嘛
7:09.120–7:12.120
zh比方帮我用星海生的风格生生一张女孩的照片
7:12.120–7:14.920
zh一张一个女孩在教室读书的图片
7:14.920–7:15.440
zh是这个位置
7:15.440–7:15.840
zh然后呢
7:15.840–7:17.160
zh我通过图是什么概念呢
7:17.160–7:18.520
zh在这张图片的基础上
7:18.520–7:20.320
zh帮我增加一个男生站在方面
7:20.320–7:22.280
zh两人有说有笑生生图片
7:22.280–7:22.880
zh对吧
7:22.880–7:24.360
zh也是很顺利的完成了啊
7:24.360–7:25.360
zh速度还可以啊
7:25.360–7:27.080
zh包括这男人什么姿态啊
7:27.080–7:28.960
zh然后什么互动感什么东西呢啊
7:28.960–7:30.160
zh这对
7:30.160–7:30.840
zh好
7:30.840–7:32.440
zh然后我们可以看一下啊
7:32.440–7:33.320
zh这个就是这张图
7:34.120–7:34.680
zh还不错啊
7:34.680–7:35.160
zh还不错
7:36.200–7:37.640
zh所以说这个东西
7:37.640–7:38.520
zh我觉得质量还可以
7:38.520–7:39.720
zh因为毕竟它是一个
7:39.720–7:40.880
zh我们现在是免费使用嘛
7:40.880–7:44.240
zh特别在Hermis街上这种生图和生视频能力
7:44.240–7:47.840
zh也不是专业去搞那个生图和生视频的
7:47.840–7:49.480
zh就是我们可能去做一些内容
7:49.480–7:51.000
zh或做一些资料
7:51.000–7:52.160
zh我们需要一些配图
7:52.160–7:54.520
zh或者需要一些配套的一些视频啊
7:54.520–7:56.240
zh配合演示的视频
7:56.240–7:57.280
zh可能就就可以了
7:57.840–7:59.760
zh因为如果说特别像视频这一块
7:59.760–8:01.480
zh你如果是你真的要去做
8:01.480–8:02.840
zh像类似漫剧那样的东西
8:02.840–8:04.320
zh你至少也是接康风
8:04.320–8:07.520
zhUI这样的一些专业的一种生视频的模型嘛
8:07.520–8:09.280
zh但是我们现在比较轻量级的
8:09.280–8:10.880
zh把生图和生视频
8:10.880–8:12.520
zh先加到Hermis里面来
8:12.520–8:14.920
zh而且对我们自己的电脑也没什么要求的话啊
8:14.920–8:16.800
zh这个方式还是很不错的
8:16.800–8:16.960
zh好
8:16.960–8:20.880
zh接下来我们再看一下关于这个生视频的这个能力啊
8:20.880–8:21.680
zh生视频能力的话
8:21.680–8:22.760
zh是类似的按照方式啊
8:22.760–8:25.840
zh就是让他参考阿根尼斯的生视频的这个文档啊
8:25.840–8:28.200
zh然后帮他实现视频的生成能力
8:28.200–8:29.320
zh然后API-K也告诉他
8:29.320–8:32.680
zh然后这个文档的这个地址啊
8:32.680–8:33.360
zh也告诉他
8:33.360–8:34.680
zh完了之后呢
8:34.680–8:35.360
zh也是类似的啊
8:35.360–8:36.720
zh这个就实现了
8:36.720–8:37.640
zh实现了之后
8:37.640–8:40.080
zh这个大概也是不到十分钟的时间啊
8:40.080–8:40.960
zh实现了之后呢
8:40.960–8:43.040
zh他这里也是做了一个
8:43.040–8:43.880
zh我看有没有做测试啊
8:43.880–8:44.000
zh对
8:44.000–8:45.160
zh也是做了测试
8:45.160–8:46.880
zh而且他测试了四段视频啊
8:46.880–8:48.360
zh你看就这个同一时间点
8:48.360–8:49.880
zh做了四段视频
8:49.880–8:50.440
zh然后呢
8:50.440–8:52.240
zh这个其中两段啊
8:52.240–8:53.000
zh我放进来了
8:53.000–8:53.520
zh可以看一下
8:53.520–8:54.800
zh还有还不错
8:54.800–8:55.800
zh嗯
8:55.800–8:57.000
zh一个小飞
8:57.000–8:58.160
zh一个指飞机啊
8:58.160–8:59.760
zh飞过来
8:59.760–9:00.800
zh这是三秒钟的一个
9:00.800–9:02.880
zh好
9:02.880–9:04.800
zh这里还有一个小猫啊
9:04.800–9:06.920
zh好
9:06.920–9:15.120
zh还可以啊
9:15.120–9:15.160
zh还可以啊
9:15.160–9:15.440
zh还可以
9:15.440–9:16.600
zh就是就是这个
9:16.600–9:17.520
zh呃
9:17.520–9:19.500
zh做的这个感觉也还可以啊
9:19.500–9:21.680
zh如果说我们做一些这种
9:21.680–9:23.520
zh类似配图啊
9:23.520–9:25.860
zh或者是做一些配合的视频
9:25.860–9:26.920
zh可能也是雇用的
9:26.920–9:27.600
zh好
9:27.600–9:28.000
zh这里呢
9:28.000–9:29.720
zh我做的这个视频测试是这样的
9:29.720–9:30.840
zh让他用公信性的风格
9:30.840–9:31.720
zh给我生成一张
9:31.720–9:33.120
zh一个女孩在教室读书
9:33.120–9:34.000
zh一个男生站在旁边
9:34.000–9:34.720
zh就跟上面呢
9:34.720–9:35.440
zh是一样的啊
9:35.440–9:36.920
zh人人有时候也需要生成一段视频
9:36.920–9:38.000
zh呃
9:38.000–9:38.580
zh本正来说
9:38.580–9:39.480
zh所有的这个
9:39.480–9:41.420
zh文生视频
9:41.420–9:43.000
zh其实还是图生视频
9:43.000–9:43.460
zh只不过是
9:43.460–9:44.160
zh他这个生图
9:44.160–9:45.200
zh是他自己来完成的
9:45.200–9:47.560
zh你看他只是先做了一个
9:47.560–9:48.560
zh文生图
9:48.560–9:49.460
zh然后图生视频
9:49.460–9:50.660
zh然后全天弄通了
9:50.660–9:51.140
zh他是你看
9:51.140–9:52.380
zh他是先做了这个啊
9:52.380–9:52.860
zh现在先做了
9:52.860–9:53.400
zh现在这个图
9:53.400–9:54.080
zh然后呢
9:54.080–9:55.160
zh他把这个图做成视频了
9:55.160–9:55.860
zh看一下
9:55.860–10:01.460
zh有时候有效嘛
10:01.460–10:01.980
zh啊
10:01.980–10:04.100
zh就是没有给他太多的细节啊
10:04.100–10:05.500
zh这个到时候大家可以自己测一下
10:05.500–10:06.560
zh细节方面
10:06.560–10:08.880
zh然后图生视频的话
10:08.880–10:09.340
zh就是
10:09.340–10:09.780
zh哎
10:09.780–10:11.580
zh这个我就是写了一段啊
10:11.580–10:14.460
zh让这张图片动起来
10:14.460–10:16.380
zh生成一段视频啊
10:16.380–10:16.820
zh就是这个
10:16.820–10:18.420
zh就是那个执行的过程啊
10:18.420–10:19.180
zh就这样图给他
10:19.180–10:21.080
zh然后执行的过程就是
10:21.080–10:22.540
zh是这样的啊
10:22.540–10:23.460
zh然后这张图片动起来
10:23.460–10:24.040
zh生成一段视频
10:24.040–10:25.080
zh他可以执行啊
10:25.080–10:26.580
zh你看完成了之后
10:26.580–10:27.740
zh呃
10:27.740–10:29.000
zh这用了大概是两分
10:29.000–10:30.000
zh两分
10:30.000–10:30.860
zh就是三分钟吧
10:30.860–10:31.800
zh大家加起来用三分钟
10:31.800–10:32.620
zh然后
10:32.620–10:33.460
zh这个
10:33.460–10:34.560
zh你看这个输出
10:34.560–10:36.740
zh就是地址也给到你了啊
10:36.740–10:37.360
zh然后呢
10:37.360–10:38.440
zh这是他的动效
10:38.440–10:38.700
zh他
10:38.700–10:39.640
zh他自己强
10:39.640–10:40.380
zh他做了什么啊
10:40.380–10:41.040
zh他也告诉你了
10:41.040–10:41.940
zh我们可以来看一下
10:41.940–10:43.820
zh我也是同样的
10:43.820–10:45.440
zh也没有给他们要求太多细节
10:45.440–10:46.420
zh这个大家自己做的时候
10:46.420–10:47.180
zh可以再去试试
10:47.180–10:55.780
zh好
10:55.780–10:56.680
zh再看一遍啊
10:56.680–11:02.020
zh这还不错啊
11:02.020–11:02.380
zh还不错
11:02.380–11:03.400
zh好
11:03.400–11:05.400
zh这样生图和生视频啊
11:05.400–11:06.280
zh就可以了啊
11:06.280–11:07.420
zh同样的就刚才我们说的
11:07.420–11:07.640
zh第一
11:07.640–11:13.060
zh如果说你把它作为一个辅助的一个大元模型啊
11:13.060–11:13.720
zh也是可以的
11:13.720–11:15.460
zh也给大家刚才演示过了
11:15.460–11:16.160
zh好
11:16.160–11:17.040
zh接下来我们再看一下
11:17.040–11:18.680
zh关于这个图像理解
11:18.680–11:19.360
zh视频理解
11:19.360–11:20.520
zh以及语音合成啊
11:20.520–11:20.800
zh这块
11:20.800–11:23.760
zh图像理解和视频理解
11:23.760–11:24.520
zh本身来说
11:24.520–11:25.540
zh其实都不需要
11:25.540–11:27.120
zh不需要单独的去安装的啊
11:27.120–11:29.660
zh就是你主要是接入的是minimax M3
11:29.660–11:31.560
zh因为minimax M3
11:31.560–11:32.700
zh它是个原始动模态的
11:32.700–11:33.260
zh原始动模态
11:33.260–11:34.200
zh就意味着是
11:34.200–11:35.500
zh它不光懂语言
11:35.500–11:36.760
zh它还能看得懂图片
11:36.760–11:38.260
zh它是有两种啊
11:38.260–11:39.140
zh一种是图像理解
11:39.140–11:39.960
zh一种是视频理解
11:39.960–11:41.160
zh这两个其实还有一些区别的
11:41.160–11:42.340
zh首先说一下啊
11:42.340–11:44.160
zh这个minimax的这个
11:44.160–11:45.680
zh其实我觉得还是很不错的啊
11:45.680–11:46.500
zh现在特别是
11:46.500–11:47.860
zh有了原始动模态这块
11:47.860–11:49.920
zh其实是完全是可以考虑
11:49.920–11:50.780
zh去使用一下这个
11:50.780–11:53.420
zh我因为我一直是在用这个minimax啊
11:53.420–11:54.560
zh特别是M3出来之后
11:54.560–11:56.320
zh这个我们接下来
11:56.320–11:57.580
zh图像理解和视频理解
11:57.580–11:58.460
zh都是要依赖它的
11:58.460–11:59.200
zh另外的话
11:59.200–12:01.180
zhminimax其实还提供了
12:01.180–12:02.460
zh这个语音合成的
12:02.460–12:03.780
zh这么一种能力啊
12:03.780–12:04.700
zh同样也是用
12:04.700–12:06.460
zh这个同一个coding plan
12:06.460–12:08.080
zh也是可以去使用的
12:08.080–12:09.320
zh好
12:09.320–12:10.880
zh我们简单说一下啊
12:10.880–12:12.700
zh关于这个图像理解
12:12.700–12:17.880
zh就是原生多摩菜里边图像理解和传统的这种图像识别是什么区别
12:17.880–12:22.340
zh传统的图像识别它最多是能识别出里边有哪些元素
12:22.340–12:24.020
zh但是原生多摩菜呢
12:24.020–12:26.900
zh其实不光能识别是元素能识别到很多细节啊
12:26.900–12:31.320
zh包括这些东西的一些相关的一些关系啊都能看到的
12:31.320–12:32.720
zh你比如说第一个例子啊
12:32.720–12:35.900
zh图中这是一个倒扣的水杯地面上有水渍
12:35.900–12:38.360
zh图中有杯子地面水桌子
12:38.360–12:39.440
zh这是传统的识别啊
12:39.440–12:40.320
zh然后原生多摩菜呢
12:40.320–12:42.380
zh是杯子不小心打翻漏水
12:42.380–12:43.500
zh水渍面积比较大
12:43.500–12:44.460
zh长期不撒会
12:44.460–12:46.140
zh它这反正是除了这个
12:46.140–12:47.960
zh这个东西发生这个事
12:47.960–12:49.780
zh它能知道是怎么发生的
12:49.780–12:51.720
zh然后呢还知道这个事的后果是什么
12:51.720–12:52.920
zh就特别像什么呢
12:52.920–12:53.920
zh像一个五岁的小孩
12:53.920–12:54.960
zh你去
12:54.960–12:56.520
zh他刚刚看到一些东西的时候
12:56.520–12:58.540
zh他可能只能知道这些东西是什么
12:58.540–13:00.000
zh也不会去反映啊
13:00.000–13:01.140
zh是怎么发生的件事
13:01.140–13:02.620
zh当然也会不会去考虑后果了
13:02.620–13:03.820
zh但是一个成年人就不一样了
13:03.820–13:05.380
zh他看到一个杯子放在这儿
13:05.380–13:07.440
zh一看可能就小朋友给打翻了啊
13:07.440–13:08.240
zh不小心给打翻了
13:08.240–13:09.860
zh然后要马上处理对吧
13:09.860–13:11.200
zh因为长衣不撒
13:11.200–13:12.420
zh可能会损上木地板
13:12.420–13:13.160
zh如果地板
13:13.160–13:15.120
zh这个木质的话对吧
13:15.120–13:15.960
zh大概就是这个逻辑
13:15.960–13:17.020
zh所以说这个东西
13:17.020–13:19.580
zh就是这个还是能能做很多事情的
13:19.580–13:20.860
zh然后呢我们再说一下
13:20.860–13:22.040
zh其实还有
13:22.040–13:24.240
zh大家可能有些是分不清
13:24.240–13:26.380
zh关于生图跟跟这个叫什么
13:26.380–13:27.940
zh视觉理解是什么区别啊
13:27.940–13:30.260
zh生图其实是是图像模型啊
13:30.260–13:31.040
zh是图像的模型
13:31.040–13:33.360
zh就是视觉理解
13:33.360–13:34.500
zh其实还是语言模型
13:34.500–13:36.360
zh就它俩什么区别呢
13:36.360–13:38.040
zh就是语言模型
13:38.040–13:40.280
zh有了原生多模态的视觉理解能力
13:40.280–13:42.280
zh相当于是你可以看成啊
13:42.280–13:44.620
zh它相当于是专业的一个评委啊
13:44.620–13:47.580
zh它对画面的构这种构成啊
13:47.580–13:48.240
zh或者审美啊
13:48.240–13:49.200
zh它都很不错啊
13:49.200–13:50.520
zh都能给你打打分
13:50.520–13:51.320
zh或者做个评价
13:51.320–13:52.580
zh但是它自己画不出来
13:52.580–13:53.540
zh就是说
13:53.540–13:54.900
zh你像minimax m3
13:54.900–13:55.720
zhm3啊
13:55.720–13:57.280
zh它就算是原生多模态
13:57.280–14:00.380
zh它指的是它有视觉理解能力啊
14:00.380–14:02.060
zh有图像和视频的理解能力
14:02.060–14:03.140
zh但是它做不了图
14:03.140–14:03.720
zh做不了视频
14:03.720–14:04.600
zh这就是说
14:04.600–14:06.840
zh为什么我们前面是用这个来
14:06.840–14:08.820
zh用用agnes去做生成
14:08.820–14:09.780
zh然后这个
14:09.780–14:11.840
zh生图和视频
14:11.840–14:12.620
zh这个好说了啊
14:12.620–14:12.880
zh就是
14:12.880–14:14.700
zh仗义理解
14:14.700–14:15.400
zh这边是评委
14:15.400–14:16.620
zh这边就是他能去
14:16.620–14:18.060
zh画出图啊
14:18.060–14:18.960
zh能就亲自去
14:18.960–14:20.020
zh就是画诗
14:20.020–14:20.780
zh能画图
14:20.780–14:22.100
zh能做视频的那个人啊
14:22.100–14:23.040
zh大家就这么理解
14:23.040–14:24.420
zh这里我做了一个例子啊
14:24.420–14:30.480
zh就是比如说我这给他了一个楼房的一个建筑草图啊
14:30.480–14:31.140
zh然后呢
14:31.140–14:33.200
zh我给他贴写是什么
14:33.200–14:35.580
zh帮我从进入学的视角吧
14:35.580–14:35.860
zh啊
14:35.860–14:38.040
zh帮我拆解一下
14:38.040–14:40.960
zh加入局部特写说明
14:40.960–14:42.140
zh然后写成一封HTM
14:42.140–14:42.440
zh啊
14:42.440–14:43.800
zh这个东西我给大家看一下啊
14:43.800–14:44.440
zh这个做的是
14:44.440–14:46.740
zh虽然我不是特别懂这个东西
14:46.740–14:48.880
zh但是感觉他做的还是好像是比较靠谱的
14:48.880–14:51.520
zh就是大家去理解一下
14:51.520–14:53.140
zh可能也不一定每个都那么准
14:53.140–14:55.420
zh但是什么叫视觉理解啊
14:55.420–14:55.860
zh嗯
14:55.860–14:59.680
zh这个理解绝对不是仅仅看到图片的几个东西啊
14:59.680–15:00.060
zh为止
15:00.060–15:00.900
zh而已
15:00.900–15:01.860
zh好
15:01.860–15:02.760
zh你看一下啊
15:02.760–15:04.200
zh这个啊
15:04.200–15:04.680
zh我们看一下
15:04.680–15:06.200
zh好
15:06.200–15:09.000
zh我把这个原图也放上来了
15:09.000–15:09.920
zh然后我们来看一下
15:09.920–15:11.920
zh你看他下面的拆解啊
15:11.920–15:13.380
zh这个屋顶防水排水
15:13.380–15:15.580
zh你看他把这块又给仔细化了一下
15:15.580–15:18.000
zh而且他给你拆解了一些关键点啊
15:18.000–15:18.820
zh这一块的关键点
15:18.820–15:20.980
zh包括什么露水高发区
15:20.980–15:22.360
zh也能分析出来
15:22.360–15:23.880
zh然后低机这块啊
15:23.880–15:26.980
zh也是重新画了一下低机的一块局部特写啊
15:26.980–15:28.280
zh这个做法要点之类的
15:28.280–15:30.160
zh创台是吧
15:30.160–15:30.820
zh你看
15:30.820–15:32.220
zh露梯
15:32.220–15:32.900
zh碰面
15:32.900–15:33.320
zh然后
15:33.320–15:35.560
zh这个什么阳台啊
15:35.560–15:35.780
zh什么
15:35.780–15:36.720
zh就是这个感觉
15:36.720–15:39.180
zh就是大家去理解一下这个视觉
15:39.180–15:39.920
zh视觉能量
15:39.920–15:41.340
zh但是这个东西它细节不一定对
15:41.340–15:43.060
zh但是有的时候可能给个参考也可以
15:43.060–15:43.920
zh或者说
15:43.920–15:44.860
zh嗯
15:44.860–15:48.460
zh这个可能跟原生冬光菜的理解能力的上限也有关系
15:48.460–15:49.680
zh但是你只要知道
15:49.680–15:50.840
zh原生你才能做的
15:50.840–15:51.200
zh而且
15:51.200–15:52.740
zh它不仅仅是识别个
15:52.740–15:54.300
zh它里边有什么东西的问题啊
15:54.300–15:56.040
zh好
15:56.040–15:58.020
zh然后我们再往下看一下
15:58.020–15:59.860
zh比如说这是一个视频的那个
15:59.860–16:00.740
zh仪仗截图
16:00.740–16:01.800
zh让他去看看他的
16:01.800–16:04.200
zh灯光是怎么布局的
16:04.200–16:04.600
zh对吧
16:04.600–16:05.580
zh大家就这个啊
16:05.580–16:06.500
zh你看
16:06.500–16:07.040
zh他这个
16:07.040–16:07.900
zh包括
16:07.900–16:09.340
zh主播被在哪儿
16:09.340–16:09.980
zh有个储物柜
16:09.980–16:11.440
zh储物柜也不后有储物柜嘛
16:11.440–16:11.720
zh对吧
16:11.720–16:12.300
zh然后大概
16:12.300–16:13.680
zh也不是完全准
16:13.680–16:14.940
zh反正你可以跟他磨一磨
16:14.940–16:15.980
zh有个东西能出来
16:15.980–16:16.300
zh就是
16:16.300–16:16.740
zh你看
16:16.740–16:19.140
zh主要我们去感受一下这种原生冬光菜
16:19.140–16:21.680
zh可能给我们带来的一种运用场景是什么
16:21.680–16:23.420
zh当我看到这个图书之后
16:23.420–16:23.600
zh哎
16:23.600–16:26.180
zh比如说我现在也想去做博主啊
16:26.180–16:27.000
zh做出镜的博主
16:27.000–16:28.560
zh那他这是怎么布局的
16:28.560–16:29.240
zh对吧
16:29.240–16:29.580
zh我想
16:29.580–16:31.180
zh看一看啊
16:31.180–16:31.880
zh所以说这个时候
16:31.880–16:33.060
zh他可能把这个东西拆下出来
16:33.060–16:33.780
zh用了什么样的灯
16:33.780–16:34.120
zh对吧
16:34.120–16:35.140
zh啊
16:35.140–16:37.000
zh包括设备的清单啊
16:37.000–16:38.600
zh包括这里怎么布局
16:38.600–16:39.020
zh对吧
16:39.020–16:39.740
zh哪些灯在哪
16:39.740–16:40.400
zh然后呢
16:40.400–16:42.540
zh这下边是大概预算是多少啊
16:42.540–16:42.960
zh大概就
16:42.960–16:43.760
zh就是
16:43.760–16:45.620
zh这个反正是我看了看
16:45.620–16:46.700
zh他做的并不是特别好
16:46.700–16:48.700
zh但是这个可能还是稍微复杂了一些
16:48.700–16:50.380
zh但是他也在努力做啊
16:50.380–16:52.100
zh觉得细节其实还是不太准的
16:52.100–16:52.280
zh好
16:52.280–16:52.760
zh然后呢
16:52.760–16:56.200
zh我们再去看一下这个视频理解啊
16:56.200–16:58.500
zh就首先是这个图像理解跟视频理解
16:58.500–16:59.960
zh你都是不用去做任何事情了
16:59.960–17:00.480
zh你只要把
17:00.480–17:01.400
zh比如说你的这个模型
17:01.400–17:03.280
zh你选的是这个M3就可以了
17:03.280–17:04.920
zh在这里选的是M3也可以了
17:04.920–17:05.940
zh好
17:05.940–17:07.880
zh然后我们再看一下这个视频理解啊
17:07.880–17:08.340
zh视频理解
17:08.340–17:09.840
zh其实本身来说
17:09.840–17:11.640
zh首先它是基于图像理解的
17:11.640–17:13.000
zh因为视频
17:13.000–17:13.520
zh我们就是
17:13.520–17:15.900
zh比如25人就一秒钟25张图嘛
17:15.900–17:16.900
zh但是这样的
17:16.900–17:17.900
enMini Max M3
17:17.900–17:19.180
zh是有视频理解的能力的
17:19.180–17:19.660
zh所以说
17:19.660–17:21.100
zh它比纯粹的
17:21.100–17:23.140
zh把视频切生图
17:23.140–17:24.200
zh来去分
17:24.200–17:24.920
zh注册分析
17:24.920–17:26.020
zh它是有区别的
17:26.020–17:27.180
zh因为它有时序的关联
17:27.180–17:28.380
zh有连续的动作捕捉
17:28.380–17:29.000
zh对吧
17:29.000–17:29.740
zh有些前一后果
17:29.740–17:30.320
zh才知道的
17:30.320–17:31.060
zh所以说
17:31.060–17:32.400
zh你比如说像我们这个
17:32.400–17:34.340
zh我们接下来做的
17:34.340–17:35.300
zh这个演示的这个视频
17:35.300–17:37.300
zh是用刘圈的一段魔术吗
17:37.300–17:39.060
zh我可以给大家看一下啊
17:39.060–17:39.540
zh接下来就是
17:39.540–17:41.540
zh见证奇迹的时刻了
17:41.540–17:42.840
zh白了
17:42.840–17:45.580
zh它变了一下牌
17:45.580–17:46.060
zh对吧
17:46.060–17:47.920
zh然后它后边其实是
17:47.920–17:49.720
zh因为它这里做了一个
17:49.720–17:52.300
zh其实是有一个柴姐的啊
17:52.300–17:54.940
zh因为它有高速摄像器
17:54.940–17:56.300
zh然后给拍了一下啊
17:56.300–17:57.040
zh所以说这个地方
17:57.040–17:58.080
zh但同样的啊
17:58.080–17:59.300
zh我告诉他用
17:59.300–18:01.300
zhminimax M3的视频理解能力
18:01.300–18:02.300
zh这个东西啊
18:02.300–18:02.580
zh就是
18:02.580–18:04.420
zh虽然刚才我们说了
18:04.420–18:05.580
zh你可能选上它啊
18:05.580–18:06.260
zh但是有的时候
18:06.260–18:06.480
zh它
18:06.480–18:07.540
zh它
18:07.540–18:09.860
zh它没有意识到它自己啊
18:09.860–18:10.660
zh特别刚开始的时候
18:10.660–18:11.340
zh没有意识到
18:11.340–18:12.340
zh它自己这个模型
18:12.340–18:12.920
zh已经是个
18:12.920–18:14.300
zh具备视频理解能力
18:14.300–18:15.240
zh它会去调不动插件
18:15.240–18:16.020
zh但是发现你的插件
18:16.020–18:16.880
zh没有啊
18:16.880–18:18.680
zh它就会乱七八糟干一顿啊
18:18.680–18:19.140
zh操作一顿
18:19.140–18:19.880
zh其实啥也没干
18:19.880–18:21.000
zh对吧
18:21.000–18:21.300
zh你看
18:21.300–18:21.900
zh我让它
18:21.900–18:24.140
zh利用M3的视频理解能力
18:24.140–18:24.980
zh去看一下这段视频
18:24.980–18:25.460
zh让它看明白
18:25.460–18:26.660
zh这个魔术是总变的
18:26.660–18:27.320
zh比真是一份
18:27.320–18:27.820
enRTML
18:27.820–18:29.820
zh对吧
18:29.820–18:30.060
zh好
18:30.060–18:31.820
zh我们可以看一下啊
18:31.820–18:32.020
zh对
18:32.020–18:33.100
zh你看这段视频在这啊
18:33.100–18:33.820
zh视频原视频
18:33.820–18:35.300
zh我也给它放上来了
18:35.300–18:35.500
zh啊
18:35.500–18:37.180
zh这个视频的这个基本信息
18:37.180–18:37.500
zh对吧
18:37.500–18:38.700
zh然后呢
18:38.700–18:39.940
zh这个关键的发现啊
18:39.940–18:41.340
zh这里边就来了嘛
18:41.340–18:42.860
zh掩护动作什么东西的啊
18:42.860–18:44.060
zh右手内抠
18:44.060–18:45.900
zh它这个说的其实还挺靠谱的啊
18:45.900–18:47.820
zh这里也是同学们出来的
18:47.820–18:48.460
zh那看一下啊
18:50.580–18:51.300
zh刘签
18:52.500–18:52.740
zh好
18:52.740–18:53.300
zh我们看一下
18:55.740–18:56.620
zh对
18:56.620–18:57.340
zh你看
18:57.340–18:59.300
zh他把那个关键的图在这儿啊
18:59.300–18:59.780
zh找出来
19:01.140–19:01.340
zh哎
19:01.340–19:01.820
zh你看
19:01.820–19:02.740
zh这张又有了吗
19:02.740–19:03.180
zh对不对
19:04.060–19:04.620
zh图像中
19:04.620–19:05.860
zh撕牌的系
19:05.860–19:06.300
zh不是撕牌
19:06.300–19:07.580
zh就换牌的细节
19:07.580–19:08.620
zh然后完整的时间线
19:08.620–19:10.020
zh也可以拉出来了
19:10.020–19:10.540
zh对吧
19:10.540–19:11.340
zh而且标黄了
19:11.340–19:13.460
zh就是关键的那个几个
19:13.460–19:13.780
zh那个
19:13.780–19:16.340
zh那个三十魔术核心的那个点啊
19:16.340–19:17.900
zh包括观众大笑的反应
19:17.900–19:18.740
zh你看
19:18.740–19:19.460
zh不知道笑什么
19:19.460–19:20.340
zh就完全的视频
19:20.340–19:22.300
zh也相当于就是你这个人看完视频之后
19:22.300–19:24.180
zh你可以把里边的细节都描绘出来
19:24.180–19:27.020
zh因为这里边视频其实维度还挺多的
19:27.020–19:28.140
zh因为有画面有声音
19:28.140–19:30.140
zh比方说还有这个背景音之类的
19:30.140–19:30.620
zh对吧
19:32.140–19:33.580
zh你看这个分析的还是很细的
19:35.460–19:37.060
zh这所有的细节都分析出来了
19:37.060–19:37.780
zh这个东西呢
19:37.780–19:39.740
zh其实你可以用在很多地方啊
19:39.740–19:41.580
zh包括你去拆解一些
19:41.580–19:42.220
zh呃
19:42.220–19:43.420
zh学习的视频啊
19:43.420–19:45.580
zh就是活博者视频也是可以的
19:45.580–19:46.060
zh好
19:46.060–19:47.660
zh呃
19:47.660–19:48.260
zh这里的话
19:48.260–19:48.980
zh就是
19:48.980–19:50.780
zh这这两个其实是
19:50.780–19:53.440
zh主要你想想一想怎么去用一下了啊
19:53.440–19:54.620
zh这里这两个其实本身来说
19:54.620–19:55.060
zh你只要
19:55.060–19:57.180
zh用的主力模型是M3的话
19:57.180–19:57.660
zh基本上
19:57.660–20:00.380
zh你不用去做一些初始化的一些配置
20:00.380–20:01.720
zh最多就是你把这个
20:01.720–20:02.900
zh这句啊
20:02.900–20:03.240
zh强烈
20:03.240–20:03.760
zh如果他
20:03.760–20:06.300
zh没有主动去使用这个
20:06.300–20:07.440
zh视频理解能力的话
20:07.440–20:09.200
zh你可以视频理解和这个
20:09.200–20:10.780
zh图像理解能力的话
20:10.780–20:12.660
zh你可以给他明确加上这么一句啊
20:12.660–20:13.220
zh好
20:13.220–20:14.100
zh这样的话
20:14.100–20:15.440
zh图像理解和视频理解
20:15.440–20:16.160
zh我们都说完了
20:16.160–20:17.440
zh这样我们看一下语音和诚啊
20:17.440–20:17.900
zh语音和诚
20:17.900–20:19.560
zh其实是这个东西
20:19.560–20:20.880
zh是也是啊
20:20.880–20:22.160
zh同样是M3提供了一个
20:22.160–20:22.720
zh而且他
20:22.720–20:24.560
zh他提供这几个声音
20:24.560–20:25.060
zh相对来说
20:25.060–20:26.600
zh比那些免费的是要自然一些的
20:26.600–20:27.120
zh正好我们
20:27.120–20:28.420
zh用起来就比较好用
20:28.420–20:29.580
zh比如说我们之前说的
20:29.580–20:32.180
zh类似于是AI走私信的一种播报
20:32.180–20:32.760
zh或者是
20:32.760–20:34.060
zh我们每个小时
20:34.060–20:36.120
zh做了一些定时的商业情报的一种
20:36.120–20:36.960
zh搜集嘛
20:36.960–20:37.480
zh对吧
20:37.480–20:39.120
zh就是比如之前
20:39.120–20:41.720
zh我们说的超级秘书主动人格这样的
20:41.720–20:42.300
zh可以主动
20:42.300–20:43.660
zh当他发现对对有用的
20:43.660–20:44.440
zh主动给你推送了
20:44.440–20:45.440
zh除了文字之外
20:45.440–20:47.060
zh还可以给你推语音是吧
20:47.060–20:48.520
zh这样的话就是
20:48.520–20:49.920
zh方便你随时都可以听嘛
20:49.920–20:51.140
zh这个其实也很简单啊
20:51.140–20:52.420
zh就跟他是一样的
20:52.420–20:53.180
zh这里这波说的是
20:53.180–20:54.860
zh你用minimax TTS的API
20:54.860–20:55.320
zh使用文档
20:55.320–20:56.160
zh然后呢
20:56.160–20:57.020
zh这个参考用文档
20:57.020–20:59.700
zh帮帮我实现TTS的生生能力啊
20:59.700–21:00.980
zh就text to speech
21:00.980–21:02.660
zh文本转语音嘛
21:02.660–21:04.240
zh然后API key啊
21:04.240–21:05.860
zh我把那个minimax API key
21:05.860–21:07.920
zh同样放在一个文文件里边
21:07.920–21:08.540
zh对吧
21:08.540–21:09.620
zh完了之后也是
21:09.620–21:11.960
zh执行了一波操作吧
21:11.960–21:13.540
zh大概是完成了啊
21:13.540–21:14.300
zh完成了之后
21:14.440–21:16.020
zh你就可以啊
21:16.020–21:16.320
zh你就可以
21:16.320–21:17.080
zh你像我这个地方
21:17.080–21:17.860
zh做的测试是什么呢
21:17.860–21:20.040
zh直接使用这个minimax的TTS
21:20.040–21:22.920
zh这个生生对刚才视频
21:22.920–21:24.420
zh理解的核心结论
21:24.420–21:25.500
zh控制在50字里面
21:25.500–21:26.580
zh我这里用的就是那个
21:26.580–21:27.100
zh刘圈那个
21:27.100–21:29.600
zh就是那个刚才那个
21:29.600–21:30.280
zh魔术那个啊
21:30.280–21:30.900
zh你可以听一下
21:30.900–21:33.220
zh刘圈用普克牌
21:33.220–21:34.240
zh做静静魔术
21:34.240–21:35.360
zh再用千针
21:35.360–21:36.180
zh摄像机
21:36.180–21:37.560
zh慢放回放手法
21:37.560–21:38.800
zh嘉宾吐槽
21:38.800–21:40.800
zh你要毁了整个魔术行业
21:40.800–21:41.940
zh做笑点收尾
21:41.940–21:43.620
zh就是还有一些情绪
21:43.620–21:44.140
zh可以吧
21:44.140–21:44.860
zh还可以啊
21:44.860–21:45.520
zh他能用有
21:45.520–21:47.460
zh就这里我还搞了一个文档啊
21:47.460–21:48.280
zh到时候大家可以看一下
21:48.280–21:50.360
zh他一共是有一些这个
21:50.360–21:52.160
zh这里我是
21:52.160–21:54.520
zh这个文档是Hermis去使用TTS的
21:54.520–21:55.260
zh这个生意
21:55.260–21:57.000
zh就那些编码的都去掉了
21:57.000–21:58.760
zh所以说我们可以看一下
21:58.760–22:00.640
zh你比如说他这里有千荒的音色
22:00.640–22:00.980
zh对吧
22:00.980–22:01.460
zh这些音色
22:01.460–22:02.300
zh你可以直接
22:02.300–22:03.940
zh把某个音色
22:03.940–22:05.560
zh那个给他啊
22:05.560–22:05.800
zh男生
22:05.800–22:06.680
zh首先男生和女生
22:06.680–22:08.140
zh你可以给他说的
22:08.140–22:12.480
zh然后你可以直接指定一个音色来可以啊
22:12.480–22:13.240
zh默认模型的话
22:13.240–22:14.580
zh就是现在都是2.8了
22:14.580–22:16.200
zh对吧
22:16.200–22:17.840
zh就是啊
22:17.840–22:18.420
zh包括你看
22:18.420–22:19.680
zh怎么去触发
22:19.680–22:22.940
zh让他去去用这个TTS来给你生成啊
22:22.940–22:25.120
zh生成完了之后是得了一个MP3文件啊
22:25.120–22:26.420
zh也是比较简单
22:26.420–22:26.920
zh好
22:26.920–22:29.760
zh那么大概就是这些吧
22:29.760–22:30.400
zh大概就这些
22:30.400–22:30.680
zh然后
22:30.680–22:33.260
zh有我就使用到了两个模型啊
22:33.260–22:33.820
zh一个Argnes
22:33.820–22:35.240
zh一个是minimax的M3
22:35.240–22:36.480
zhArgnes的话
22:36.480–22:39.380
zh他是有图片生成和视频生成啊
22:39.380–22:41.620
zh然后他其实也带文本模型啊
22:41.620–22:42.320
zh也可以去
22:42.320–22:43.780
zh比如说你的特论不会用了
22:43.780–22:44.140
zh或者怎么样
22:44.140–22:48.080
zh或者是一开始你不打算用这个这个M3的话
22:48.080–22:49.660
zh你可以一个这个Argnes
22:49.660–22:53.040
zh基本上也可以保证你的Hermes能去使用了啊
22:53.040–22:53.540
zh只不过是
22:53.540–22:55.440
zh如果你做的事情复杂一点
22:55.440–22:56.720
zh他请求次数比较多的话
22:56.720–22:58.840
zh你可能会觉得这个他的文本模型比较慢
22:58.840–23:00.600
zh图片和视频无所谓啊
23:00.600–23:02.220
zh因为他本身就是需要时间的
23:02.220–23:03.720
zh然后这是一个
23:03.720–23:05.380
zh再一个就是minimax的这个M3
23:05.380–23:07.420
zh他是他是一个原
23:07.420–23:08.580
zh因为他是原生多模态嘛
23:08.580–23:10.520
zh所以说他有图像理解和视频理解的能力
23:10.520–23:11.140
zh另外呢
23:11.140–23:12.940
zh就是minimax本身
23:12.940–23:15.820
zh额外提供了一个这个语音合成的一个能力
23:15.820–23:17.640
zh可以我们也去接触使用
23:17.640–23:18.080
zh这样的话
23:18.080–23:19.640
zh就是生图生视频
23:19.640–23:21.160
zh然后图片理解
23:21.160–23:22.080
zh视频理解啊
23:22.080–23:24.040
zh就是这种多模态能力就有了
23:24.040–23:25.880
zh而且我们还加了一个语音的一个能力啊
23:25.880–23:26.940
zh语音生成的能力
23:26.940–23:27.520
zh好吧
23:27.520–23:28.040
zh大概就这样
23:28.040–23:29.660
zh然后你有了这些能力之后
23:29.660–23:31.640
zh你可以自由去组合去这些事情了啊
23:31.640–23:32.200
zh你比如说
23:32.200–23:34.760
zh你像我们之前这里边说的这个啊
23:34.760–23:36.660
zh这个AI找资讯啊
23:36.660–23:38.160
zh你比如说你这个整个过程
23:38.160–23:40.300
zh你要去呃这个
23:40.300–23:42.060
zh采集信息啊
23:42.060–23:42.940
zh你的应用采集信息
23:42.940–23:43.640
zh完了之后呢
23:43.640–23:46.520
zh就给你把这个找资讯的这个
23:46.520–23:47.460
zh一天外给你做出来
23:47.460–23:47.760
zh然后呢
23:47.760–23:48.840
zh你还可以生成一段语音
23:48.840–23:49.080
zh对吧
23:49.080–23:50.440
zh然后你甚至如果说
23:50.440–23:51.760
zh我们去做一些其他东西的话
23:51.760–23:52.960
zh我还可以生成配图
23:52.960–23:53.540
zh对吧
23:53.540–23:55.120
zh或者是你比如说
23:55.120–23:56.500
zh你给他一段视频
23:56.500–23:57.640
zh或者让你的应用呢
23:57.640–23:58.680
zh去下载了一段视频
23:58.680–23:59.820
zh然后他让他自己通
23:59.820–24:00.880
zh介入视频理解能力
24:00.880–24:01.960
zh然后他去
24:01.960–24:03.520
zh介入视频理解能力啊
24:03.520–24:05.080
zh然后他去把整个视频看一遍
24:05.080–24:06.540
zh然后他把要点给你组约出来
24:06.540–24:07.200
zh然后呢
24:07.200–24:09.100
zh再给你生成一份这个
24:09.100–24:11.080
zh这个视频的一个报告
24:11.080–24:12.180
zh或者一个学习的报告
24:12.180–24:14.200
zh然后再把里边关键点啊
24:14.200–24:14.920
zh给你做成语音
24:14.920–24:15.800
zh所以整个这个过程
24:15.800–24:17.980
zh你就非常非常的一种
24:17.980–24:18.560
zh可以
24:18.560–24:20.480
zh更多的一种
24:20.480–24:22.920
zh那个操作这个空间啊
24:22.920–24:25.080
zh就是一些灵活组合的方式
24:25.080–24:27.000
zh可以做出很好的体验的应用来
24:27.640–24:28.140
zh好吧
24:28.140–24:31.660
zh那今天就讲这些吧
24:31.660–24:32.800
zh大家可以去听一听啊
24:32.800–24:33.940
zh就是通过这样的方式
24:33.940–24:34.680
zh把你的Hemis
24:34.680–24:37.600
zh打造成一个接近满血的
24:37.600–24:39.080
zh一个全模态的一种状态
24:39.080–24:39.680
zh好吧
0:00.000–0:04.160
今天我们一起将Hermes从单文本模型直接扩染到接近全模态的能力
0:04.160–0:06.840
包括介入免费的Arganes实现生图能力
0:06.840–0:08.960
支持文生图也支持图生图
0:08.960–0:11.160
同时也介入直接生生视频的能力
0:11.160–0:14.280
同样包括文生视频和图生视频都是可以做到的
0:14.280–0:18.760
并通过介入minimax m3的原生多模态能力实现视觉理解
0:18.760–0:21.520
就比如说我给他一张楼房的草线图
0:21.520–0:23.120
他能详细理解整体的设计
0:23.120–0:26.880
甚至根据草线图自己去绘制每一个局部并进行讲解
0:26.880–0:28.800
还可以让他具备视频理解的能力
0:28.800–0:31.120
就比如我给他一段魔术的短视频
0:31.120–0:33.560
可以让他分析与提取魔术的技巧部分
0:33.560–0:36.120
就相当于给agent提供了一双眼睛
0:36.120–0:38.800
然后还可以给他加入TTS的语音生成能力
0:38.800–0:40.800
让agent定时汇报的事情
0:40.800–0:42.320
用语音来给你播播
0:42.320–0:45.280
随时随地收听AI推送给你的消息
0:45.280–0:49.440
汇总起来就是生存能力、生视频能力、图像理解能力、视频理解能力
0:49.440–0:50.720
以及语音生成能力
0:50.720–0:53.040
几乎可以达到一定程度的全模态
0:53.040–0:54.440
而且这也不限于Hermes
0:54.440–0:57.920
其他的agent工具按照接下来的讲解也可以做到这样的程度
0:57.920–1:02.480
好 接下来我们来看一下五种能力的接入和实现是怎么操作的
1:02.480–1:05.680
首先我们来说一下图片生成和视频生成能力的实现
1:05.680–1:09.520
这里主要是我们需要接入agent的这么一个模型
1:09.520–1:11.600
首先他是可以提供免费来使用的
1:11.600–1:13.360
而且是没有额度的限制
1:13.360–1:16.160
他只有一个每分钟的调用频率的限制
1:16.160–1:17.920
应该是一分钟可以调用20次
1:17.920–1:19.640
基本上也是雇用的
1:19.640–1:23.920
他同时具备了文本、图像和视频三种模态
1:23.920–1:28.160
所以说他的文本模型也可以称为你Hermes的主力模型
1:28.160–1:31.440
然后呢 生图和深视频这两个是可以免费使用
1:31.440–1:32.480
这个是非常不错的
1:32.480–1:34.320
使用很简单
1:34.320–1:36.120
你只需要去进入agent
1:36.120–1:38.480
然后去获取一个API key
1:38.480–1:41.360
文本、图像和视频也就都可以用了
1:41.360–1:42.480
这里最好呢
1:42.480–1:44.000
是新建一个tsc文文文件
1:44.000–1:45.680
把你的API key放到里面
1:45.680–1:49.200
比如说我这个是地盘的key.txt
1:53.040–1:54.640
这里我就不具体演示的
1:54.640–1:56.080
都是一些常规操作
1:56.080–2:00.080
然后呢 其实是关于这个文本模型
2:00.080–2:01.120
不是今天的重点
2:01.120–2:02.160
但是我们也可以说一下
2:02.160–2:03.680
他这个文本模型的介入
2:03.680–2:05.200
需要以自信的方式来介入
2:05.200–2:07.360
所以说这个地方你要打开命令行
2:07.360–2:09.840
通过输入HermesModel进来
2:09.840–2:12.960
然后呢 在这里去选择这个custom的endpoint
2:12.960–2:16.400
然后呢 把你的把这个地址
2:16.400–2:21.120
这是Agnus的那个baseurl给到他
2:21.120–2:23.680
然后再把你的API key付给他
2:23.680–2:26.400
好 然后选择这个autodetect
2:28.240–2:29.040
然后这里呢
2:29.040–2:31.680
给Hermes配置只能配置这个文本模型
2:31.680–2:33.200
其他的生图和生视频
2:33.200–2:36.000
是以skill和插入的方式来实现的
2:36.000–2:38.080
所以这地方你选4就可以了
2:38.080–2:40.400
这个是他的一共五个模型嘛
2:40.400–2:42.800
然后这个4是他的那个文本模型
2:42.800–2:44.240
好 输入4
2:44.240–2:45.360
完了之后呢 这个位置呢
2:45.360–2:48.080
是他是有一个要去给你输入一个名字的
2:48.080–2:48.960
大模型的名字啊
2:48.960–2:50.560
我们就输一个custom冒号
2:50.560–2:51.760
Agnus就可以了
2:52.880–2:54.320
好 然后保存
2:54.320–2:55.680
保存完了之后重启
2:55.680–2:56.320
重启之后
2:57.280–2:59.840
我们再新建一个打开一个新建绘画
2:59.840–3:01.240
你在这里下拉
3:01.240–3:02.320
你就能看到了啊
3:02.320–3:04.640
看到这个什么customagent
3:04.640–3:06.960
这么一个刚才的一个别名啊
3:06.960–3:08.960
然后呢 你再选择这个
3:10.320–3:11.280
选择这个模型啊
3:11.280–3:12.720
这个模型是个文本模型
3:12.720–3:17.440
好 请问你是用的什么大模型
3:17.440–3:18.480
我们可以看一下啊
3:19.040–3:20.240
好 他告诉你了
3:20.240–3:21.760
根据当前对话的配置信
3:21.760–3:23.120
我使用的是这个
3:23.120–3:24.720
题目上是他 对吧
3:24.720–3:26.160
他已经就是已经通过了
3:26.160–3:27.440
然后比如说
3:27.440–3:29.120
请帮我查询一下
3:33.040–3:34.880
嗯 请告诉我
3:37.680–3:39.360
李白的医生
3:39.360–3:40.960
好 我们先干干别的吧
3:40.960–3:42.480
好 整个这一步呢
3:42.480–3:43.880
其实是相当于是你把
3:43.880–3:45.440
Agnus接进来之后
3:46.000–3:50.400
你是可以用它去作为你的主力的文本模型的
3:50.400–3:53.200
然后接下来我们进入图片生成的这个环节啊
3:53.200–3:54.240
图片生成是这样的
3:54.800–3:55.520
这个地方呢
3:55.520–3:57.600
其实是它这个是提供了一个使用文档的
3:57.600–3:58.800
关于这个Agnus
3:58.800–4:00.640
而且它是2.0和2.1
4:00.640–4:01.840
它有两个版本
4:01.840–4:03.360
2.0的速度更快
4:03.360–4:04.000
2.1呢
4:04.000–4:06.000
它是效果会更好一些
4:06.000–4:07.600
细节会做的更好一些
4:07.600–4:08.160
所以说呢
4:08.160–4:08.800
你这个地方
4:08.800–4:09.920
大家可以注意一下啊
4:09.920–4:10.240
就是
4:11.200–4:11.840
是这么写的
4:11.840–4:14.320
请参考Agnus的生涂API使用文档
4:14.320–4:15.840
帮我实验图片生成能力
4:15.840–4:17.760
然后把这把这两个给到它
4:17.760–4:18.560
然后呢
4:18.560–4:19.360
你还要告诉他
4:19.360–4:20.480
你的API case在哪个
4:20.480–4:22.040
这就是刚才我们在前面说的
4:22.040–4:23.040
你的key放在这
4:24.320–4:24.720
好
4:26.800–4:27.440
好 然后呢
4:27.440–4:29.200
我过去可以切开看一下
4:30.160–4:31.280
这是刚才他去做的
4:31.280–4:32.160
你看
4:32.160–4:33.440
可以完全可以正常来使用的
4:34.880–4:37.240
就现在是这部Agnus2.0 flash嘛
4:37.240–4:38.400
这就是它的文本模型
4:38.400–4:40.240
好
4:40.240–4:40.800
接下来呢
4:40.800–4:42.480
我们再去看一下
4:42.480–4:43.040
它这个地方
4:43.040–4:44.320
你输入完这个之后呢
4:45.360–4:46.120
这是一个过程
4:46.120–4:47.200
我给大家写的一些图
4:47.760–4:48.360
就是
4:48.360–4:50.520
它会让你去做几个选择
4:50.520–4:51.320
第一就是
4:51.320–4:52.560
它这个是有个插件嘛
4:52.560–4:53.360
在Hermes里边
4:53.360–4:54.920
生图和生视频
4:54.920–4:56.320
包括视频分析
4:56.320–4:56.960
视觉分析
4:56.960–4:58.880
都是有专门的插件
4:58.880–4:59.600
这么一个存在的
4:59.600–5:01.040
但是它插件是存在一个机制
5:01.040–5:02.680
你是需要去给它实现的
5:02.680–5:03.400
所以这里呢
5:03.400–5:04.480
就是它会问你啊
5:04.480–5:05.160
这个地方
5:05.160–5:06.560
我选的其实是这个都做
5:06.560–5:08.320
选都做
5:08.400–5:08.960
第三项
5:13.600–5:15.160
然后第二个事情是什么呢
5:15.160–5:16.880
它这里是你的API key在哪里
5:18.400–5:18.800
好
5:19.600–5:20.760
我这里让它去选
5:20.760–5:21.760
也是选第三项行了
5:22.560–5:24.240
因为我写了那个文件
5:24.240–5:25.520
它这里是
5:25.520–5:27.800
现在Hermes那个桌面端是
5:27.800–5:30.200
你直接给它Key有的时候是
5:30.200–5:31.720
是不行的啊
5:31.720–5:33.200
可能做一些安适机制
5:33.200–5:34.140
那第三个呢
5:34.140–5:34.680
这里是
5:34.680–5:37.400
我让它是默认组2.1的
5:37.400–5:39.280
也是选第三项
5:39.280–5:42.060
2.1的效果更好嘛
5:42.060–5:44.760
所以说这个也是选这个就可以了
5:44.760–5:45.560
好
5:45.560–5:47.980
大概可能需要个几分钟的时间嘛
5:47.980–5:49.160
可能十分钟
5:49.160–5:50.160
5到10分钟
5:50.160–5:50.920
然后完了之后
5:50.920–5:53.200
它会告诉你生生图片的能力啊
5:53.200–5:54.400
已经落地了
5:54.400–5:56.680
然后有几种方式啊
5:56.680–5:58.480
包括这个2.1 2.0的啊
5:58.480–5:59.560
包括图生图的
5:59.560–6:01.520
文生图的就t
6:01.520–6:02.600
!text image
6:02.600–6:03.600
2.1 2.0
6:03.600–6:05.360
图生图也都有了
6:05.360–6:06.440
好
6:06.440–6:07.000
接下来呢
6:07.000–6:09.240
就是包括这些东西都是正确的啊
6:09.240–6:12.040
它这里还给你生成了三张这个测试图片嘛
6:12.040–6:15.080
这三张图分为用了三种不同的方式啊
6:15.080–6:16.600
文生图的2.1
6:16.600–6:17.960
文生图的2.0
6:17.960–6:19.000
然后图生图的2.1
6:19.000–6:20.600
好
6:20.600–6:21.200
就是三张图
6:21.200–6:22.040
就是这三张图啊
6:22.040–6:23.720
意思就是这个顺序啊
6:23.720–6:25.280
这个是2.1的2.0的
6:25.280–6:26.440
然后这个是个图生图
6:26.440–6:32.160
这个图生图很明显是肯定是用了那个反光行空的那个方式啊
6:32.160–6:33.320
来做的
6:33.320–6:33.920
好
6:33.920–6:34.640
就完事了啊
6:34.640–6:35.080
然后呢
6:35.080–6:36.480
我们可以做下测试
6:36.480–6:38.240
我这里做的测试是用
6:38.240–6:39.280
是写的这么一句啊
6:39.280–6:43.000
帮我用星海生的风格生生一个女孩在教室读书的照片啊
6:43.000–6:44.600
一会儿他也是完成了
6:44.600–6:45.840
完成了之后
6:45.840–6:46.280
你看啊
6:46.280–6:46.920
他完成了之后
6:46.920–6:50.840
他是这个他试书的一个指定路径
6:50.840–6:51.120
呃
6:51.120–6:54.240
然后他还对整个过程的元素进行一些描述
6:54.240–6:55.160
然后就这张图啊
6:55.160–6:56.400
就这张图
6:56.400–6:57.680
然后图生图
6:57.680–6:59.280
接下来是我做了个图生图
6:59.280–7:00.720
我我是有联系追问的啊
7:00.720–7:02.040
可以看
7:02.040–7:04.200
大家看一看这里
7:04.200–7:04.800
这里啊
7:04.800–7:05.280
嗯
7:08.400–7:08.640
对
7:08.640–7:09.120
就这个嘛
7:09.120–7:12.120
比方帮我用星海生的风格生生一张女孩的照片
7:12.120–7:14.920
一张一个女孩在教室读书的图片
7:14.920–7:15.440
是这个位置
7:15.440–7:15.840
然后呢
7:15.840–7:17.160
我通过图是什么概念呢
7:17.160–7:18.520
在这张图片的基础上
7:18.520–7:20.320
帮我增加一个男生站在方面
7:20.320–7:22.280
两人有说有笑生生图片
7:22.280–7:22.880
对吧
7:22.880–7:24.360
也是很顺利的完成了啊
7:24.360–7:25.360
速度还可以啊
7:25.360–7:27.080
包括这男人什么姿态啊
7:27.080–7:28.960
然后什么互动感什么东西呢啊
7:28.960–7:30.160
这对
7:30.160–7:30.840
好
7:30.840–7:32.440
然后我们可以看一下啊
7:32.440–7:33.320
这个就是这张图
7:34.120–7:34.680
还不错啊
7:34.680–7:35.160
还不错
7:36.200–7:37.640
所以说这个东西
7:37.640–7:38.520
我觉得质量还可以
7:38.520–7:39.720
因为毕竟它是一个
7:39.720–7:40.880
我们现在是免费使用嘛
7:40.880–7:44.240
特别在Hermis街上这种生图和生视频能力
7:44.240–7:47.840
也不是专业去搞那个生图和生视频的
7:47.840–7:49.480
就是我们可能去做一些内容
7:49.480–7:51.000
或做一些资料
7:51.000–7:52.160
我们需要一些配图
7:52.160–7:54.520
或者需要一些配套的一些视频啊
7:54.520–7:56.240
配合演示的视频
7:56.240–7:57.280
可能就就可以了
7:57.840–7:59.760
因为如果说特别像视频这一块
7:59.760–8:01.480
你如果是你真的要去做
8:01.480–8:02.840
像类似漫剧那样的东西
8:02.840–8:04.320
你至少也是接康风
8:04.320–8:07.520
UI这样的一些专业的一种生视频的模型嘛
8:07.520–8:09.280
但是我们现在比较轻量级的
8:09.280–8:10.880
把生图和生视频
8:10.880–8:12.520
先加到Hermis里面来
8:12.520–8:14.920
而且对我们自己的电脑也没什么要求的话啊
8:14.920–8:16.800
这个方式还是很不错的
8:16.800–8:16.960
好
8:16.960–8:20.880
接下来我们再看一下关于这个生视频的这个能力啊
8:20.880–8:21.680
生视频能力的话
8:21.680–8:22.760
是类似的按照方式啊
8:22.760–8:25.840
就是让他参考阿根尼斯的生视频的这个文档啊
8:25.840–8:28.200
然后帮他实现视频的生成能力
8:28.200–8:29.320
然后API-K也告诉他
8:29.320–8:32.680
然后这个文档的这个地址啊
8:32.680–8:33.360
也告诉他
8:33.360–8:34.680
完了之后呢
8:34.680–8:35.360
也是类似的啊
8:35.360–8:36.720
这个就实现了
8:36.720–8:37.640
实现了之后
8:37.640–8:40.080
这个大概也是不到十分钟的时间啊
8:40.080–8:40.960
实现了之后呢
8:40.960–8:43.040
他这里也是做了一个
8:43.040–8:43.880
我看有没有做测试啊
8:43.880–8:44.000
对
8:44.000–8:45.160
也是做了测试
8:45.160–8:46.880
而且他测试了四段视频啊
8:46.880–8:48.360
你看就这个同一时间点
8:48.360–8:49.880
做了四段视频
8:49.880–8:50.440
然后呢
8:50.440–8:52.240
这个其中两段啊
8:52.240–8:53.000
我放进来了
8:53.000–8:53.520
可以看一下
8:53.520–8:54.800
还有还不错
8:54.800–8:55.800
嗯
8:55.800–8:57.000
一个小飞
8:57.000–8:58.160
一个指飞机啊
8:58.160–8:59.760
飞过来
8:59.760–9:00.800
这是三秒钟的一个
9:00.800–9:02.880
好
9:02.880–9:04.800
这里还有一个小猫啊
9:04.800–9:06.920
好
9:06.920–9:15.120
还可以啊
9:15.120–9:15.160
还可以啊
9:15.160–9:15.440
还可以
9:15.440–9:16.600
就是就是这个
9:16.600–9:17.520
呃
9:17.520–9:19.500
做的这个感觉也还可以啊
9:19.500–9:21.680
如果说我们做一些这种
9:21.680–9:23.520
类似配图啊
9:23.520–9:25.860
或者是做一些配合的视频
9:25.860–9:26.920
可能也是雇用的
9:26.920–9:27.600
好
9:27.600–9:28.000
这里呢
9:28.000–9:29.720
我做的这个视频测试是这样的
9:29.720–9:30.840
让他用公信性的风格
9:30.840–9:31.720
给我生成一张
9:31.720–9:33.120
一个女孩在教室读书
9:33.120–9:34.000
一个男生站在旁边
9:34.000–9:34.720
就跟上面呢
9:34.720–9:35.440
是一样的啊
9:35.440–9:36.920
人人有时候也需要生成一段视频
9:36.920–9:38.000
呃
9:38.000–9:38.580
本正来说
9:38.580–9:39.480
所有的这个
9:39.480–9:41.420
文生视频
9:41.420–9:43.000
其实还是图生视频
9:43.000–9:43.460
只不过是
9:43.460–9:44.160
他这个生图
9:44.160–9:45.200
是他自己来完成的
9:45.200–9:47.560
你看他只是先做了一个
9:47.560–9:48.560
文生图
9:48.560–9:49.460
然后图生视频
9:49.460–9:50.660
然后全天弄通了
9:50.660–9:51.140
他是你看
9:51.140–9:52.380
他是先做了这个啊
9:52.380–9:52.860
现在先做了
9:52.860–9:53.400
现在这个图
9:53.400–9:54.080
然后呢
9:54.080–9:55.160
他把这个图做成视频了
9:55.160–9:55.860
看一下
9:55.860–10:01.460
有时候有效嘛
10:01.460–10:01.980
啊
10:01.980–10:04.100
就是没有给他太多的细节啊
10:04.100–10:05.500
这个到时候大家可以自己测一下
10:05.500–10:06.560
细节方面
10:06.560–10:08.880
然后图生视频的话
10:08.880–10:09.340
就是
10:09.340–10:09.780
哎
10:09.780–10:11.580
这个我就是写了一段啊
10:11.580–10:14.460
让这张图片动起来
10:14.460–10:16.380
生成一段视频啊
10:16.380–10:16.820
就是这个
10:16.820–10:18.420
就是那个执行的过程啊
10:18.420–10:19.180
就这样图给他
10:19.180–10:21.080
然后执行的过程就是
10:21.080–10:22.540
是这样的啊
10:22.540–10:23.460
然后这张图片动起来
10:23.460–10:24.040
生成一段视频
10:24.040–10:25.080
他可以执行啊
10:25.080–10:26.580
你看完成了之后
10:26.580–10:27.740
呃
10:27.740–10:29.000
这用了大概是两分
10:29.000–10:30.000
两分
10:30.000–10:30.860
就是三分钟吧
10:30.860–10:31.800
大家加起来用三分钟
10:31.800–10:32.620
然后
10:32.620–10:33.460
这个
10:33.460–10:34.560
你看这个输出
10:34.560–10:36.740
就是地址也给到你了啊
10:36.740–10:37.360
然后呢
10:37.360–10:38.440
这是他的动效
10:38.440–10:38.700
他
10:38.700–10:39.640
他自己强
10:39.640–10:40.380
他做了什么啊
10:40.380–10:41.040
他也告诉你了
10:41.040–10:41.940
我们可以来看一下
10:41.940–10:43.820
我也是同样的
10:43.820–10:45.440
也没有给他们要求太多细节
10:45.440–10:46.420
这个大家自己做的时候
10:46.420–10:47.180
可以再去试试
10:47.180–10:55.780
好
10:55.780–10:56.680
再看一遍啊
10:56.680–11:02.020
这还不错啊
11:02.020–11:02.380
还不错
11:02.380–11:03.400
好
11:03.400–11:05.400
这样生图和生视频啊
11:05.400–11:06.280
就可以了啊
11:06.280–11:07.420
同样的就刚才我们说的
11:07.420–11:07.640
第一
11:07.640–11:13.060
如果说你把它作为一个辅助的一个大元模型啊
11:13.060–11:13.720
也是可以的
11:13.720–11:15.460
也给大家刚才演示过了
11:15.460–11:16.160
好
11:16.160–11:17.040
接下来我们再看一下
11:17.040–11:18.680
关于这个图像理解
11:18.680–11:19.360
视频理解
11:19.360–11:20.520
以及语音合成啊
11:20.520–11:20.800
这块
11:20.800–11:23.760
图像理解和视频理解
11:23.760–11:24.520
本身来说
11:24.520–11:25.540
其实都不需要
11:25.540–11:27.120
不需要单独的去安装的啊
11:27.120–11:29.660
就是你主要是接入的是minimax M3
11:29.660–11:31.560
因为minimax M3
11:31.560–11:32.700
它是个原始动模态的
11:32.700–11:33.260
原始动模态
11:33.260–11:34.200
就意味着是
11:34.200–11:35.500
它不光懂语言
11:35.500–11:36.760
它还能看得懂图片
11:36.760–11:38.260
它是有两种啊
11:38.260–11:39.140
一种是图像理解
11:39.140–11:39.960
一种是视频理解
11:39.960–11:41.160
这两个其实还有一些区别的
11:41.160–11:42.340
首先说一下啊
11:42.340–11:44.160
这个minimax的这个
11:44.160–11:45.680
其实我觉得还是很不错的啊
11:45.680–11:46.500
现在特别是
11:46.500–11:47.860
有了原始动模态这块
11:47.860–11:49.920
其实是完全是可以考虑
11:49.920–11:50.780
去使用一下这个
11:50.780–11:53.420
我因为我一直是在用这个minimax啊
11:53.420–11:54.560
特别是M3出来之后
11:54.560–11:56.320
这个我们接下来
11:56.320–11:57.580
图像理解和视频理解
11:57.580–11:58.460
都是要依赖它的
11:58.460–11:59.200
另外的话
11:59.200–12:01.180
minimax其实还提供了
12:01.180–12:02.460
这个语音合成的
12:02.460–12:03.780
这么一种能力啊
12:03.780–12:04.700
同样也是用
12:04.700–12:06.460
这个同一个coding plan
12:06.460–12:08.080
也是可以去使用的
12:08.080–12:09.320
好
12:09.320–12:10.880
我们简单说一下啊
12:10.880–12:12.700
关于这个图像理解
12:12.700–12:17.880
就是原生多摩菜里边图像理解和传统的这种图像识别是什么区别
12:17.880–12:22.340
传统的图像识别它最多是能识别出里边有哪些元素
12:22.340–12:24.020
但是原生多摩菜呢
12:24.020–12:26.900
其实不光能识别是元素能识别到很多细节啊
12:26.900–12:31.320
包括这些东西的一些相关的一些关系啊都能看到的
12:31.320–12:32.720
你比如说第一个例子啊
12:32.720–12:35.900
图中这是一个倒扣的水杯地面上有水渍
12:35.900–12:38.360
图中有杯子地面水桌子
12:38.360–12:39.440
这是传统的识别啊
12:39.440–12:40.320
然后原生多摩菜呢
12:40.320–12:42.380
是杯子不小心打翻漏水
12:42.380–12:43.500
水渍面积比较大
12:43.500–12:44.460
长期不撒会
12:44.460–12:46.140
它这反正是除了这个
12:46.140–12:47.960
这个东西发生这个事
12:47.960–12:49.780
它能知道是怎么发生的
12:49.780–12:51.720
然后呢还知道这个事的后果是什么
12:51.720–12:52.920
就特别像什么呢
12:52.920–12:53.920
像一个五岁的小孩
12:53.920–12:54.960
你去
12:54.960–12:56.520
他刚刚看到一些东西的时候
12:56.520–12:58.540
他可能只能知道这些东西是什么
12:58.540–13:00.000
也不会去反映啊
13:00.000–13:01.140
是怎么发生的件事
13:01.140–13:02.620
当然也会不会去考虑后果了
13:02.620–13:03.820
但是一个成年人就不一样了
13:03.820–13:05.380
他看到一个杯子放在这儿
13:05.380–13:07.440
一看可能就小朋友给打翻了啊
13:07.440–13:08.240
不小心给打翻了
13:08.240–13:09.860
然后要马上处理对吧
13:09.860–13:11.200
因为长衣不撒
13:11.200–13:12.420
可能会损上木地板
13:12.420–13:13.160
如果地板
13:13.160–13:15.120
这个木质的话对吧
13:15.120–13:15.960
大概就是这个逻辑
13:15.960–13:17.020
所以说这个东西
13:17.020–13:19.580
就是这个还是能能做很多事情的
13:19.580–13:20.860
然后呢我们再说一下
13:20.860–13:22.040
其实还有
13:22.040–13:24.240
大家可能有些是分不清
13:24.240–13:26.380
关于生图跟跟这个叫什么
13:26.380–13:27.940
视觉理解是什么区别啊
13:27.940–13:30.260
生图其实是是图像模型啊
13:30.260–13:31.040
是图像的模型
13:31.040–13:33.360
就是视觉理解
13:33.360–13:34.500
其实还是语言模型
13:34.500–13:36.360
就它俩什么区别呢
13:36.360–13:38.040
就是语言模型
13:38.040–13:40.280
有了原生多模态的视觉理解能力
13:40.280–13:42.280
相当于是你可以看成啊
13:42.280–13:44.620
它相当于是专业的一个评委啊
13:44.620–13:47.580
它对画面的构这种构成啊
13:47.580–13:48.240
或者审美啊
13:48.240–13:49.200
它都很不错啊
13:49.200–13:50.520
都能给你打打分
13:50.520–13:51.320
或者做个评价
13:51.320–13:52.580
但是它自己画不出来
13:52.580–13:53.540
就是说
13:53.540–13:54.900
你像minimax m3
13:54.900–13:55.720
m3啊
13:55.720–13:57.280
它就算是原生多模态
13:57.280–14:00.380
它指的是它有视觉理解能力啊
14:00.380–14:02.060
有图像和视频的理解能力
14:02.060–14:03.140
但是它做不了图
14:03.140–14:03.720
做不了视频
14:03.720–14:04.600
这就是说
14:04.600–14:06.840
为什么我们前面是用这个来
14:06.840–14:08.820
用用agnes去做生成
14:08.820–14:09.780
然后这个
14:09.780–14:11.840
生图和视频
14:11.840–14:12.620
这个好说了啊
14:12.620–14:12.880
就是
14:12.880–14:14.700
仗义理解
14:14.700–14:15.400
这边是评委
14:15.400–14:16.620
这边就是他能去
14:16.620–14:18.060
画出图啊
14:18.060–14:18.960
能就亲自去
14:18.960–14:20.020
就是画诗
14:20.020–14:20.780
能画图
14:20.780–14:22.100
能做视频的那个人啊
14:22.100–14:23.040
大家就这么理解
14:23.040–14:24.420
这里我做了一个例子啊
14:24.420–14:30.480
就是比如说我这给他了一个楼房的一个建筑草图啊
14:30.480–14:31.140
然后呢
14:31.140–14:33.200
我给他贴写是什么
14:33.200–14:35.580
帮我从进入学的视角吧
14:35.580–14:35.860
啊
14:35.860–14:38.040
帮我拆解一下
14:38.040–14:40.960
加入局部特写说明
14:40.960–14:42.140
然后写成一封HTM
14:42.140–14:42.440
啊
14:42.440–14:43.800
这个东西我给大家看一下啊
14:43.800–14:44.440
这个做的是
14:44.440–14:46.740
虽然我不是特别懂这个东西
14:46.740–14:48.880
但是感觉他做的还是好像是比较靠谱的
14:48.880–14:51.520
就是大家去理解一下
14:51.520–14:53.140
可能也不一定每个都那么准
14:53.140–14:55.420
但是什么叫视觉理解啊
14:55.420–14:55.860
嗯
14:55.860–14:59.680
这个理解绝对不是仅仅看到图片的几个东西啊
14:59.680–15:00.060
为止
15:00.060–15:00.900
而已
15:00.900–15:01.860
好
15:01.860–15:02.760
你看一下啊
15:02.760–15:04.200
这个啊
15:04.200–15:04.680
我们看一下
15:04.680–15:06.200
好
15:06.200–15:09.000
我把这个原图也放上来了
15:09.000–15:09.920
然后我们来看一下
15:09.920–15:11.920
你看他下面的拆解啊
15:11.920–15:13.380
这个屋顶防水排水
15:13.380–15:15.580
你看他把这块又给仔细化了一下
15:15.580–15:18.000
而且他给你拆解了一些关键点啊
15:18.000–15:18.820
这一块的关键点
15:18.820–15:20.980
包括什么露水高发区
15:20.980–15:22.360
也能分析出来
15:22.360–15:23.880
然后低机这块啊
15:23.880–15:26.980
也是重新画了一下低机的一块局部特写啊
15:26.980–15:28.280
这个做法要点之类的
15:28.280–15:30.160
创台是吧
15:30.160–15:30.820
你看
15:30.820–15:32.220
露梯
15:32.220–15:32.900
碰面
15:32.900–15:33.320
然后
15:33.320–15:35.560
这个什么阳台啊
15:35.560–15:35.780
什么
15:35.780–15:36.720
就是这个感觉
15:36.720–15:39.180
就是大家去理解一下这个视觉
15:39.180–15:39.920
视觉能量
15:39.920–15:41.340
但是这个东西它细节不一定对
15:41.340–15:43.060
但是有的时候可能给个参考也可以
15:43.060–15:43.920
或者说
15:43.920–15:44.860
嗯
15:44.860–15:48.460
这个可能跟原生冬光菜的理解能力的上限也有关系
15:48.460–15:49.680
但是你只要知道
15:49.680–15:50.840
原生你才能做的
15:50.840–15:51.200
而且
15:51.200–15:52.740
它不仅仅是识别个
15:52.740–15:54.300
它里边有什么东西的问题啊
15:54.300–15:56.040
好
15:56.040–15:58.020
然后我们再往下看一下
15:58.020–15:59.860
比如说这是一个视频的那个
15:59.860–16:00.740
仪仗截图
16:00.740–16:01.800
让他去看看他的
16:01.800–16:04.200
灯光是怎么布局的
16:04.200–16:04.600
对吧
16:04.600–16:05.580
大家就这个啊
16:05.580–16:06.500
你看
16:06.500–16:07.040
他这个
16:07.040–16:07.900
包括
16:07.900–16:09.340
主播被在哪儿
16:09.340–16:09.980
有个储物柜
16:09.980–16:11.440
储物柜也不后有储物柜嘛
16:11.440–16:11.720
对吧
16:11.720–16:12.300
然后大概
16:12.300–16:13.680
也不是完全准
16:13.680–16:14.940
反正你可以跟他磨一磨
16:14.940–16:15.980
有个东西能出来
16:15.980–16:16.300
就是
16:16.300–16:16.740
你看
16:16.740–16:19.140
主要我们去感受一下这种原生冬光菜
16:19.140–16:21.680
可能给我们带来的一种运用场景是什么
16:21.680–16:23.420
当我看到这个图书之后
16:23.420–16:23.600
哎
16:23.600–16:26.180
比如说我现在也想去做博主啊
16:26.180–16:27.000
做出镜的博主
16:27.000–16:28.560
那他这是怎么布局的
16:28.560–16:29.240
对吧
16:29.240–16:29.580
我想
16:29.580–16:31.180
看一看啊
16:31.180–16:31.880
所以说这个时候
16:31.880–16:33.060
他可能把这个东西拆下出来
16:33.060–16:33.780
用了什么样的灯
16:33.780–16:34.120
对吧
16:34.120–16:35.140
啊
16:35.140–16:37.000
包括设备的清单啊
16:37.000–16:38.600
包括这里怎么布局
16:38.600–16:39.020
对吧
16:39.020–16:39.740
哪些灯在哪
16:39.740–16:40.400
然后呢
16:40.400–16:42.540
这下边是大概预算是多少啊
16:42.540–16:42.960
大概就
16:42.960–16:43.760
就是
16:43.760–16:45.620
这个反正是我看了看
16:45.620–16:46.700
他做的并不是特别好
16:46.700–16:48.700
但是这个可能还是稍微复杂了一些
16:48.700–16:50.380
但是他也在努力做啊
16:50.380–16:52.100
觉得细节其实还是不太准的
16:52.100–16:52.280
好
16:52.280–16:52.760
然后呢
16:52.760–16:56.200
我们再去看一下这个视频理解啊
16:56.200–16:58.500
就首先是这个图像理解跟视频理解
16:58.500–16:59.960
你都是不用去做任何事情了
16:59.960–17:00.480
你只要把
17:00.480–17:01.400
比如说你的这个模型
17:01.400–17:03.280
你选的是这个M3就可以了
17:03.280–17:04.920
在这里选的是M3也可以了
17:04.920–17:05.940
好
17:05.940–17:07.880
然后我们再看一下这个视频理解啊
17:07.880–17:08.340
视频理解
17:08.340–17:09.840
其实本身来说
17:09.840–17:11.640
首先它是基于图像理解的
17:11.640–17:13.000
因为视频
17:13.000–17:13.520
我们就是
17:13.520–17:15.900
比如25人就一秒钟25张图嘛
17:15.900–17:16.900
但是这样的
17:16.900–17:17.900
Mini Max M3
17:17.900–17:19.180
是有视频理解的能力的
17:19.180–17:19.660
所以说
17:19.660–17:21.100
它比纯粹的
17:21.100–17:23.140
把视频切生图
17:23.140–17:24.200
来去分
17:24.200–17:24.920
注册分析
17:24.920–17:26.020
它是有区别的
17:26.020–17:27.180
因为它有时序的关联
17:27.180–17:28.380
有连续的动作捕捉
17:28.380–17:29.000
对吧
17:29.000–17:29.740
有些前一后果
17:29.740–17:30.320
才知道的
17:30.320–17:31.060
所以说
17:31.060–17:32.400
你比如说像我们这个
17:32.400–17:34.340
我们接下来做的
17:34.340–17:35.300
这个演示的这个视频
17:35.300–17:37.300
是用刘圈的一段魔术吗
17:37.300–17:39.060
我可以给大家看一下啊
17:39.060–17:39.540
接下来就是
17:39.540–17:41.540
见证奇迹的时刻了
17:41.540–17:42.840
白了
17:42.840–17:45.580
它变了一下牌
17:45.580–17:46.060
对吧
17:46.060–17:47.920
然后它后边其实是
17:47.920–17:49.720
因为它这里做了一个
17:49.720–17:52.300
其实是有一个柴姐的啊
17:52.300–17:54.940
因为它有高速摄像器
17:54.940–17:56.300
然后给拍了一下啊
17:56.300–17:57.040
所以说这个地方
17:57.040–17:58.080
但同样的啊
17:58.080–17:59.300
我告诉他用
17:59.300–18:01.300
minimax M3的视频理解能力
18:01.300–18:02.300
这个东西啊
18:02.300–18:02.580
就是
18:02.580–18:04.420
虽然刚才我们说了
18:04.420–18:05.580
你可能选上它啊
18:05.580–18:06.260
但是有的时候
18:06.260–18:06.480
它
18:06.480–18:07.540
它
18:07.540–18:09.860
它没有意识到它自己啊
18:09.860–18:10.660
特别刚开始的时候
18:10.660–18:11.340
没有意识到
18:11.340–18:12.340
它自己这个模型
18:12.340–18:12.920
已经是个
18:12.920–18:14.300
具备视频理解能力
18:14.300–18:15.240
它会去调不动插件
18:15.240–18:16.020
但是发现你的插件
18:16.020–18:16.880
没有啊
18:16.880–18:18.680
它就会乱七八糟干一顿啊
18:18.680–18:19.140
操作一顿
18:19.140–18:19.880
其实啥也没干
18:19.880–18:21.000
对吧
18:21.000–18:21.300
你看
18:21.300–18:21.900
我让它
18:21.900–18:24.140
利用M3的视频理解能力
18:24.140–18:24.980
去看一下这段视频
18:24.980–18:25.460
让它看明白
18:25.460–18:26.660
这个魔术是总变的
18:26.660–18:27.320
比真是一份
18:27.320–18:27.820
RTML
18:27.820–18:29.820
对吧
18:29.820–18:30.060
好
18:30.060–18:31.820
我们可以看一下啊
18:31.820–18:32.020
对
18:32.020–18:33.100
你看这段视频在这啊
18:33.100–18:33.820
视频原视频
18:33.820–18:35.300
我也给它放上来了
18:35.300–18:35.500
啊
18:35.500–18:37.180
这个视频的这个基本信息
18:37.180–18:37.500
对吧
18:37.500–18:38.700
然后呢
18:38.700–18:39.940
这个关键的发现啊
18:39.940–18:41.340
这里边就来了嘛
18:41.340–18:42.860
掩护动作什么东西的啊
18:42.860–18:44.060
右手内抠
18:44.060–18:45.900
它这个说的其实还挺靠谱的啊
18:45.900–18:47.820
这里也是同学们出来的
18:47.820–18:48.460
那看一下啊
18:50.580–18:51.300
刘签
18:52.500–18:52.740
好
18:52.740–18:53.300
我们看一下
18:55.740–18:56.620
对
18:56.620–18:57.340
你看
18:57.340–18:59.300
他把那个关键的图在这儿啊
18:59.300–18:59.780
找出来
19:01.140–19:01.340
哎
19:01.340–19:01.820
你看
19:01.820–19:02.740
这张又有了吗
19:02.740–19:03.180
对不对
19:04.060–19:04.620
图像中
19:04.620–19:05.860
撕牌的系
19:05.860–19:06.300
不是撕牌
19:06.300–19:07.580
就换牌的细节
19:07.580–19:08.620
然后完整的时间线
19:08.620–19:10.020
也可以拉出来了
19:10.020–19:10.540
对吧
19:10.540–19:11.340
而且标黄了
19:11.340–19:13.460
就是关键的那个几个
19:13.460–19:13.780
那个
19:13.780–19:16.340
那个三十魔术核心的那个点啊
19:16.340–19:17.900
包括观众大笑的反应
19:17.900–19:18.740
你看
19:18.740–19:19.460
不知道笑什么
19:19.460–19:20.340
就完全的视频
19:20.340–19:22.300
也相当于就是你这个人看完视频之后
19:22.300–19:24.180
你可以把里边的细节都描绘出来
19:24.180–19:27.020
因为这里边视频其实维度还挺多的
19:27.020–19:28.140
因为有画面有声音
19:28.140–19:30.140
比方说还有这个背景音之类的
19:30.140–19:30.620
对吧
19:32.140–19:33.580
你看这个分析的还是很细的
19:35.460–19:37.060
这所有的细节都分析出来了
19:37.060–19:37.780
这个东西呢
19:37.780–19:39.740
其实你可以用在很多地方啊
19:39.740–19:41.580
包括你去拆解一些
19:41.580–19:42.220
呃
19:42.220–19:43.420
学习的视频啊
19:43.420–19:45.580
就是活博者视频也是可以的
19:45.580–19:46.060
好
19:46.060–19:47.660
呃
19:47.660–19:48.260
这里的话
19:48.260–19:48.980
就是
19:48.980–19:50.780
这这两个其实是
19:50.780–19:53.440
主要你想想一想怎么去用一下了啊
19:53.440–19:54.620
这里这两个其实本身来说
19:54.620–19:55.060
你只要
19:55.060–19:57.180
用的主力模型是M3的话
19:57.180–19:57.660
基本上
19:57.660–20:00.380
你不用去做一些初始化的一些配置
20:00.380–20:01.720
最多就是你把这个
20:01.720–20:02.900
这句啊
20:02.900–20:03.240
强烈
20:03.240–20:03.760
如果他
20:03.760–20:06.300
没有主动去使用这个
20:06.300–20:07.440
视频理解能力的话
20:07.440–20:09.200
你可以视频理解和这个
20:09.200–20:10.780
图像理解能力的话
20:10.780–20:12.660
你可以给他明确加上这么一句啊
20:12.660–20:13.220
好
20:13.220–20:14.100
这样的话
20:14.100–20:15.440
图像理解和视频理解
20:15.440–20:16.160
我们都说完了
20:16.160–20:17.440
这样我们看一下语音和诚啊
20:17.440–20:17.900
语音和诚
20:17.900–20:19.560
其实是这个东西
20:19.560–20:20.880
是也是啊
20:20.880–20:22.160
同样是M3提供了一个
20:22.160–20:22.720
而且他
20:22.720–20:24.560
他提供这几个声音
20:24.560–20:25.060
相对来说
20:25.060–20:26.600
比那些免费的是要自然一些的
20:26.600–20:27.120
正好我们
20:27.120–20:28.420
用起来就比较好用
20:28.420–20:29.580
比如说我们之前说的
20:29.580–20:32.180
类似于是AI走私信的一种播报
20:32.180–20:32.760
或者是
20:32.760–20:34.060
我们每个小时
20:34.060–20:36.120
做了一些定时的商业情报的一种
20:36.120–20:36.960
搜集嘛
20:36.960–20:37.480
对吧
20:37.480–20:39.120
就是比如之前
20:39.120–20:41.720
我们说的超级秘书主动人格这样的
20:41.720–20:42.300
可以主动
20:42.300–20:43.660
当他发现对对有用的
20:43.660–20:44.440
主动给你推送了
20:44.440–20:45.440
除了文字之外
20:45.440–20:47.060
还可以给你推语音是吧
20:47.060–20:48.520
这样的话就是
20:48.520–20:49.920
方便你随时都可以听嘛
20:49.920–20:51.140
这个其实也很简单啊
20:51.140–20:52.420
就跟他是一样的
20:52.420–20:53.180
这里这波说的是
20:53.180–20:54.860
你用minimax TTS的API
20:54.860–20:55.320
使用文档
20:55.320–20:56.160
然后呢
20:56.160–20:57.020
这个参考用文档
20:57.020–20:59.700
帮帮我实现TTS的生生能力啊
20:59.700–21:00.980
就text to speech
21:00.980–21:02.660
文本转语音嘛
21:02.660–21:04.240
然后API key啊
21:04.240–21:05.860
我把那个minimax API key
21:05.860–21:07.920
同样放在一个文文件里边
21:07.920–21:08.540
对吧
21:08.540–21:09.620
完了之后也是
21:09.620–21:11.960
执行了一波操作吧
21:11.960–21:13.540
大概是完成了啊
21:13.540–21:14.300
完成了之后
21:14.440–21:16.020
你就可以啊
21:16.020–21:16.320
你就可以
21:16.320–21:17.080
你像我这个地方
21:17.080–21:17.860
做的测试是什么呢
21:17.860–21:20.040
直接使用这个minimax的TTS
21:20.040–21:22.920
这个生生对刚才视频
21:22.920–21:24.420
理解的核心结论
21:24.420–21:25.500
控制在50字里面
21:25.500–21:26.580
我这里用的就是那个
21:26.580–21:27.100
刘圈那个
21:27.100–21:29.600
就是那个刚才那个
21:29.600–21:30.280
魔术那个啊
21:30.280–21:30.900
你可以听一下
21:30.900–21:33.220
刘圈用普克牌
21:33.220–21:34.240
做静静魔术
21:34.240–21:35.360
再用千针
21:35.360–21:36.180
摄像机
21:36.180–21:37.560
慢放回放手法
21:37.560–21:38.800
嘉宾吐槽
21:38.800–21:40.800
你要毁了整个魔术行业
21:40.800–21:41.940
做笑点收尾
21:41.940–21:43.620
就是还有一些情绪
21:43.620–21:44.140
可以吧
21:44.140–21:44.860
还可以啊
21:44.860–21:45.520
他能用有
21:45.520–21:47.460
就这里我还搞了一个文档啊
21:47.460–21:48.280
到时候大家可以看一下
21:48.280–21:50.360
他一共是有一些这个
21:50.360–21:52.160
这里我是
21:52.160–21:54.520
这个文档是Hermis去使用TTS的
21:54.520–21:55.260
这个生意
21:55.260–21:57.000
就那些编码的都去掉了
21:57.000–21:58.760
所以说我们可以看一下
21:58.760–22:00.640
你比如说他这里有千荒的音色
22:00.640–22:00.980
对吧
22:00.980–22:01.460
这些音色
22:01.460–22:02.300
你可以直接
22:02.300–22:03.940
把某个音色
22:03.940–22:05.560
那个给他啊
22:05.560–22:05.800
男生
22:05.800–22:06.680
首先男生和女生
22:06.680–22:08.140
你可以给他说的
22:08.140–22:12.480
然后你可以直接指定一个音色来可以啊
22:12.480–22:13.240
默认模型的话
22:13.240–22:14.580
就是现在都是2.8了
22:14.580–22:16.200
对吧
22:16.200–22:17.840
就是啊
22:17.840–22:18.420
包括你看
22:18.420–22:19.680
怎么去触发
22:19.680–22:22.940
让他去去用这个TTS来给你生成啊
22:22.940–22:25.120
生成完了之后是得了一个MP3文件啊
22:25.120–22:26.420
也是比较简单
22:26.420–22:26.920
好
22:26.920–22:29.760
那么大概就是这些吧
22:29.760–22:30.400
大概就这些
22:30.400–22:30.680
然后
22:30.680–22:33.260
有我就使用到了两个模型啊
22:33.260–22:33.820
一个Argnes
22:33.820–22:35.240
一个是minimax的M3
22:35.240–22:36.480
Argnes的话
22:36.480–22:39.380
他是有图片生成和视频生成啊
22:39.380–22:41.620
然后他其实也带文本模型啊
22:41.620–22:42.320
也可以去
22:42.320–22:43.780
比如说你的特论不会用了
22:43.780–22:44.140
或者怎么样
22:44.140–22:48.080
或者是一开始你不打算用这个这个M3的话
22:48.080–22:49.660
你可以一个这个Argnes
22:49.660–22:53.040
基本上也可以保证你的Hermes能去使用了啊
22:53.040–22:53.540
只不过是
22:53.540–22:55.440
如果你做的事情复杂一点
22:55.440–22:56.720
他请求次数比较多的话
22:56.720–22:58.840
你可能会觉得这个他的文本模型比较慢
22:58.840–23:00.600
图片和视频无所谓啊
23:00.600–23:02.220
因为他本身就是需要时间的
23:02.220–23:03.720
然后这是一个
23:03.720–23:05.380
再一个就是minimax的这个M3
23:05.380–23:07.420
他是他是一个原
23:07.420–23:08.580
因为他是原生多模态嘛
23:08.580–23:10.520
所以说他有图像理解和视频理解的能力
23:10.520–23:11.140
另外呢
23:11.140–23:12.940
就是minimax本身
23:12.940–23:15.820
额外提供了一个这个语音合成的一个能力
23:15.820–23:17.640
可以我们也去接触使用
23:17.640–23:18.080
这样的话
23:18.080–23:19.640
就是生图生视频
23:19.640–23:21.160
然后图片理解
23:21.160–23:22.080
视频理解啊
23:22.080–23:24.040
就是这种多模态能力就有了
23:24.040–23:25.880
而且我们还加了一个语音的一个能力啊
23:25.880–23:26.940
语音生成的能力
23:26.940–23:27.520
好吧
23:27.520–23:28.040
大概就这样
23:28.040–23:29.660
然后你有了这些能力之后
23:29.660–23:31.640
你可以自由去组合去这些事情了啊
23:31.640–23:32.200
你比如说
23:32.200–23:34.760
你像我们之前这里边说的这个啊
23:34.760–23:36.660
这个AI找资讯啊
23:36.660–23:38.160
你比如说你这个整个过程
23:38.160–23:40.300
你要去呃这个
23:40.300–23:42.060
采集信息啊
23:42.060–23:42.940
你的应用采集信息
23:42.940–23:43.640
完了之后呢
23:43.640–23:46.520
就给你把这个找资讯的这个
23:46.520–23:47.460
一天外给你做出来
23:47.460–23:47.760
然后呢
23:47.760–23:48.840
你还可以生成一段语音
23:48.840–23:49.080
对吧
23:49.080–23:50.440
然后你甚至如果说
23:50.440–23:51.760
我们去做一些其他东西的话
23:51.760–23:52.960
我还可以生成配图
23:52.960–23:53.540
对吧
23:53.540–23:55.120
或者是你比如说
23:55.120–23:56.500
你给他一段视频
23:56.500–23:57.640
或者让你的应用呢
23:57.640–23:58.680
去下载了一段视频
23:58.680–23:59.820
然后他让他自己通
23:59.820–24:00.880
介入视频理解能力
24:00.880–24:01.960
然后他去
24:01.960–24:03.520
介入视频理解能力啊
24:03.520–24:05.080
然后他去把整个视频看一遍
24:05.080–24:06.540
然后他把要点给你组约出来
24:06.540–24:07.200
然后呢
24:07.200–24:09.100
再给你生成一份这个
24:09.100–24:11.080
这个视频的一个报告
24:11.080–24:12.180
或者一个学习的报告
24:12.180–24:14.200
然后再把里边关键点啊
24:14.200–24:14.920
给你做成语音
24:14.920–24:15.800
所以整个这个过程
24:15.800–24:17.980
你就非常非常的一种
24:17.980–24:18.560
可以
24:18.560–24:20.480
更多的一种
24:20.480–24:22.920
那个操作这个空间啊
24:22.920–24:25.080
就是一些灵活组合的方式
24:25.080–24:27.000
可以做出很好的体验的应用来
24:27.640–24:28.140
好吧
24:28.140–24:31.660
那今天就讲这些吧
24:31.660–24:32.800
大家可以去听一听啊
24:32.800–24:33.940
就是通过这样的方式
24:33.940–24:34.680
把你的Hemis
24:34.680–24:37.600
打造成一个接近满血的
24:37.600–24:39.080
一个全模态的一种状态
24:39.080–24:39.680
好吧
0:00.000–0:04.160
zh今天我们一起将Hermes从单文本模型直接扩染到接近全模态的能力
今天我们一起将Hermes从单文本模型直接扩染到接近全模态的能力
0:04.160–0:06.840
zh包括介入免费的Arganes实现生图能力
包括介入免费的Arganes实现生图能力
0:06.840–0:08.960
zh支持文生图也支持图生图
支持文生图也支持图生图
0:08.960–0:11.160
zh同时也介入直接生生视频的能力
同时也介入直接生生视频的能力
0:11.160–0:14.280
zh同样包括文生视频和图生视频都是可以做到的
同样包括文生视频和图生视频都是可以做到的
0:14.280–0:18.760
zh并通过介入minimax m3的原生多模态能力实现视觉理解
并通过介入minimax m3的原生多模态能力实现视觉理解
0:18.760–0:21.520
zh就比如说我给他一张楼房的草线图
就比如说我给他一张楼房的草线图
0:21.520–0:23.120
zh他能详细理解整体的设计
他能详细理解整体的设计
0:23.120–0:26.880
zh甚至根据草线图自己去绘制每一个局部并进行讲解
甚至根据草线图自己去绘制每一个局部并进行讲解
0:26.880–0:28.800
zh还可以让他具备视频理解的能力
还可以让他具备视频理解的能力
0:28.800–0:31.120
zh就比如我给他一段魔术的短视频
就比如我给他一段魔术的短视频
0:31.120–0:33.560
zh可以让他分析与提取魔术的技巧部分
可以让他分析与提取魔术的技巧部分
0:33.560–0:36.120
zh就相当于给agent提供了一双眼睛
就相当于给agent提供了一双眼睛
0:36.120–0:38.800
zh然后还可以给他加入TTS的语音生成能力
然后还可以给他加入TTS的语音生成能力
0:38.800–0:40.800
zh让agent定时汇报的事情
让agent定时汇报的事情
0:40.800–0:42.320
zh用语音来给你播播
用语音来给你播播
0:42.320–0:45.280
zh随时随地收听AI推送给你的消息
随时随地收听AI推送给你的消息
0:45.280–0:49.440
zh汇总起来就是生存能力、生视频能力、图像理解能力、视频理解能力
汇总起来就是生存能力、生视频能力、图像理解能力、视频理解能力
0:49.440–0:50.720
zh以及语音生成能力
以及语音生成能力
0:50.720–0:53.040
zh几乎可以达到一定程度的全模态
几乎可以达到一定程度的全模态
0:53.040–0:54.440
zh而且这也不限于Hermes
而且这也不限于Hermes
0:54.440–0:57.920
zh其他的agent工具按照接下来的讲解也可以做到这样的程度
其他的agent工具按照接下来的讲解也可以做到这样的程度
0:57.920–1:02.480
zh好 接下来我们来看一下五种能力的接入和实现是怎么操作的
好 接下来我们来看一下五种能力的接入和实现是怎么操作的
1:02.480–1:05.680
zh首先我们来说一下图片生成和视频生成能力的实现
首先我们来说一下图片生成和视频生成能力的实现
1:05.680–1:09.520
zh这里主要是我们需要接入agent的这么一个模型
这里主要是我们需要接入agent的这么一个模型
1:09.520–1:11.600
zh首先他是可以提供免费来使用的
首先他是可以提供免费来使用的
1:11.600–1:13.360
zh而且是没有额度的限制
而且是没有额度的限制
1:13.360–1:16.160
zh他只有一个每分钟的调用频率的限制
他只有一个每分钟的调用频率的限制
1:16.160–1:17.920
zh应该是一分钟可以调用20次
应该是一分钟可以调用20次
1:17.920–1:19.640
zh基本上也是雇用的
基本上也是雇用的
1:19.640–1:23.920
zh他同时具备了文本、图像和视频三种模态
他同时具备了文本、图像和视频三种模态
1:23.920–1:28.160
zh所以说他的文本模型也可以称为你Hermes的主力模型
所以说他的文本模型也可以称为你Hermes的主力模型
1:28.160–1:31.440
zh然后呢 生图和深视频这两个是可以免费使用
然后呢 生图和深视频这两个是可以免费使用
1:31.440–1:32.480
zh这个是非常不错的
这个是非常不错的
1:32.480–1:34.320
zh使用很简单
使用很简单
1:34.320–1:36.120
zh你只需要去进入agent
你只需要去进入agent
1:36.120–1:38.480
zh然后去获取一个API key
然后去获取一个API key
1:38.480–1:41.360
zh文本、图像和视频也就都可以用了
文本、图像和视频也就都可以用了
1:41.360–1:42.480
zh这里最好呢
这里最好呢
1:42.480–1:44.000
zh是新建一个tsc文文文件
是新建一个tsc文文文件
1:44.000–1:45.680
zh把你的API key放到里面
把你的API key放到里面
1:45.680–1:49.200
zh比如说我这个是地盘的key.txt
比如说我这个是地盘的key.txt
1:53.040–1:54.640
zh这里我就不具体演示的
这里我就不具体演示的
1:54.640–1:56.080
zh都是一些常规操作
都是一些常规操作
1:56.080–2:00.080
zh然后呢 其实是关于这个文本模型
然后呢 其实是关于这个文本模型
2:00.080–2:01.120
zh不是今天的重点
不是今天的重点
2:01.120–2:02.160
zh但是我们也可以说一下
但是我们也可以说一下
2:02.160–2:03.680
zh他这个文本模型的介入
他这个文本模型的介入
2:03.680–2:05.200
zh需要以自信的方式来介入
需要以自信的方式来介入
2:05.200–2:07.360
zh所以说这个地方你要打开命令行
所以说这个地方你要打开命令行
2:07.360–2:09.840
zh通过输入HermesModel进来
通过输入HermesModel进来
2:09.840–2:12.960
zh然后呢 在这里去选择这个custom的endpoint
然后呢 在这里去选择这个custom的endpoint
2:12.960–2:16.400
zh然后呢 把你的把这个地址
然后呢 把你的把这个地址
2:16.400–2:21.120
zh这是Agnus的那个baseurl给到他
这是Agnus的那个baseurl给到他
2:21.120–2:23.680
zh然后再把你的API key付给他
然后再把你的API key付给他
2:23.680–2:26.400
zh好 然后选择这个autodetect
好 然后选择这个autodetect
2:28.240–2:29.040
zh然后这里呢
然后这里呢
2:29.040–2:31.680
zh给Hermes配置只能配置这个文本模型
给Hermes配置只能配置这个文本模型
2:31.680–2:33.200
zh其他的生图和生视频
其他的生图和生视频
2:33.200–2:36.000
zh是以skill和插入的方式来实现的
是以skill和插入的方式来实现的
2:36.000–2:38.080
zh所以这地方你选4就可以了
所以这地方你选4就可以了
2:38.080–2:40.400
zh这个是他的一共五个模型嘛
这个是他的一共五个模型嘛
2:40.400–2:42.800
zh然后这个4是他的那个文本模型
然后这个4是他的那个文本模型
2:42.800–2:44.240
zh好 输入4
好 输入4
2:44.240–2:45.360
zh完了之后呢 这个位置呢
完了之后呢 这个位置呢
2:45.360–2:48.080
zh是他是有一个要去给你输入一个名字的
是他是有一个要去给你输入一个名字的
2:48.080–2:48.960
zh大模型的名字啊
大模型的名字啊
2:48.960–2:50.560
zh我们就输一个custom冒号
我们就输一个custom冒号
2:50.560–2:51.760
zhAgnus就可以了
Agnus就可以了
2:52.880–2:54.320
zh好 然后保存
好 然后保存
2:54.320–2:55.680
zh保存完了之后重启
保存完了之后重启
2:55.680–2:56.320
zh重启之后
重启之后
2:57.280–2:59.840
zh我们再新建一个打开一个新建绘画
我们再新建一个打开一个新建绘画
2:59.840–3:01.240
zh你在这里下拉
你在这里下拉
3:01.240–3:02.320
zh你就能看到了啊
你就能看到了啊
3:02.320–3:04.640
zh看到这个什么customagent
看到这个什么customagent
3:04.640–3:06.960
zh这么一个刚才的一个别名啊
这么一个刚才的一个别名啊
3:06.960–3:08.960
zh然后呢 你再选择这个
然后呢 你再选择这个
3:10.320–3:11.280
zh选择这个模型啊
选择这个模型啊
3:11.280–3:12.720
zh这个模型是个文本模型
这个模型是个文本模型
3:12.720–3:17.440
zh好 请问你是用的什么大模型
好 请问你是用的什么大模型
3:17.440–3:18.480
zh我们可以看一下啊
我们可以看一下啊
3:19.040–3:20.240
zh好 他告诉你了
好 他告诉你了
3:20.240–3:21.760
zh根据当前对话的配置信
根据当前对话的配置信
3:21.760–3:23.120
zh我使用的是这个
我使用的是这个
3:23.120–3:24.720
zh题目上是他 对吧
题目上是他 对吧
3:24.720–3:26.160
zh他已经就是已经通过了
他已经就是已经通过了
3:26.160–3:27.440
zh然后比如说
然后比如说
3:27.440–3:29.120
zh请帮我查询一下
请帮我查询一下
3:33.040–3:34.880
zh嗯 请告诉我
嗯 请告诉我
3:37.680–3:39.360
zh李白的医生
李白的医生
3:39.360–3:40.960
zh好 我们先干干别的吧
好 我们先干干别的吧
3:40.960–3:42.480
zh好 整个这一步呢
好 整个这一步呢
3:42.480–3:43.880
zh其实是相当于是你把
其实是相当于是你把
3:43.880–3:45.440
zhAgnus接进来之后
Agnus接进来之后
3:46.000–3:50.400
zh你是可以用它去作为你的主力的文本模型的
你是可以用它去作为你的主力的文本模型的
3:50.400–3:53.200
zh然后接下来我们进入图片生成的这个环节啊
然后接下来我们进入图片生成的这个环节啊
3:53.200–3:54.240
zh图片生成是这样的
图片生成是这样的
3:54.800–3:55.520
zh这个地方呢
这个地方呢
3:55.520–3:57.600
zh其实是它这个是提供了一个使用文档的
其实是它这个是提供了一个使用文档的
3:57.600–3:58.800
zh关于这个Agnus
关于这个Agnus
3:58.800–4:00.640
zh而且它是2.0和2.1
而且它是2.0和2.1
4:00.640–4:01.840
zh它有两个版本
它有两个版本
4:01.840–4:03.360
zh2.0的速度更快
2.0的速度更快
4:03.360–4:04.000
zh2.1呢
2.1呢
4:04.000–4:06.000
zh它是效果会更好一些
它是效果会更好一些
4:06.000–4:07.600
zh细节会做的更好一些
细节会做的更好一些
4:07.600–4:08.160
zh所以说呢
所以说呢
4:08.160–4:08.800
zh你这个地方
你这个地方
4:08.800–4:09.920
zh大家可以注意一下啊
大家可以注意一下啊
4:09.920–4:10.240
zh就是
就是
4:11.200–4:11.840
zh是这么写的
是这么写的
4:11.840–4:14.320
zh请参考Agnus的生涂API使用文档
请参考Agnus的生涂API使用文档
4:14.320–4:15.840
zh帮我实验图片生成能力
帮我实验图片生成能力
4:15.840–4:17.760
zh然后把这把这两个给到它
然后把这把这两个给到它
4:17.760–4:18.560
zh然后呢
然后呢
4:18.560–4:19.360
zh你还要告诉他
你还要告诉他
4:19.360–4:20.480
zh你的API case在哪个
你的API case在哪个
4:20.480–4:22.040
zh这就是刚才我们在前面说的
这就是刚才我们在前面说的
4:22.040–4:23.040
zh你的key放在这
你的key放在这
4:24.320–4:24.720
zh好
好
4:26.800–4:27.440
zh好 然后呢
好 然后呢
4:27.440–4:29.200
zh我过去可以切开看一下
我过去可以切开看一下
4:30.160–4:31.280
zh这是刚才他去做的
这是刚才他去做的
4:31.280–4:32.160
zh你看
你看
4:32.160–4:33.440
zh可以完全可以正常来使用的
可以完全可以正常来使用的
4:34.880–4:37.240
zh就现在是这部Agnus2.0 flash嘛
就现在是这部Agnus2.0 flash嘛
4:37.240–4:38.400
zh这就是它的文本模型
这就是它的文本模型
4:38.400–4:40.240
zh好
好
4:40.240–4:40.800
zh接下来呢
接下来呢
4:40.800–4:42.480
zh我们再去看一下
我们再去看一下
4:42.480–4:43.040
zh它这个地方
它这个地方
4:43.040–4:44.320
zh你输入完这个之后呢
你输入完这个之后呢
4:45.360–4:46.120
zh这是一个过程
这是一个过程
4:46.120–4:47.200
zh我给大家写的一些图
我给大家写的一些图
4:47.760–4:48.360
zh就是
就是
4:48.360–4:50.520
zh它会让你去做几个选择
它会让你去做几个选择
4:50.520–4:51.320
zh第一就是
第一就是
4:51.320–4:52.560
zh它这个是有个插件嘛
它这个是有个插件嘛
4:52.560–4:53.360
zh在Hermes里边
在Hermes里边
4:53.360–4:54.920
zh生图和生视频
生图和生视频
4:54.920–4:56.320
zh包括视频分析
包括视频分析
4:56.320–4:56.960
zh视觉分析
视觉分析
4:56.960–4:58.880
zh都是有专门的插件
都是有专门的插件
4:58.880–4:59.600
zh这么一个存在的
这么一个存在的
4:59.600–5:01.040
zh但是它插件是存在一个机制
但是它插件是存在一个机制
5:01.040–5:02.680
zh你是需要去给它实现的
你是需要去给它实现的
5:02.680–5:03.400
zh所以这里呢
所以这里呢
5:03.400–5:04.480
zh就是它会问你啊
就是它会问你啊
5:04.480–5:05.160
zh这个地方
这个地方
5:05.160–5:06.560
zh我选的其实是这个都做
我选的其实是这个都做
5:06.560–5:08.320
zh选都做
选都做
5:08.400–5:08.960
zh第三项
第三项
5:13.600–5:15.160
zh然后第二个事情是什么呢
然后第二个事情是什么呢
5:15.160–5:16.880
zh它这里是你的API key在哪里
它这里是你的API key在哪里
5:18.400–5:18.800
zh好
好
5:19.600–5:20.760
zh我这里让它去选
我这里让它去选
5:20.760–5:21.760
zh也是选第三项行了
也是选第三项行了
5:22.560–5:24.240
zh因为我写了那个文件
因为我写了那个文件
5:24.240–5:25.520
zh它这里是
它这里是
5:25.520–5:27.800
zh现在Hermes那个桌面端是
现在Hermes那个桌面端是
5:27.800–5:30.200
zh你直接给它Key有的时候是
你直接给它Key有的时候是
5:30.200–5:31.720
zh是不行的啊
是不行的啊
5:31.720–5:33.200
zh可能做一些安适机制
可能做一些安适机制
5:33.200–5:34.140
zh那第三个呢
那第三个呢
5:34.140–5:34.680
zh这里是
这里是
5:34.680–5:37.400
zh我让它是默认组2.1的
我让它是默认组2.1的
5:37.400–5:39.280
zh也是选第三项
也是选第三项
5:39.280–5:42.060
zh2.1的效果更好嘛
2.1的效果更好嘛
5:42.060–5:44.760
zh所以说这个也是选这个就可以了
所以说这个也是选这个就可以了
5:44.760–5:45.560
zh好
好
5:45.560–5:47.980
zh大概可能需要个几分钟的时间嘛
大概可能需要个几分钟的时间嘛
5:47.980–5:49.160
zh可能十分钟
可能十分钟
5:49.160–5:50.160
zh5到10分钟
5到10分钟
5:50.160–5:50.920
zh然后完了之后
然后完了之后
5:50.920–5:53.200
zh它会告诉你生生图片的能力啊
它会告诉你生生图片的能力啊
5:53.200–5:54.400
zh已经落地了
已经落地了
5:54.400–5:56.680
zh然后有几种方式啊
然后有几种方式啊
5:56.680–5:58.480
zh包括这个2.1 2.0的啊
包括这个2.1 2.0的啊
5:58.480–5:59.560
zh包括图生图的
包括图生图的
5:59.560–6:01.520
zh文生图的就t
文生图的就t
6:01.520–6:02.600
en!text image
!text image
6:02.600–6:03.600
en2.1 2.0
2.1 2.0
6:03.600–6:05.360
zh图生图也都有了
图生图也都有了
6:05.360–6:06.440
zh好
好
6:06.440–6:07.000
zh接下来呢
接下来呢
6:07.000–6:09.240
zh就是包括这些东西都是正确的啊
就是包括这些东西都是正确的啊
6:09.240–6:12.040
zh它这里还给你生成了三张这个测试图片嘛
它这里还给你生成了三张这个测试图片嘛
6:12.040–6:15.080
zh这三张图分为用了三种不同的方式啊
这三张图分为用了三种不同的方式啊
6:15.080–6:16.600
zh文生图的2.1
文生图的2.1
6:16.600–6:17.960
zh文生图的2.0
文生图的2.0
6:17.960–6:19.000
zh然后图生图的2.1
然后图生图的2.1
6:19.000–6:20.600
zh好
好
6:20.600–6:21.200
zh就是三张图
就是三张图
6:21.200–6:22.040
zh就是这三张图啊
就是这三张图啊
6:22.040–6:23.720
zh意思就是这个顺序啊
意思就是这个顺序啊
6:23.720–6:25.280
zh这个是2.1的2.0的
这个是2.1的2.0的
6:25.280–6:26.440
zh然后这个是个图生图
然后这个是个图生图
6:26.440–6:32.160
zh这个图生图很明显是肯定是用了那个反光行空的那个方式啊
这个图生图很明显是肯定是用了那个反光行空的那个方式啊
6:32.160–6:33.320
zh来做的
来做的
6:33.320–6:33.920
zh好
好
6:33.920–6:34.640
zh就完事了啊
就完事了啊
6:34.640–6:35.080
zh然后呢
然后呢
6:35.080–6:36.480
zh我们可以做下测试
我们可以做下测试
6:36.480–6:38.240
zh我这里做的测试是用
我这里做的测试是用
6:38.240–6:39.280
zh是写的这么一句啊
是写的这么一句啊
6:39.280–6:43.000
zh帮我用星海生的风格生生一个女孩在教室读书的照片啊
帮我用星海生的风格生生一个女孩在教室读书的照片啊
6:43.000–6:44.600
zh一会儿他也是完成了
一会儿他也是完成了
6:44.600–6:45.840
zh完成了之后
完成了之后
6:45.840–6:46.280
zh你看啊
你看啊
6:46.280–6:46.920
zh他完成了之后
他完成了之后
6:46.920–6:50.840
zh他是这个他试书的一个指定路径
他是这个他试书的一个指定路径
6:50.840–6:51.120
zh呃
呃
6:51.120–6:54.240
zh然后他还对整个过程的元素进行一些描述
然后他还对整个过程的元素进行一些描述
6:54.240–6:55.160
zh然后就这张图啊
然后就这张图啊
6:55.160–6:56.400
zh就这张图
就这张图
6:56.400–6:57.680
zh然后图生图
然后图生图
6:57.680–6:59.280
zh接下来是我做了个图生图
接下来是我做了个图生图
6:59.280–7:00.720
zh我我是有联系追问的啊
我我是有联系追问的啊
7:00.720–7:02.040
zh可以看
可以看
7:02.040–7:04.200
zh大家看一看这里
大家看一看这里
7:04.200–7:04.800
zh这里啊
这里啊
7:04.800–7:05.280
zh嗯
嗯
7:08.400–7:08.640
zh对
对
7:08.640–7:09.120
zh就这个嘛
就这个嘛
7:09.120–7:12.120
zh比方帮我用星海生的风格生生一张女孩的照片
比方帮我用星海生的风格生生一张女孩的照片
7:12.120–7:14.920
zh一张一个女孩在教室读书的图片
一张一个女孩在教室读书的图片
7:14.920–7:15.440
zh是这个位置
是这个位置
7:15.440–7:15.840
zh然后呢
然后呢
7:15.840–7:17.160
zh我通过图是什么概念呢
我通过图是什么概念呢
7:17.160–7:18.520
zh在这张图片的基础上
在这张图片的基础上
7:18.520–7:20.320
zh帮我增加一个男生站在方面
帮我增加一个男生站在方面
7:20.320–7:22.280
zh两人有说有笑生生图片
两人有说有笑生生图片
7:22.280–7:22.880
zh对吧
对吧
7:22.880–7:24.360
zh也是很顺利的完成了啊
也是很顺利的完成了啊
7:24.360–7:25.360
zh速度还可以啊
速度还可以啊
7:25.360–7:27.080
zh包括这男人什么姿态啊
包括这男人什么姿态啊
7:27.080–7:28.960
zh然后什么互动感什么东西呢啊
然后什么互动感什么东西呢啊
7:28.960–7:30.160
zh这对
这对
7:30.160–7:30.840
zh好
好
7:30.840–7:32.440
zh然后我们可以看一下啊
然后我们可以看一下啊
7:32.440–7:33.320
zh这个就是这张图
这个就是这张图
7:34.120–7:34.680
zh还不错啊
还不错啊
7:34.680–7:35.160
zh还不错
还不错
7:36.200–7:37.640
zh所以说这个东西
所以说这个东西
7:37.640–7:38.520
zh我觉得质量还可以
我觉得质量还可以
7:38.520–7:39.720
zh因为毕竟它是一个
因为毕竟它是一个
7:39.720–7:40.880
zh我们现在是免费使用嘛
我们现在是免费使用嘛
7:40.880–7:44.240
zh特别在Hermis街上这种生图和生视频能力
特别在Hermis街上这种生图和生视频能力
7:44.240–7:47.840
zh也不是专业去搞那个生图和生视频的
也不是专业去搞那个生图和生视频的
7:47.840–7:49.480
zh就是我们可能去做一些内容
就是我们可能去做一些内容
7:49.480–7:51.000
zh或做一些资料
或做一些资料
7:51.000–7:52.160
zh我们需要一些配图
我们需要一些配图
7:52.160–7:54.520
zh或者需要一些配套的一些视频啊
或者需要一些配套的一些视频啊
7:54.520–7:56.240
zh配合演示的视频
配合演示的视频
7:56.240–7:57.280
zh可能就就可以了
可能就就可以了
7:57.840–7:59.760
zh因为如果说特别像视频这一块
因为如果说特别像视频这一块
7:59.760–8:01.480
zh你如果是你真的要去做
你如果是你真的要去做
8:01.480–8:02.840
zh像类似漫剧那样的东西
像类似漫剧那样的东西
8:02.840–8:04.320
zh你至少也是接康风
你至少也是接康风
8:04.320–8:07.520
zhUI这样的一些专业的一种生视频的模型嘛
UI这样的一些专业的一种生视频的模型嘛
8:07.520–8:09.280
zh但是我们现在比较轻量级的
但是我们现在比较轻量级的
8:09.280–8:10.880
zh把生图和生视频
把生图和生视频
8:10.880–8:12.520
zh先加到Hermis里面来
先加到Hermis里面来
8:12.520–8:14.920
zh而且对我们自己的电脑也没什么要求的话啊
而且对我们自己的电脑也没什么要求的话啊
8:14.920–8:16.800
zh这个方式还是很不错的
这个方式还是很不错的
8:16.800–8:16.960
zh好
好
8:16.960–8:20.880
zh接下来我们再看一下关于这个生视频的这个能力啊
接下来我们再看一下关于这个生视频的这个能力啊
8:20.880–8:21.680
zh生视频能力的话
生视频能力的话
8:21.680–8:22.760
zh是类似的按照方式啊
是类似的按照方式啊
8:22.760–8:25.840
zh就是让他参考阿根尼斯的生视频的这个文档啊
就是让他参考阿根尼斯的生视频的这个文档啊
8:25.840–8:28.200
zh然后帮他实现视频的生成能力
然后帮他实现视频的生成能力
8:28.200–8:29.320
zh然后API-K也告诉他
然后API-K也告诉他
8:29.320–8:32.680
zh然后这个文档的这个地址啊
然后这个文档的这个地址啊
8:32.680–8:33.360
zh也告诉他
也告诉他
8:33.360–8:34.680
zh完了之后呢
完了之后呢
8:34.680–8:35.360
zh也是类似的啊
也是类似的啊
8:35.360–8:36.720
zh这个就实现了
这个就实现了
8:36.720–8:37.640
zh实现了之后
实现了之后
8:37.640–8:40.080
zh这个大概也是不到十分钟的时间啊
这个大概也是不到十分钟的时间啊
8:40.080–8:40.960
zh实现了之后呢
实现了之后呢
8:40.960–8:43.040
zh他这里也是做了一个
他这里也是做了一个
8:43.040–8:43.880
zh我看有没有做测试啊
我看有没有做测试啊
8:43.880–8:44.000
zh对
对
8:44.000–8:45.160
zh也是做了测试
也是做了测试
8:45.160–8:46.880
zh而且他测试了四段视频啊
而且他测试了四段视频啊
8:46.880–8:48.360
zh你看就这个同一时间点
你看就这个同一时间点
8:48.360–8:49.880
zh做了四段视频
做了四段视频
8:49.880–8:50.440
zh然后呢
然后呢
8:50.440–8:52.240
zh这个其中两段啊
这个其中两段啊
8:52.240–8:53.000
zh我放进来了
我放进来了
8:53.000–8:53.520
zh可以看一下
可以看一下
8:53.520–8:54.800
zh还有还不错
还有还不错
8:54.800–8:55.800
zh嗯
嗯
8:55.800–8:57.000
zh一个小飞
一个小飞
8:57.000–8:58.160
zh一个指飞机啊
一个指飞机啊
8:58.160–8:59.760
zh飞过来
飞过来
8:59.760–9:00.800
zh这是三秒钟的一个
这是三秒钟的一个
9:00.800–9:02.880
zh好
好
9:02.880–9:04.800
zh这里还有一个小猫啊
这里还有一个小猫啊
9:04.800–9:06.920
zh好
好
9:06.920–9:15.120
zh还可以啊
还可以啊
9:15.120–9:15.160
zh还可以啊
还可以啊
9:15.160–9:15.440
zh还可以
还可以
9:15.440–9:16.600
zh就是就是这个
就是就是这个
9:16.600–9:17.520
zh呃
呃
9:17.520–9:19.500
zh做的这个感觉也还可以啊
做的这个感觉也还可以啊
9:19.500–9:21.680
zh如果说我们做一些这种
如果说我们做一些这种
9:21.680–9:23.520
zh类似配图啊
类似配图啊
9:23.520–9:25.860
zh或者是做一些配合的视频
或者是做一些配合的视频
9:25.860–9:26.920
zh可能也是雇用的
可能也是雇用的
9:26.920–9:27.600
zh好
好
9:27.600–9:28.000
zh这里呢
这里呢
9:28.000–9:29.720
zh我做的这个视频测试是这样的
我做的这个视频测试是这样的
9:29.720–9:30.840
zh让他用公信性的风格
让他用公信性的风格
9:30.840–9:31.720
zh给我生成一张
给我生成一张
9:31.720–9:33.120
zh一个女孩在教室读书
一个女孩在教室读书
9:33.120–9:34.000
zh一个男生站在旁边
一个男生站在旁边
9:34.000–9:34.720
zh就跟上面呢
就跟上面呢
9:34.720–9:35.440
zh是一样的啊
是一样的啊
9:35.440–9:36.920
zh人人有时候也需要生成一段视频
人人有时候也需要生成一段视频
9:36.920–9:38.000
zh呃
呃
9:38.000–9:38.580
zh本正来说
本正来说
9:38.580–9:39.480
zh所有的这个
所有的这个
9:39.480–9:41.420
zh文生视频
文生视频
9:41.420–9:43.000
zh其实还是图生视频
其实还是图生视频
9:43.000–9:43.460
zh只不过是
只不过是
9:43.460–9:44.160
zh他这个生图
他这个生图
9:44.160–9:45.200
zh是他自己来完成的
是他自己来完成的
9:45.200–9:47.560
zh你看他只是先做了一个
你看他只是先做了一个
9:47.560–9:48.560
zh文生图
文生图
9:48.560–9:49.460
zh然后图生视频
然后图生视频
9:49.460–9:50.660
zh然后全天弄通了
然后全天弄通了
9:50.660–9:51.140
zh他是你看
他是你看
9:51.140–9:52.380
zh他是先做了这个啊
他是先做了这个啊
9:52.380–9:52.860
zh现在先做了
现在先做了
9:52.860–9:53.400
zh现在这个图
现在这个图
9:53.400–9:54.080
zh然后呢
然后呢
9:54.080–9:55.160
zh他把这个图做成视频了
他把这个图做成视频了
9:55.160–9:55.860
zh看一下
看一下
9:55.860–10:01.460
zh有时候有效嘛
有时候有效嘛
10:01.460–10:01.980
zh啊
啊
10:01.980–10:04.100
zh就是没有给他太多的细节啊
就是没有给他太多的细节啊
10:04.100–10:05.500
zh这个到时候大家可以自己测一下
这个到时候大家可以自己测一下
10:05.500–10:06.560
zh细节方面
细节方面
10:06.560–10:08.880
zh然后图生视频的话
然后图生视频的话
10:08.880–10:09.340
zh就是
就是
10:09.340–10:09.780
zh哎
哎
10:09.780–10:11.580
zh这个我就是写了一段啊
这个我就是写了一段啊
10:11.580–10:14.460
zh让这张图片动起来
让这张图片动起来
10:14.460–10:16.380
zh生成一段视频啊
生成一段视频啊
10:16.380–10:16.820
zh就是这个
就是这个
10:16.820–10:18.420
zh就是那个执行的过程啊
就是那个执行的过程啊
10:18.420–10:19.180
zh就这样图给他
就这样图给他
10:19.180–10:21.080
zh然后执行的过程就是
然后执行的过程就是
10:21.080–10:22.540
zh是这样的啊
是这样的啊
10:22.540–10:23.460
zh然后这张图片动起来
然后这张图片动起来
10:23.460–10:24.040
zh生成一段视频
生成一段视频
10:24.040–10:25.080
zh他可以执行啊
他可以执行啊
10:25.080–10:26.580
zh你看完成了之后
你看完成了之后
10:26.580–10:27.740
zh呃
呃
10:27.740–10:29.000
zh这用了大概是两分
这用了大概是两分
10:29.000–10:30.000
zh两分
两分
10:30.000–10:30.860
zh就是三分钟吧
就是三分钟吧
10:30.860–10:31.800
zh大家加起来用三分钟
大家加起来用三分钟
10:31.800–10:32.620
zh然后
然后
10:32.620–10:33.460
zh这个
这个
10:33.460–10:34.560
zh你看这个输出
你看这个输出
10:34.560–10:36.740
zh就是地址也给到你了啊
就是地址也给到你了啊
10:36.740–10:37.360
zh然后呢
然后呢
10:37.360–10:38.440
zh这是他的动效
这是他的动效
10:38.440–10:38.700
zh他
他
10:38.700–10:39.640
zh他自己强
他自己强
10:39.640–10:40.380
zh他做了什么啊
他做了什么啊
10:40.380–10:41.040
zh他也告诉你了
他也告诉你了
10:41.040–10:41.940
zh我们可以来看一下
我们可以来看一下
10:41.940–10:43.820
zh我也是同样的
我也是同样的
10:43.820–10:45.440
zh也没有给他们要求太多细节
也没有给他们要求太多细节
10:45.440–10:46.420
zh这个大家自己做的时候
这个大家自己做的时候
10:46.420–10:47.180
zh可以再去试试
可以再去试试
10:47.180–10:55.780
zh好
好
10:55.780–10:56.680
zh再看一遍啊
再看一遍啊
10:56.680–11:02.020
zh这还不错啊
这还不错啊
11:02.020–11:02.380
zh还不错
还不错
11:02.380–11:03.400
zh好
好
11:03.400–11:05.400
zh这样生图和生视频啊
这样生图和生视频啊
11:05.400–11:06.280
zh就可以了啊
就可以了啊
11:06.280–11:07.420
zh同样的就刚才我们说的
同样的就刚才我们说的
11:07.420–11:07.640
zh第一
第一
11:07.640–11:13.060
zh如果说你把它作为一个辅助的一个大元模型啊
如果说你把它作为一个辅助的一个大元模型啊
11:13.060–11:13.720
zh也是可以的
也是可以的
11:13.720–11:15.460
zh也给大家刚才演示过了
也给大家刚才演示过了
11:15.460–11:16.160
zh好
好
11:16.160–11:17.040
zh接下来我们再看一下
接下来我们再看一下
11:17.040–11:18.680
zh关于这个图像理解
关于这个图像理解
11:18.680–11:19.360
zh视频理解
视频理解
11:19.360–11:20.520
zh以及语音合成啊
以及语音合成啊
11:20.520–11:20.800
zh这块
这块
11:20.800–11:23.760
zh图像理解和视频理解
图像理解和视频理解
11:23.760–11:24.520
zh本身来说
本身来说
11:24.520–11:25.540
zh其实都不需要
其实都不需要
11:25.540–11:27.120
zh不需要单独的去安装的啊
不需要单独的去安装的啊
11:27.120–11:29.660
zh就是你主要是接入的是minimax M3
就是你主要是接入的是minimax M3
11:29.660–11:31.560
zh因为minimax M3
因为minimax M3
11:31.560–11:32.700
zh它是个原始动模态的
它是个原始动模态的
11:32.700–11:33.260
zh原始动模态
原始动模态
11:33.260–11:34.200
zh就意味着是
就意味着是
11:34.200–11:35.500
zh它不光懂语言
它不光懂语言
11:35.500–11:36.760
zh它还能看得懂图片
它还能看得懂图片
11:36.760–11:38.260
zh它是有两种啊
它是有两种啊
11:38.260–11:39.140
zh一种是图像理解
一种是图像理解
11:39.140–11:39.960
zh一种是视频理解
一种是视频理解
11:39.960–11:41.160
zh这两个其实还有一些区别的
这两个其实还有一些区别的
11:41.160–11:42.340
zh首先说一下啊
首先说一下啊
11:42.340–11:44.160
zh这个minimax的这个
这个minimax的这个
11:44.160–11:45.680
zh其实我觉得还是很不错的啊
其实我觉得还是很不错的啊
11:45.680–11:46.500
zh现在特别是
现在特别是
11:46.500–11:47.860
zh有了原始动模态这块
有了原始动模态这块
11:47.860–11:49.920
zh其实是完全是可以考虑
其实是完全是可以考虑
11:49.920–11:50.780
zh去使用一下这个
去使用一下这个
11:50.780–11:53.420
zh我因为我一直是在用这个minimax啊
我因为我一直是在用这个minimax啊
11:53.420–11:54.560
zh特别是M3出来之后
特别是M3出来之后
11:54.560–11:56.320
zh这个我们接下来
这个我们接下来
11:56.320–11:57.580
zh图像理解和视频理解
图像理解和视频理解
11:57.580–11:58.460
zh都是要依赖它的
都是要依赖它的
11:58.460–11:59.200
zh另外的话
另外的话
11:59.200–12:01.180
zhminimax其实还提供了
minimax其实还提供了
12:01.180–12:02.460
zh这个语音合成的
这个语音合成的
12:02.460–12:03.780
zh这么一种能力啊
这么一种能力啊
12:03.780–12:04.700
zh同样也是用
同样也是用
12:04.700–12:06.460
zh这个同一个coding plan
这个同一个coding plan
12:06.460–12:08.080
zh也是可以去使用的
也是可以去使用的
12:08.080–12:09.320
zh好
好
12:09.320–12:10.880
zh我们简单说一下啊
我们简单说一下啊
12:10.880–12:12.700
zh关于这个图像理解
关于这个图像理解
12:12.700–12:17.880
zh就是原生多摩菜里边图像理解和传统的这种图像识别是什么区别
就是原生多摩菜里边图像理解和传统的这种图像识别是什么区别
12:17.880–12:22.340
zh传统的图像识别它最多是能识别出里边有哪些元素
传统的图像识别它最多是能识别出里边有哪些元素
12:22.340–12:24.020
zh但是原生多摩菜呢
但是原生多摩菜呢
12:24.020–12:26.900
zh其实不光能识别是元素能识别到很多细节啊
其实不光能识别是元素能识别到很多细节啊
12:26.900–12:31.320
zh包括这些东西的一些相关的一些关系啊都能看到的
包括这些东西的一些相关的一些关系啊都能看到的
12:31.320–12:32.720
zh你比如说第一个例子啊
你比如说第一个例子啊
12:32.720–12:35.900
zh图中这是一个倒扣的水杯地面上有水渍
图中这是一个倒扣的水杯地面上有水渍
12:35.900–12:38.360
zh图中有杯子地面水桌子
图中有杯子地面水桌子
12:38.360–12:39.440
zh这是传统的识别啊
这是传统的识别啊
12:39.440–12:40.320
zh然后原生多摩菜呢
然后原生多摩菜呢
12:40.320–12:42.380
zh是杯子不小心打翻漏水
是杯子不小心打翻漏水
12:42.380–12:43.500
zh水渍面积比较大
水渍面积比较大
12:43.500–12:44.460
zh长期不撒会
长期不撒会
12:44.460–12:46.140
zh它这反正是除了这个
它这反正是除了这个
12:46.140–12:47.960
zh这个东西发生这个事
这个东西发生这个事
12:47.960–12:49.780
zh它能知道是怎么发生的
它能知道是怎么发生的
12:49.780–12:51.720
zh然后呢还知道这个事的后果是什么
然后呢还知道这个事的后果是什么
12:51.720–12:52.920
zh就特别像什么呢
就特别像什么呢
12:52.920–12:53.920
zh像一个五岁的小孩
像一个五岁的小孩
12:53.920–12:54.960
zh你去
你去
12:54.960–12:56.520
zh他刚刚看到一些东西的时候
他刚刚看到一些东西的时候
12:56.520–12:58.540
zh他可能只能知道这些东西是什么
他可能只能知道这些东西是什么
12:58.540–13:00.000
zh也不会去反映啊
也不会去反映啊
13:00.000–13:01.140
zh是怎么发生的件事
是怎么发生的件事
13:01.140–13:02.620
zh当然也会不会去考虑后果了
当然也会不会去考虑后果了
13:02.620–13:03.820
zh但是一个成年人就不一样了
但是一个成年人就不一样了
13:03.820–13:05.380
zh他看到一个杯子放在这儿
他看到一个杯子放在这儿
13:05.380–13:07.440
zh一看可能就小朋友给打翻了啊
一看可能就小朋友给打翻了啊
13:07.440–13:08.240
zh不小心给打翻了
不小心给打翻了
13:08.240–13:09.860
zh然后要马上处理对吧
然后要马上处理对吧
13:09.860–13:11.200
zh因为长衣不撒
因为长衣不撒
13:11.200–13:12.420
zh可能会损上木地板
可能会损上木地板
13:12.420–13:13.160
zh如果地板
如果地板
13:13.160–13:15.120
zh这个木质的话对吧
这个木质的话对吧
13:15.120–13:15.960
zh大概就是这个逻辑
大概就是这个逻辑
13:15.960–13:17.020
zh所以说这个东西
所以说这个东西
13:17.020–13:19.580
zh就是这个还是能能做很多事情的
就是这个还是能能做很多事情的
13:19.580–13:20.860
zh然后呢我们再说一下
然后呢我们再说一下
13:20.860–13:22.040
zh其实还有
其实还有
13:22.040–13:24.240
zh大家可能有些是分不清
大家可能有些是分不清
13:24.240–13:26.380
zh关于生图跟跟这个叫什么
关于生图跟跟这个叫什么
13:26.380–13:27.940
zh视觉理解是什么区别啊
视觉理解是什么区别啊
13:27.940–13:30.260
zh生图其实是是图像模型啊
生图其实是是图像模型啊
13:30.260–13:31.040
zh是图像的模型
是图像的模型
13:31.040–13:33.360
zh就是视觉理解
就是视觉理解
13:33.360–13:34.500
zh其实还是语言模型
其实还是语言模型
13:34.500–13:36.360
zh就它俩什么区别呢
就它俩什么区别呢
13:36.360–13:38.040
zh就是语言模型
就是语言模型
13:38.040–13:40.280
zh有了原生多模态的视觉理解能力
有了原生多模态的视觉理解能力
13:40.280–13:42.280
zh相当于是你可以看成啊
相当于是你可以看成啊
13:42.280–13:44.620
zh它相当于是专业的一个评委啊
它相当于是专业的一个评委啊
13:44.620–13:47.580
zh它对画面的构这种构成啊
它对画面的构这种构成啊
13:47.580–13:48.240
zh或者审美啊
或者审美啊
13:48.240–13:49.200
zh它都很不错啊
它都很不错啊
13:49.200–13:50.520
zh都能给你打打分
都能给你打打分
13:50.520–13:51.320
zh或者做个评价
或者做个评价
13:51.320–13:52.580
zh但是它自己画不出来
但是它自己画不出来
13:52.580–13:53.540
zh就是说
就是说
13:53.540–13:54.900
zh你像minimax m3
你像minimax m3
13:54.900–13:55.720
zhm3啊
m3啊
13:55.720–13:57.280
zh它就算是原生多模态
它就算是原生多模态
13:57.280–14:00.380
zh它指的是它有视觉理解能力啊
它指的是它有视觉理解能力啊
14:00.380–14:02.060
zh有图像和视频的理解能力
有图像和视频的理解能力
14:02.060–14:03.140
zh但是它做不了图
但是它做不了图
14:03.140–14:03.720
zh做不了视频
做不了视频
14:03.720–14:04.600
zh这就是说
这就是说
14:04.600–14:06.840
zh为什么我们前面是用这个来
为什么我们前面是用这个来
14:06.840–14:08.820
zh用用agnes去做生成
用用agnes去做生成
14:08.820–14:09.780
zh然后这个
然后这个
14:09.780–14:11.840
zh生图和视频
生图和视频
14:11.840–14:12.620
zh这个好说了啊
这个好说了啊
14:12.620–14:12.880
zh就是
就是
14:12.880–14:14.700
zh仗义理解
仗义理解
14:14.700–14:15.400
zh这边是评委
这边是评委
14:15.400–14:16.620
zh这边就是他能去
这边就是他能去
14:16.620–14:18.060
zh画出图啊
画出图啊
14:18.060–14:18.960
zh能就亲自去
能就亲自去
14:18.960–14:20.020
zh就是画诗
就是画诗
14:20.020–14:20.780
zh能画图
能画图
14:20.780–14:22.100
zh能做视频的那个人啊
能做视频的那个人啊
14:22.100–14:23.040
zh大家就这么理解
大家就这么理解
14:23.040–14:24.420
zh这里我做了一个例子啊
这里我做了一个例子啊
14:24.420–14:30.480
zh就是比如说我这给他了一个楼房的一个建筑草图啊
就是比如说我这给他了一个楼房的一个建筑草图啊
14:30.480–14:31.140
zh然后呢
然后呢
14:31.140–14:33.200
zh我给他贴写是什么
我给他贴写是什么
14:33.200–14:35.580
zh帮我从进入学的视角吧
帮我从进入学的视角吧
14:35.580–14:35.860
zh啊
啊
14:35.860–14:38.040
zh帮我拆解一下
帮我拆解一下
14:38.040–14:40.960
zh加入局部特写说明
加入局部特写说明
14:40.960–14:42.140
zh然后写成一封HTM
然后写成一封HTM
14:42.140–14:42.440
zh啊
啊
14:42.440–14:43.800
zh这个东西我给大家看一下啊
这个东西我给大家看一下啊
14:43.800–14:44.440
zh这个做的是
这个做的是
14:44.440–14:46.740
zh虽然我不是特别懂这个东西
虽然我不是特别懂这个东西
14:46.740–14:48.880
zh但是感觉他做的还是好像是比较靠谱的
但是感觉他做的还是好像是比较靠谱的
14:48.880–14:51.520
zh就是大家去理解一下
就是大家去理解一下
14:51.520–14:53.140
zh可能也不一定每个都那么准
可能也不一定每个都那么准
14:53.140–14:55.420
zh但是什么叫视觉理解啊
但是什么叫视觉理解啊
14:55.420–14:55.860
zh嗯
嗯
14:55.860–14:59.680
zh这个理解绝对不是仅仅看到图片的几个东西啊
这个理解绝对不是仅仅看到图片的几个东西啊
14:59.680–15:00.060
zh为止
为止
15:00.060–15:00.900
zh而已
而已
15:00.900–15:01.860
zh好
好
15:01.860–15:02.760
zh你看一下啊
你看一下啊
15:02.760–15:04.200
zh这个啊
这个啊
15:04.200–15:04.680
zh我们看一下
我们看一下
15:04.680–15:06.200
zh好
好
15:06.200–15:09.000
zh我把这个原图也放上来了
我把这个原图也放上来了
15:09.000–15:09.920
zh然后我们来看一下
然后我们来看一下
15:09.920–15:11.920
zh你看他下面的拆解啊
你看他下面的拆解啊
15:11.920–15:13.380
zh这个屋顶防水排水
这个屋顶防水排水
15:13.380–15:15.580
zh你看他把这块又给仔细化了一下
你看他把这块又给仔细化了一下
15:15.580–15:18.000
zh而且他给你拆解了一些关键点啊
而且他给你拆解了一些关键点啊
15:18.000–15:18.820
zh这一块的关键点
这一块的关键点
15:18.820–15:20.980
zh包括什么露水高发区
包括什么露水高发区
15:20.980–15:22.360
zh也能分析出来
也能分析出来
15:22.360–15:23.880
zh然后低机这块啊
然后低机这块啊
15:23.880–15:26.980
zh也是重新画了一下低机的一块局部特写啊
也是重新画了一下低机的一块局部特写啊
15:26.980–15:28.280
zh这个做法要点之类的
这个做法要点之类的
15:28.280–15:30.160
zh创台是吧
创台是吧
15:30.160–15:30.820
zh你看
你看
15:30.820–15:32.220
zh露梯
露梯
15:32.220–15:32.900
zh碰面
碰面
15:32.900–15:33.320
zh然后
然后
15:33.320–15:35.560
zh这个什么阳台啊
这个什么阳台啊
15:35.560–15:35.780
zh什么
什么
15:35.780–15:36.720
zh就是这个感觉
就是这个感觉
15:36.720–15:39.180
zh就是大家去理解一下这个视觉
就是大家去理解一下这个视觉
15:39.180–15:39.920
zh视觉能量
视觉能量
15:39.920–15:41.340
zh但是这个东西它细节不一定对
但是这个东西它细节不一定对
15:41.340–15:43.060
zh但是有的时候可能给个参考也可以
但是有的时候可能给个参考也可以
15:43.060–15:43.920
zh或者说
或者说
15:43.920–15:44.860
zh嗯
嗯
15:44.860–15:48.460
zh这个可能跟原生冬光菜的理解能力的上限也有关系
这个可能跟原生冬光菜的理解能力的上限也有关系
15:48.460–15:49.680
zh但是你只要知道
但是你只要知道
15:49.680–15:50.840
zh原生你才能做的
原生你才能做的
15:50.840–15:51.200
zh而且
而且
15:51.200–15:52.740
zh它不仅仅是识别个
它不仅仅是识别个
15:52.740–15:54.300
zh它里边有什么东西的问题啊
它里边有什么东西的问题啊
15:54.300–15:56.040
zh好
好
15:56.040–15:58.020
zh然后我们再往下看一下
然后我们再往下看一下
15:58.020–15:59.860
zh比如说这是一个视频的那个
比如说这是一个视频的那个
15:59.860–16:00.740
zh仪仗截图
仪仗截图
16:00.740–16:01.800
zh让他去看看他的
让他去看看他的
16:01.800–16:04.200
zh灯光是怎么布局的
灯光是怎么布局的
16:04.200–16:04.600
zh对吧
对吧
16:04.600–16:05.580
zh大家就这个啊
大家就这个啊
16:05.580–16:06.500
zh你看
你看
16:06.500–16:07.040
zh他这个
他这个
16:07.040–16:07.900
zh包括
包括
16:07.900–16:09.340
zh主播被在哪儿
主播被在哪儿
16:09.340–16:09.980
zh有个储物柜
有个储物柜
16:09.980–16:11.440
zh储物柜也不后有储物柜嘛
储物柜也不后有储物柜嘛
16:11.440–16:11.720
zh对吧
对吧
16:11.720–16:12.300
zh然后大概
然后大概
16:12.300–16:13.680
zh也不是完全准
也不是完全准
16:13.680–16:14.940
zh反正你可以跟他磨一磨
反正你可以跟他磨一磨
16:14.940–16:15.980
zh有个东西能出来
有个东西能出来
16:15.980–16:16.300
zh就是
就是
16:16.300–16:16.740
zh你看
你看
16:16.740–16:19.140
zh主要我们去感受一下这种原生冬光菜
主要我们去感受一下这种原生冬光菜
16:19.140–16:21.680
zh可能给我们带来的一种运用场景是什么
可能给我们带来的一种运用场景是什么
16:21.680–16:23.420
zh当我看到这个图书之后
当我看到这个图书之后
16:23.420–16:23.600
zh哎
哎
16:23.600–16:26.180
zh比如说我现在也想去做博主啊
比如说我现在也想去做博主啊
16:26.180–16:27.000
zh做出镜的博主
做出镜的博主
16:27.000–16:28.560
zh那他这是怎么布局的
那他这是怎么布局的
16:28.560–16:29.240
zh对吧
对吧
16:29.240–16:29.580
zh我想
我想
16:29.580–16:31.180
zh看一看啊
看一看啊
16:31.180–16:31.880
zh所以说这个时候
所以说这个时候
16:31.880–16:33.060
zh他可能把这个东西拆下出来
他可能把这个东西拆下出来
16:33.060–16:33.780
zh用了什么样的灯
用了什么样的灯
16:33.780–16:34.120
zh对吧
对吧
16:34.120–16:35.140
zh啊
啊
16:35.140–16:37.000
zh包括设备的清单啊
包括设备的清单啊
16:37.000–16:38.600
zh包括这里怎么布局
包括这里怎么布局
16:38.600–16:39.020
zh对吧
对吧
16:39.020–16:39.740
zh哪些灯在哪
哪些灯在哪
16:39.740–16:40.400
zh然后呢
然后呢
16:40.400–16:42.540
zh这下边是大概预算是多少啊
这下边是大概预算是多少啊
16:42.540–16:42.960
zh大概就
大概就
16:42.960–16:43.760
zh就是
就是
16:43.760–16:45.620
zh这个反正是我看了看
这个反正是我看了看
16:45.620–16:46.700
zh他做的并不是特别好
他做的并不是特别好
16:46.700–16:48.700
zh但是这个可能还是稍微复杂了一些
但是这个可能还是稍微复杂了一些
16:48.700–16:50.380
zh但是他也在努力做啊
但是他也在努力做啊
16:50.380–16:52.100
zh觉得细节其实还是不太准的
觉得细节其实还是不太准的
16:52.100–16:52.280
zh好
好
16:52.280–16:52.760
zh然后呢
然后呢
16:52.760–16:56.200
zh我们再去看一下这个视频理解啊
我们再去看一下这个视频理解啊
16:56.200–16:58.500
zh就首先是这个图像理解跟视频理解
就首先是这个图像理解跟视频理解
16:58.500–16:59.960
zh你都是不用去做任何事情了
你都是不用去做任何事情了
16:59.960–17:00.480
zh你只要把
你只要把
17:00.480–17:01.400
zh比如说你的这个模型
比如说你的这个模型
17:01.400–17:03.280
zh你选的是这个M3就可以了
你选的是这个M3就可以了
17:03.280–17:04.920
zh在这里选的是M3也可以了
在这里选的是M3也可以了
17:04.920–17:05.940
zh好
好
17:05.940–17:07.880
zh然后我们再看一下这个视频理解啊
然后我们再看一下这个视频理解啊
17:07.880–17:08.340
zh视频理解
视频理解
17:08.340–17:09.840
zh其实本身来说
其实本身来说
17:09.840–17:11.640
zh首先它是基于图像理解的
首先它是基于图像理解的
17:11.640–17:13.000
zh因为视频
因为视频
17:13.000–17:13.520
zh我们就是
我们就是
17:13.520–17:15.900
zh比如25人就一秒钟25张图嘛
比如25人就一秒钟25张图嘛
17:15.900–17:16.900
zh但是这样的
但是这样的
17:16.900–17:17.900
enMini Max M3
Mini Max M3
17:17.900–17:19.180
zh是有视频理解的能力的
是有视频理解的能力的
17:19.180–17:19.660
zh所以说
所以说
17:19.660–17:21.100
zh它比纯粹的
它比纯粹的
17:21.100–17:23.140
zh把视频切生图
把视频切生图
17:23.140–17:24.200
zh来去分
来去分
17:24.200–17:24.920
zh注册分析
注册分析
17:24.920–17:26.020
zh它是有区别的
它是有区别的
17:26.020–17:27.180
zh因为它有时序的关联
因为它有时序的关联
17:27.180–17:28.380
zh有连续的动作捕捉
有连续的动作捕捉
17:28.380–17:29.000
zh对吧
对吧
17:29.000–17:29.740
zh有些前一后果
有些前一后果
17:29.740–17:30.320
zh才知道的
才知道的
17:30.320–17:31.060
zh所以说
所以说
17:31.060–17:32.400
zh你比如说像我们这个
你比如说像我们这个
17:32.400–17:34.340
zh我们接下来做的
我们接下来做的
17:34.340–17:35.300
zh这个演示的这个视频
这个演示的这个视频
17:35.300–17:37.300
zh是用刘圈的一段魔术吗
是用刘圈的一段魔术吗
17:37.300–17:39.060
zh我可以给大家看一下啊
我可以给大家看一下啊
17:39.060–17:39.540
zh接下来就是
接下来就是
17:39.540–17:41.540
zh见证奇迹的时刻了
见证奇迹的时刻了
17:41.540–17:42.840
zh白了
白了
17:42.840–17:45.580
zh它变了一下牌
它变了一下牌
17:45.580–17:46.060
zh对吧
对吧
17:46.060–17:47.920
zh然后它后边其实是
然后它后边其实是
17:47.920–17:49.720
zh因为它这里做了一个
因为它这里做了一个
17:49.720–17:52.300
zh其实是有一个柴姐的啊
其实是有一个柴姐的啊
17:52.300–17:54.940
zh因为它有高速摄像器
因为它有高速摄像器
17:54.940–17:56.300
zh然后给拍了一下啊
然后给拍了一下啊
17:56.300–17:57.040
zh所以说这个地方
所以说这个地方
17:57.040–17:58.080
zh但同样的啊
但同样的啊
17:58.080–17:59.300
zh我告诉他用
我告诉他用
17:59.300–18:01.300
zhminimax M3的视频理解能力
minimax M3的视频理解能力
18:01.300–18:02.300
zh这个东西啊
这个东西啊
18:02.300–18:02.580
zh就是
就是
18:02.580–18:04.420
zh虽然刚才我们说了
虽然刚才我们说了
18:04.420–18:05.580
zh你可能选上它啊
你可能选上它啊
18:05.580–18:06.260
zh但是有的时候
但是有的时候
18:06.260–18:06.480
zh它
它
18:06.480–18:07.540
zh它
它
18:07.540–18:09.860
zh它没有意识到它自己啊
它没有意识到它自己啊
18:09.860–18:10.660
zh特别刚开始的时候
特别刚开始的时候
18:10.660–18:11.340
zh没有意识到
没有意识到
18:11.340–18:12.340
zh它自己这个模型
它自己这个模型
18:12.340–18:12.920
zh已经是个
已经是个
18:12.920–18:14.300
zh具备视频理解能力
具备视频理解能力
18:14.300–18:15.240
zh它会去调不动插件
它会去调不动插件
18:15.240–18:16.020
zh但是发现你的插件
但是发现你的插件
18:16.020–18:16.880
zh没有啊
没有啊
18:16.880–18:18.680
zh它就会乱七八糟干一顿啊
它就会乱七八糟干一顿啊
18:18.680–18:19.140
zh操作一顿
操作一顿
18:19.140–18:19.880
zh其实啥也没干
其实啥也没干
18:19.880–18:21.000
zh对吧
对吧
18:21.000–18:21.300
zh你看
你看
18:21.300–18:21.900
zh我让它
我让它
18:21.900–18:24.140
zh利用M3的视频理解能力
利用M3的视频理解能力
18:24.140–18:24.980
zh去看一下这段视频
去看一下这段视频
18:24.980–18:25.460
zh让它看明白
让它看明白
18:25.460–18:26.660
zh这个魔术是总变的
这个魔术是总变的
18:26.660–18:27.320
zh比真是一份
比真是一份
18:27.320–18:27.820
enRTML
RTML
18:27.820–18:29.820
zh对吧
对吧
18:29.820–18:30.060
zh好
好
18:30.060–18:31.820
zh我们可以看一下啊
我们可以看一下啊
18:31.820–18:32.020
zh对
对
18:32.020–18:33.100
zh你看这段视频在这啊
你看这段视频在这啊
18:33.100–18:33.820
zh视频原视频
视频原视频
18:33.820–18:35.300
zh我也给它放上来了
我也给它放上来了
18:35.300–18:35.500
zh啊
啊
18:35.500–18:37.180
zh这个视频的这个基本信息
这个视频的这个基本信息
18:37.180–18:37.500
zh对吧
对吧
18:37.500–18:38.700
zh然后呢
然后呢
18:38.700–18:39.940
zh这个关键的发现啊
这个关键的发现啊
18:39.940–18:41.340
zh这里边就来了嘛
这里边就来了嘛
18:41.340–18:42.860
zh掩护动作什么东西的啊
掩护动作什么东西的啊
18:42.860–18:44.060
zh右手内抠
右手内抠
18:44.060–18:45.900
zh它这个说的其实还挺靠谱的啊
它这个说的其实还挺靠谱的啊
18:45.900–18:47.820
zh这里也是同学们出来的
这里也是同学们出来的
18:47.820–18:48.460
zh那看一下啊
那看一下啊
18:50.580–18:51.300
zh刘签
刘签
18:52.500–18:52.740
zh好
好
18:52.740–18:53.300
zh我们看一下
我们看一下
18:55.740–18:56.620
zh对
对
18:56.620–18:57.340
zh你看
你看
18:57.340–18:59.300
zh他把那个关键的图在这儿啊
他把那个关键的图在这儿啊
18:59.300–18:59.780
zh找出来
找出来
19:01.140–19:01.340
zh哎
哎
19:01.340–19:01.820
zh你看
你看
19:01.820–19:02.740
zh这张又有了吗
这张又有了吗
19:02.740–19:03.180
zh对不对
对不对
19:04.060–19:04.620
zh图像中
图像中
19:04.620–19:05.860
zh撕牌的系
撕牌的系
19:05.860–19:06.300
zh不是撕牌
不是撕牌
19:06.300–19:07.580
zh就换牌的细节
就换牌的细节
19:07.580–19:08.620
zh然后完整的时间线
然后完整的时间线
19:08.620–19:10.020
zh也可以拉出来了
也可以拉出来了
19:10.020–19:10.540
zh对吧
对吧
19:10.540–19:11.340
zh而且标黄了
而且标黄了
19:11.340–19:13.460
zh就是关键的那个几个
就是关键的那个几个
19:13.460–19:13.780
zh那个
那个
19:13.780–19:16.340
zh那个三十魔术核心的那个点啊
那个三十魔术核心的那个点啊
19:16.340–19:17.900
zh包括观众大笑的反应
包括观众大笑的反应
19:17.900–19:18.740
zh你看
你看
19:18.740–19:19.460
zh不知道笑什么
不知道笑什么
19:19.460–19:20.340
zh就完全的视频
就完全的视频
19:20.340–19:22.300
zh也相当于就是你这个人看完视频之后
也相当于就是你这个人看完视频之后
19:22.300–19:24.180
zh你可以把里边的细节都描绘出来
你可以把里边的细节都描绘出来
19:24.180–19:27.020
zh因为这里边视频其实维度还挺多的
因为这里边视频其实维度还挺多的
19:27.020–19:28.140
zh因为有画面有声音
因为有画面有声音
19:28.140–19:30.140
zh比方说还有这个背景音之类的
比方说还有这个背景音之类的
19:30.140–19:30.620
zh对吧
对吧
19:32.140–19:33.580
zh你看这个分析的还是很细的
你看这个分析的还是很细的
19:35.460–19:37.060
zh这所有的细节都分析出来了
这所有的细节都分析出来了
19:37.060–19:37.780
zh这个东西呢
这个东西呢
19:37.780–19:39.740
zh其实你可以用在很多地方啊
其实你可以用在很多地方啊
19:39.740–19:41.580
zh包括你去拆解一些
包括你去拆解一些
19:41.580–19:42.220
zh呃
呃
19:42.220–19:43.420
zh学习的视频啊
学习的视频啊
19:43.420–19:45.580
zh就是活博者视频也是可以的
就是活博者视频也是可以的
19:45.580–19:46.060
zh好
好
19:46.060–19:47.660
zh呃
呃
19:47.660–19:48.260
zh这里的话
这里的话
19:48.260–19:48.980
zh就是
就是
19:48.980–19:50.780
zh这这两个其实是
这这两个其实是
19:50.780–19:53.440
zh主要你想想一想怎么去用一下了啊
主要你想想一想怎么去用一下了啊
19:53.440–19:54.620
zh这里这两个其实本身来说
这里这两个其实本身来说
19:54.620–19:55.060
zh你只要
你只要
19:55.060–19:57.180
zh用的主力模型是M3的话
用的主力模型是M3的话
19:57.180–19:57.660
zh基本上
基本上
19:57.660–20:00.380
zh你不用去做一些初始化的一些配置
你不用去做一些初始化的一些配置
20:00.380–20:01.720
zh最多就是你把这个
最多就是你把这个
20:01.720–20:02.900
zh这句啊
这句啊
20:02.900–20:03.240
zh强烈
强烈
20:03.240–20:03.760
zh如果他
如果他
20:03.760–20:06.300
zh没有主动去使用这个
没有主动去使用这个
20:06.300–20:07.440
zh视频理解能力的话
视频理解能力的话
20:07.440–20:09.200
zh你可以视频理解和这个
你可以视频理解和这个
20:09.200–20:10.780
zh图像理解能力的话
图像理解能力的话
20:10.780–20:12.660
zh你可以给他明确加上这么一句啊
你可以给他明确加上这么一句啊
20:12.660–20:13.220
zh好
好
20:13.220–20:14.100
zh这样的话
这样的话
20:14.100–20:15.440
zh图像理解和视频理解
图像理解和视频理解
20:15.440–20:16.160
zh我们都说完了
我们都说完了
20:16.160–20:17.440
zh这样我们看一下语音和诚啊
这样我们看一下语音和诚啊
20:17.440–20:17.900
zh语音和诚
语音和诚
20:17.900–20:19.560
zh其实是这个东西
其实是这个东西
20:19.560–20:20.880
zh是也是啊
是也是啊
20:20.880–20:22.160
zh同样是M3提供了一个
同样是M3提供了一个
20:22.160–20:22.720
zh而且他
而且他
20:22.720–20:24.560
zh他提供这几个声音
他提供这几个声音
20:24.560–20:25.060
zh相对来说
相对来说
20:25.060–20:26.600
zh比那些免费的是要自然一些的
比那些免费的是要自然一些的
20:26.600–20:27.120
zh正好我们
正好我们
20:27.120–20:28.420
zh用起来就比较好用
用起来就比较好用
20:28.420–20:29.580
zh比如说我们之前说的
比如说我们之前说的
20:29.580–20:32.180
zh类似于是AI走私信的一种播报
类似于是AI走私信的一种播报
20:32.180–20:32.760
zh或者是
或者是
20:32.760–20:34.060
zh我们每个小时
我们每个小时
20:34.060–20:36.120
zh做了一些定时的商业情报的一种
做了一些定时的商业情报的一种
20:36.120–20:36.960
zh搜集嘛
搜集嘛
20:36.960–20:37.480
zh对吧
对吧
20:37.480–20:39.120
zh就是比如之前
就是比如之前
20:39.120–20:41.720
zh我们说的超级秘书主动人格这样的
我们说的超级秘书主动人格这样的
20:41.720–20:42.300
zh可以主动
可以主动
20:42.300–20:43.660
zh当他发现对对有用的
当他发现对对有用的
20:43.660–20:44.440
zh主动给你推送了
主动给你推送了
20:44.440–20:45.440
zh除了文字之外
除了文字之外
20:45.440–20:47.060
zh还可以给你推语音是吧
还可以给你推语音是吧
20:47.060–20:48.520
zh这样的话就是
这样的话就是
20:48.520–20:49.920
zh方便你随时都可以听嘛
方便你随时都可以听嘛
20:49.920–20:51.140
zh这个其实也很简单啊
这个其实也很简单啊
20:51.140–20:52.420
zh就跟他是一样的
就跟他是一样的
20:52.420–20:53.180
zh这里这波说的是
这里这波说的是
20:53.180–20:54.860
zh你用minimax TTS的API
你用minimax TTS的API
20:54.860–20:55.320
zh使用文档
使用文档
20:55.320–20:56.160
zh然后呢
然后呢
20:56.160–20:57.020
zh这个参考用文档
这个参考用文档
20:57.020–20:59.700
zh帮帮我实现TTS的生生能力啊
帮帮我实现TTS的生生能力啊
20:59.700–21:00.980
zh就text to speech
就text to speech
21:00.980–21:02.660
zh文本转语音嘛
文本转语音嘛
21:02.660–21:04.240
zh然后API key啊
然后API key啊
21:04.240–21:05.860
zh我把那个minimax API key
我把那个minimax API key
21:05.860–21:07.920
zh同样放在一个文文件里边
同样放在一个文文件里边
21:07.920–21:08.540
zh对吧
对吧
21:08.540–21:09.620
zh完了之后也是
完了之后也是
21:09.620–21:11.960
zh执行了一波操作吧
执行了一波操作吧
21:11.960–21:13.540
zh大概是完成了啊
大概是完成了啊
21:13.540–21:14.300
zh完成了之后
完成了之后
21:14.440–21:16.020
zh你就可以啊
你就可以啊
21:16.020–21:16.320
zh你就可以
你就可以
21:16.320–21:17.080
zh你像我这个地方
你像我这个地方
21:17.080–21:17.860
zh做的测试是什么呢
做的测试是什么呢
21:17.860–21:20.040
zh直接使用这个minimax的TTS
直接使用这个minimax的TTS
21:20.040–21:22.920
zh这个生生对刚才视频
这个生生对刚才视频
21:22.920–21:24.420
zh理解的核心结论
理解的核心结论
21:24.420–21:25.500
zh控制在50字里面
控制在50字里面
21:25.500–21:26.580
zh我这里用的就是那个
我这里用的就是那个
21:26.580–21:27.100
zh刘圈那个
刘圈那个
21:27.100–21:29.600
zh就是那个刚才那个
就是那个刚才那个
21:29.600–21:30.280
zh魔术那个啊
魔术那个啊
21:30.280–21:30.900
zh你可以听一下
你可以听一下
21:30.900–21:33.220
zh刘圈用普克牌
刘圈用普克牌
21:33.220–21:34.240
zh做静静魔术
做静静魔术
21:34.240–21:35.360
zh再用千针
再用千针
21:35.360–21:36.180
zh摄像机
摄像机
21:36.180–21:37.560
zh慢放回放手法
慢放回放手法
21:37.560–21:38.800
zh嘉宾吐槽
嘉宾吐槽
21:38.800–21:40.800
zh你要毁了整个魔术行业
你要毁了整个魔术行业
21:40.800–21:41.940
zh做笑点收尾
做笑点收尾
21:41.940–21:43.620
zh就是还有一些情绪
就是还有一些情绪
21:43.620–21:44.140
zh可以吧
可以吧
21:44.140–21:44.860
zh还可以啊
还可以啊
21:44.860–21:45.520
zh他能用有
他能用有
21:45.520–21:47.460
zh就这里我还搞了一个文档啊
就这里我还搞了一个文档啊
21:47.460–21:48.280
zh到时候大家可以看一下
到时候大家可以看一下
21:48.280–21:50.360
zh他一共是有一些这个
他一共是有一些这个
21:50.360–21:52.160
zh这里我是
这里我是
21:52.160–21:54.520
zh这个文档是Hermis去使用TTS的
这个文档是Hermis去使用TTS的
21:54.520–21:55.260
zh这个生意
这个生意
21:55.260–21:57.000
zh就那些编码的都去掉了
就那些编码的都去掉了
21:57.000–21:58.760
zh所以说我们可以看一下
所以说我们可以看一下
21:58.760–22:00.640
zh你比如说他这里有千荒的音色
你比如说他这里有千荒的音色
22:00.640–22:00.980
zh对吧
对吧
22:00.980–22:01.460
zh这些音色
这些音色
22:01.460–22:02.300
zh你可以直接
你可以直接
22:02.300–22:03.940
zh把某个音色
把某个音色
22:03.940–22:05.560
zh那个给他啊
那个给他啊
22:05.560–22:05.800
zh男生
男生
22:05.800–22:06.680
zh首先男生和女生
首先男生和女生
22:06.680–22:08.140
zh你可以给他说的
你可以给他说的
22:08.140–22:12.480
zh然后你可以直接指定一个音色来可以啊
然后你可以直接指定一个音色来可以啊
22:12.480–22:13.240
zh默认模型的话
默认模型的话
22:13.240–22:14.580
zh就是现在都是2.8了
就是现在都是2.8了
22:14.580–22:16.200
zh对吧
对吧
22:16.200–22:17.840
zh就是啊
就是啊
22:17.840–22:18.420
zh包括你看
包括你看
22:18.420–22:19.680
zh怎么去触发
怎么去触发
22:19.680–22:22.940
zh让他去去用这个TTS来给你生成啊
让他去去用这个TTS来给你生成啊
22:22.940–22:25.120
zh生成完了之后是得了一个MP3文件啊
生成完了之后是得了一个MP3文件啊
22:25.120–22:26.420
zh也是比较简单
也是比较简单
22:26.420–22:26.920
zh好
好
22:26.920–22:29.760
zh那么大概就是这些吧
那么大概就是这些吧
22:29.760–22:30.400
zh大概就这些
大概就这些
22:30.400–22:30.680
zh然后
然后
22:30.680–22:33.260
zh有我就使用到了两个模型啊
有我就使用到了两个模型啊
22:33.260–22:33.820
zh一个Argnes
一个Argnes
22:33.820–22:35.240
zh一个是minimax的M3
一个是minimax的M3
22:35.240–22:36.480
zhArgnes的话
Argnes的话
22:36.480–22:39.380
zh他是有图片生成和视频生成啊
他是有图片生成和视频生成啊
22:39.380–22:41.620
zh然后他其实也带文本模型啊
然后他其实也带文本模型啊
22:41.620–22:42.320
zh也可以去
也可以去
22:42.320–22:43.780
zh比如说你的特论不会用了
比如说你的特论不会用了
22:43.780–22:44.140
zh或者怎么样
或者怎么样
22:44.140–22:48.080
zh或者是一开始你不打算用这个这个M3的话
或者是一开始你不打算用这个这个M3的话
22:48.080–22:49.660
zh你可以一个这个Argnes
你可以一个这个Argnes
22:49.660–22:53.040
zh基本上也可以保证你的Hermes能去使用了啊
基本上也可以保证你的Hermes能去使用了啊
22:53.040–22:53.540
zh只不过是
只不过是
22:53.540–22:55.440
zh如果你做的事情复杂一点
如果你做的事情复杂一点
22:55.440–22:56.720
zh他请求次数比较多的话
他请求次数比较多的话
22:56.720–22:58.840
zh你可能会觉得这个他的文本模型比较慢
你可能会觉得这个他的文本模型比较慢
22:58.840–23:00.600
zh图片和视频无所谓啊
图片和视频无所谓啊
23:00.600–23:02.220
zh因为他本身就是需要时间的
因为他本身就是需要时间的
23:02.220–23:03.720
zh然后这是一个
然后这是一个
23:03.720–23:05.380
zh再一个就是minimax的这个M3
再一个就是minimax的这个M3
23:05.380–23:07.420
zh他是他是一个原
他是他是一个原
23:07.420–23:08.580
zh因为他是原生多模态嘛
因为他是原生多模态嘛
23:08.580–23:10.520
zh所以说他有图像理解和视频理解的能力
所以说他有图像理解和视频理解的能力
23:10.520–23:11.140
zh另外呢
另外呢
23:11.140–23:12.940
zh就是minimax本身
就是minimax本身
23:12.940–23:15.820
zh额外提供了一个这个语音合成的一个能力
额外提供了一个这个语音合成的一个能力
23:15.820–23:17.640
zh可以我们也去接触使用
可以我们也去接触使用
23:17.640–23:18.080
zh这样的话
这样的话
23:18.080–23:19.640
zh就是生图生视频
就是生图生视频
23:19.640–23:21.160
zh然后图片理解
然后图片理解
23:21.160–23:22.080
zh视频理解啊
视频理解啊
23:22.080–23:24.040
zh就是这种多模态能力就有了
就是这种多模态能力就有了
23:24.040–23:25.880
zh而且我们还加了一个语音的一个能力啊
而且我们还加了一个语音的一个能力啊
23:25.880–23:26.940
zh语音生成的能力
语音生成的能力
23:26.940–23:27.520
zh好吧
好吧
23:27.520–23:28.040
zh大概就这样
大概就这样
23:28.040–23:29.660
zh然后你有了这些能力之后
然后你有了这些能力之后
23:29.660–23:31.640
zh你可以自由去组合去这些事情了啊
你可以自由去组合去这些事情了啊
23:31.640–23:32.200
zh你比如说
你比如说
23:32.200–23:34.760
zh你像我们之前这里边说的这个啊
你像我们之前这里边说的这个啊
23:34.760–23:36.660
zh这个AI找资讯啊
这个AI找资讯啊
23:36.660–23:38.160
zh你比如说你这个整个过程
你比如说你这个整个过程
23:38.160–23:40.300
zh你要去呃这个
你要去呃这个
23:40.300–23:42.060
zh采集信息啊
采集信息啊
23:42.060–23:42.940
zh你的应用采集信息
你的应用采集信息
23:42.940–23:43.640
zh完了之后呢
完了之后呢
23:43.640–23:46.520
zh就给你把这个找资讯的这个
就给你把这个找资讯的这个
23:46.520–23:47.460
zh一天外给你做出来
一天外给你做出来
23:47.460–23:47.760
zh然后呢
然后呢
23:47.760–23:48.840
zh你还可以生成一段语音
你还可以生成一段语音
23:48.840–23:49.080
zh对吧
对吧
23:49.080–23:50.440
zh然后你甚至如果说
然后你甚至如果说
23:50.440–23:51.760
zh我们去做一些其他东西的话
我们去做一些其他东西的话
23:51.760–23:52.960
zh我还可以生成配图
我还可以生成配图
23:52.960–23:53.540
zh对吧
对吧
23:53.540–23:55.120
zh或者是你比如说
或者是你比如说
23:55.120–23:56.500
zh你给他一段视频
你给他一段视频
23:56.500–23:57.640
zh或者让你的应用呢
或者让你的应用呢
23:57.640–23:58.680
zh去下载了一段视频
去下载了一段视频
23:58.680–23:59.820
zh然后他让他自己通
然后他让他自己通
23:59.820–24:00.880
zh介入视频理解能力
介入视频理解能力
24:00.880–24:01.960
zh然后他去
然后他去
24:01.960–24:03.520
zh介入视频理解能力啊
介入视频理解能力啊
24:03.520–24:05.080
zh然后他去把整个视频看一遍
然后他去把整个视频看一遍
24:05.080–24:06.540
zh然后他把要点给你组约出来
然后他把要点给你组约出来
24:06.540–24:07.200
zh然后呢
然后呢
24:07.200–24:09.100
zh再给你生成一份这个
再给你生成一份这个
24:09.100–24:11.080
zh这个视频的一个报告
这个视频的一个报告
24:11.080–24:12.180
zh或者一个学习的报告
或者一个学习的报告
24:12.180–24:14.200
zh然后再把里边关键点啊
然后再把里边关键点啊
24:14.200–24:14.920
zh给你做成语音
给你做成语音
24:14.920–24:15.800
zh所以整个这个过程
所以整个这个过程
24:15.800–24:17.980
zh你就非常非常的一种
你就非常非常的一种
24:17.980–24:18.560
zh可以
可以
24:18.560–24:20.480
zh更多的一种
更多的一种
24:20.480–24:22.920
zh那个操作这个空间啊
那个操作这个空间啊
24:22.920–24:25.080
zh就是一些灵活组合的方式
就是一些灵活组合的方式
24:25.080–24:27.000
zh可以做出很好的体验的应用来
可以做出很好的体验的应用来
24:27.640–24:28.140
zh好吧
好吧
24:28.140–24:31.660
zh那今天就讲这些吧
那今天就讲这些吧
24:31.660–24:32.800
zh大家可以去听一听啊
大家可以去听一听啊
24:32.800–24:33.940
zh就是通过这样的方式
就是通过这样的方式
24:33.940–24:34.680
zh把你的Hemis
把你的Hemis
24:34.680–24:37.600
zh打造成一个接近满血的
打造成一个接近满血的
24:37.600–24:39.080
zh一个全模态的一种状态
一个全模态的一种状态
24:39.080–24:39.680
zh好吧
好吧
影片筆記：把你的hermes打造成满血全模态：生图+生视频+图片理解+视频理解+语音生成~ | Agnes+Minimax M3
一句話總結
影片演示如何透過接入外部模型與插件，將 Hermes Agent 從單文本模型擴展為具備文本生成、圖像生成、視頻生成、視覺理解及語音生成等「接近全模態」能力的智能體，並展示了具體的配置步驟與應用場景。
核心重點
- 架構目標：將 Hermes Agent 擴充至具備五項核心能力：文本生成、圖像生成、視頻生成、視覺理解、語音生成。
- 模型分工：
- Arganes（講者口誤為 Agnus/Agnus）：作為主力文本模型，並負責圖像生成（文生圖、圖生圖）與視頻生成（文生視頻、圖生視頻）。
- MiniMax M3：利用其原生多模態能力，負責圖像與視頻的深度理解（分析因果、時序關聯、細節拆解）。
- MiniMax TTS：負責語音生成（TTS），用於主動推送消息或定時匯報。
- 配置邏輯：
- 文本模型通過 Hermes 命令行配置 Custom Endpoint 接入。
- 圖像與視頻生成通過 Skill 和插件方式接入，需指定 API Key 與模型版本（建議 2.1 版本以獲得更好效果）。
- 視覺理解與語音生成同樣通過參考對應 API 文檔並配置插件實現。
- 應用場景：可組合出主動資訊推送（采集->報告->語音推送）、視頻學習輔助（下載->理解提取要點->語音摘要）等複雜應用。
詳細大綱
I. 能力總覽與架構
- 目標：將 Hermes 擴充至接近全模態能力。
- 五大能力模組：
- 文本生成（主力模型）
- 圖像生成（文生圖、圖生圖）
- 視頻生成（文生視頻、圖生視頻）
- 視覺理解（圖像理解、視頻理解）
- 語音生成（TTS）
- 適用對象：Hermes 及其他類似 Agent 工具。
II. 文本模型接入（Arganes）
- 模型選擇：Arganes（講者口誤為 Agnus/Agnus）。
- 特點：
- 免費使用，無額度限制。
- 僅有頻率限制（約每分鐘 20 次調用）。
- 支持文本、圖像、視頻三種模態。
- 配置步驟：
- 獲取 API Key，建議存入
.txt文件（如key.txt）。 - 在 Hermes 命令行中輸入
HermesModel。 - 選擇
customendpoint。 - 填入 Arganes 的
baseurl和 API Key。 - 選擇
autodetect，模型編號選擇4（文本模型）。 - 命名為
custom:Agnus並保存重啟。
- 驗證：重啟後新建對話，下拉選擇該模型，確認可進行文本對話。
III. 圖像與視頻生成能力接入
- 核心邏輯：通過 Skill 和插件方式實現，而非直接配置為主力模型。
- Arganes 版本區別：
- 2.0 版本：速度更快。
- 2.1 版本：效果更好，細節更豐富。
- 配置步驟：
- 提示 Hermes 參考 Arganes 的生圖/生視頻 API 文檔。
- 告知 API Key 的存放位置。
- 選擇插件實現方式（選擇「都做」）。
- 指定 API Key 路徑。
- 指定模型版本（建議選 2.1）。
- 等待 5-10 分鐘完成落地。
- 測試結果：
- 文生圖：成功生成指定風格（如「星海生風格」）圖片。
- 圖生圖：基於原圖增加元素（如增加男生互動），速度尚可，質量對於非專業用途足夠。
- 文生視頻：通過先文生圖，再圖生視頻的流程實現。
- 圖生視頻：讓靜態圖片動起來，生成短視頻（約 3 秒），速度約 2-3 分鐘。
- 應用場景：適合內容創作、資料配圖、演示視頻，不適合高專業度漫劇製作。
IV. 視覺理解能力接入（MiniMax M3）
- 核心邏輯：利用 MiniMax M3 的「原生多模態」能力。
- 與傳統識別區別：
- 傳統識別：僅識別元素（如杯子、水）。
- 原生多模態：識別因果關係、細節、後果（如杯子打翻導致水漬，長期會損壞地板）。
- 生圖 vs. 視覺理解：
- 生圖（Arganes）：畫師，能創造內容。
- 視覺理解（MiniMax M3）：評委，能評價、分析內容，但不能直接繪畫。
- 圖像理解測試：
- 輸入樓房草圖，要求拆解局部特寫並生成 HTML。
- 結果：能識別關鍵點（如防水排水、露水高发區），雖細節未必全準，但具備參考價值。
- 視頻理解測試：
- 輸入魔術視頻，要求分析技巧。
- 結果：MiniMax M3 具備時序關聯和連續動作捕捉能力。能識別關鍵幀（如換牌細節）、觀眾反應及時間線。
- 注意：初期可能未自動調用插件，需明確提示使用 M3 視頻理解能力。
V. 語音生成能力接入（MiniMax TTS）
- 核心邏輯：利用 MiniMax 提供的 TTS API。
- 配置步驟：
- 參考 MiniMax TTS API 文檔。
- 告知 API Key 存放位置。
- 執行操作完成接入。
- 測試結果：
- 生成 MP3 文件。
- 支持指定音色（男/女）。
- 語音自然度優於部分免費模型。
- 應用場景：AI 主動推送消息、定時商業情報匯報、超級秘書主動人格。
VI. 總結與應用組合
- 模型總結：
- Arganes：負責文本、生圖、生視頻。
- MiniMax M3：負責圖像理解、視頻理解。
- MiniMax TTS：負責語音生成。
- 組合應用範例：
- 主動資訊推送：應用采集資訊 -> 生成報告 -> 生成語音推送。
- 視頻學習輔助：下載視頻 -> 視頻理解提取要點 -> 生成學習報告 -> 生成語音摘要。
- 結論：通過自由組合，可打造具備全模態能力的靈活應用。
工具 / 模型 / 名詞整理
- Hermes：Agent 工具名稱。
- Arganes（逐字稿中亦聽寫為 Agnus、Agnus、阿根尼斯）：提供免費文本、生圖、生視頻能力的模型/API。
- MiniMax M3：提供原生多模態能力（圖像理解、視頻理解）的模型。
- MiniMax TTS：提供語音合成（Text-to-Speech）能力的 API。
- API Key：應用程序接口密鑰。
- HTML：超文本標記語言。
- MP3：音頻文件格式。
- Custom Endpoint：自定義端點。
- Autodetect：自動檢測。
- Skill：技能/插件。
- TTS：Text-to-Speech，文字轉語音。
操作流程整理
1. 接入文本模型 (Arganes/Agnus)
- 準備 API Key 並存入
key.txt文件。 - 在 Hermes 命令行輸入
HermesModel。 - 選擇
customendpoint。 - 填入 Arganes 的
baseurl和 API Key。 - 選擇
autodetect，模型編號選4。 - 命名為
custom:Agnus並保存重啟。 - 新建對話，下拉選擇該模型進行驗證。
2. 接入圖像與視頻生成 (Arganes)
- 提示 Hermes 參考 Arganes 的生圖/生視頻 API 文檔。
- 告知 API Key 的存放位置。
- 選擇插件實現方式（選擇「都做」）。
- 指定 API Key 路徑。
- 指定模型版本（建議選 2.1）。
- 等待 5-10 分鐘完成落地。
- 測試文生圖、圖生圖、文生視頻、圖生視頻功能。
3. 接入視覺理解 (MiniMax M3)
- 利用 MiniMax M3 的原生多模態能力。
- 輸入圖片或視頻，要求進行深度分析（如拆解局部、分析時序關聯）。
- 若未自動調用插件，需明確提示使用 M3 視頻理解能力。
4. 接入語音生成 (MiniMax TTS)
- 參考 MiniMax TTS API 文檔。
- 告知 API Key 存放位置。
- 執行操作完成接入。
- 測試生成 MP3 文件及指定音色。
值得注意的限制或風險
- 頻寬限制：Arganes 模型雖免費無額度限制，但有頻率限制（約每分鐘 20 次調用）。
- 生成質量：Arganes 生成的圖像和視頻質量對於非專業用途足夠，但不適合高專業度漫劇製作。
- 插件調用：視覺理解能力初期可能未自動調用插件，需明確提示使用。
- 時間成本：視頻生成（圖生視頻）速度約需 2-3 分鐘，插件落地需 5-10 分鐘。
逐字稿辨識疑點
- Arganes / Agnus / Agnus / 阿根尼斯：逐字稿中對該模型名稱的拼寫不一致，分別出現為 "Arganes"、"Agnus"、"Agnus"、"阿根尼斯"。根據上下文推測為同一個提供免費生圖/生視頻能力的模型，但具體正確名稱需查證。
- 地盘的 key.txt：講者口誤，疑為「一個 key.txt」或類似表述。
- 自信的方式：講者口誤，疑為「自定義的方式」或「Custom 的方式」。
- 你 Hermes：語法不通，疑為「你的 Hermes」。
- 生涂：疑為「生圖」的口誤。
- API case：疑為「API Key」的口誤。
- 安适机制：疑為「安全机制」的口誤。
- 大元模型：疑為「大語言模型」或「元模型」的口誤。
- 原始动模态 / 原生多模态 / 原生冬光菜 / 原生你：講者對 "Native Multimodal" 的翻譯或口誤不一致，疑點為「原生多模態」。
- 五岁的小孩：講者用此比喻傳統圖像識別與原生多模態理解的區別，非產品名稱。
- 刘圈：講者提到的魔術師或視頻來源，疑為人名或特定稱呼，需查證。
- 柴姐：講者口誤，疑為「裝置」或「器材」，指高速攝像機。
- 千荒的音色：疑為「千幻」或特定音色名稱，需查證。
- Hemis：疑為「Hermes」的口誤。
- 满血：比喻詞，指能力完整。
可延伸追問
- Arganes/Agnus 模型的正確官方名稱為何？
- MiniMax M3 在視頻理解方面的具體技術細節與優勢為何？
- 如何進一步優化 Arganes 生成視頻的時長與質量？
- 除了 Hermes，其他 Agent 工具如何具體實現類似的插件接入邏輯？
尚未產生學習筆記
請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習