1
00:00:00,000 --> 00:00:06,000
各位朋友大家好。歡迎大家關注昆蓬道。今天告訴大家一個好消息。Deepseek V4.1 Flash這個模型正式開源了。

2
00:00:06,000 --> 00:00:15,000
那它目前已經把它的模型全中上傳到Hugging Face了。然後官方提供的是一個應該是一個FP8的格式的一個模型。

3
00:00:15,000 --> 00:00:26,000
模型全中的510個G。我們來看一下它相關的一些參數。那本次它是一個552B的一個大模型。也是一個MOE的架構。

4
00:00:26,000 --> 00:00:28,760
然后他本次调整的那个是他的一个CDE的架构

5
00:00:28,760 --> 00:00:30,680
就是由原来的40层的这个转换器

6
00:00:30,680 --> 00:00:36,500
然后现在优化成了改成20层的英国编码器和后面接了20层的解码器

7
00:00:36,500 --> 00:00:43,900
这样的话能够实现前局的KV缓存来进行加速

8
00:00:43,900 --> 00:00:49,780
就是让他能够实现就是预填充的时候

9
00:00:49,780 --> 00:00:52,280
它是一个激活参数是8B的

10
00:00:52,280 --> 00:00:56,520
然后解码的时候它的速度是16B的

11
00:00:56,520 --> 00:01:00,040
这样的话又实现了一个全新的一个技术架构

12
00:01:00,200 --> 00:01:02,040
能够实现大模型的一个推理速度加速

13
00:01:02,400 --> 00:01:04,760
然后本次它的这一次的模型

14
00:01:04,760 --> 00:01:06,240
已经全量在他们官网上线了

15
00:01:06,240 --> 00:01:08,040
而且它官网已经把Deepseek v4 Pro

16
00:01:08,040 --> 00:01:11,640
已经路由到它的Deepseek v4 Flash 4.1的模型上面来了

17
00:01:11,960 --> 00:01:14,360
而且它经过它的架构优化

18
00:01:14,440 --> 00:01:16,600
能够让它的kb缓存降低了

19
00:01:16,920 --> 00:01:18,640
就是降低到原来的1%

20
00:01:18,640 --> 00:01:25,500
另外一个就是他用了一个压缩的吸收注意力的算法

21
00:01:25,500 --> 00:01:31,080
然后能够实现也是一个主要是用来加速的

22
00:01:31,080 --> 00:01:34,080
在各个层级用的吸收索引器

23
00:01:34,080 --> 00:01:36,360
然后来进行限制索引

24
00:01:36,360 --> 00:01:38,220
然后实现的一个推理的一个加速

25
00:01:38,220 --> 00:01:41,580
我觉得这块确实在DeepSick在这方面

26
00:01:41,580 --> 00:01:43,200
还是做了很多的一个功夫

27
00:01:43,200 --> 00:01:45,240
另外的一个就是他的一个MHC

28
00:01:45,240 --> 00:01:48,320
这个之前他已经在他的开源的项目里面

29
00:01:48,320 --> 00:01:49,040
也多次提到过

30
00:01:49,040 --> 00:01:52,160
包括他的enggram的一个存储器

31
00:01:52,160 --> 00:01:53,160
然后很早的时候

32
00:01:53,160 --> 00:01:56,000
应该是在25年11月份左右的时候

33
00:01:56,000 --> 00:01:56,920
他开源出来的

34
00:01:58,000 --> 00:02:00,360
另外一个就是他本次是一个全新的

35
00:02:01,120 --> 00:02:02,760
完整的多模态的一个大模型

36
00:02:03,000 --> 00:02:04,520
他跟原来Deepseek v4 flash

37
00:02:04,520 --> 00:02:06,520
相当于在前面加了一个补丁包

38
00:02:06,520 --> 00:02:08,720
不一样的是他本次的多模态

39
00:02:08,840 --> 00:02:12,080
是用了Deepseek v4的一种技术架构

40
00:02:12,080 --> 00:02:15,360
然后它是从预训练的时候

41
00:02:15,360 --> 00:02:18,280
就已经开始用到了多谋态的一个预料

42
00:02:18,280 --> 00:02:19,320
来进行训练

43
00:02:19,320 --> 00:02:22,120
所以他说它是一个原生的多谋态大模型

44
00:02:22,120 --> 00:02:23,640
这个是没有问题的

45
00:02:23,640 --> 00:02:27,080
我们可以看一下它的一个分数

46
00:02:27,080 --> 00:02:30,000
它本次也很克制

47
00:02:30,000 --> 00:02:33,080
然后它在Terminal Branch Center上面的话

48
00:02:33,080 --> 00:02:34,440
能拿到了一个30分

49
00:02:34,440 --> 00:02:37,440
然后比Kimi5.3都要好一些

50
00:02:37,440 --> 00:02:39,960
然后比Opus5还是差的很多

51
00:02:39,960 --> 00:02:40,560
我们可以看一下

52
00:02:40,560 --> 00:02:42,900
然后和GPT5.6

53
00:02:42,900 --> 00:02:44,120
其实GPT6一出来了

54
00:02:45,320 --> 00:02:46,640
所以说还是有很大的一个差距的

55
00:02:46,640 --> 00:02:48,240
在国内在Terminibank上面

56
00:02:48,240 --> 00:02:48,960
当然这些

57
00:02:50,080 --> 00:02:50,680
这叫什么

58
00:02:51,320 --> 00:02:54,260
这些压测的测试的数据集

59
00:02:54,260 --> 00:02:56,040
包括算法都是国外的他们做的

60
00:02:56,040 --> 00:03:00,560
有可能都是由OpenAI或者说Cloud他们定义的

61
00:03:00,560 --> 00:03:01,880
就谁定义谁说算嘛

62
00:03:01,880 --> 00:03:03,080
他肯定的数据会好一些

63
00:03:03,760 --> 00:03:05,200
当然了这个不能绝对

64
00:03:05,200 --> 00:03:07,160
人家的模型确实我们承认他比较先进

65
00:03:07,400 --> 00:03:09,880
另外一个在Deep SWE上面

66
00:03:09,880 --> 00:03:11,880
v1.1的版本测试数据以上的话

67
00:03:11,880 --> 00:03:13,720
他应该是拿到了一个最好的成绩

68
00:03:13,720 --> 00:03:17,840
然后在安全的测评的上面也拿到了一个88分

69
00:03:17,840 --> 00:03:21,240
然后在自动化上面也拿到了一个54分

70
00:03:21,240 --> 00:03:24,280
目前我看到网上很多的用户评论说

71
00:03:24,280 --> 00:03:25,840
把它接到Deepseek里面去

72
00:03:25,840 --> 00:03:29,520
目前接到Codex里面去用Codex Computer Use

73
00:03:29,520 --> 00:03:33,080
是目前性价比和成功率最高的模型之一

74
00:03:33,080 --> 00:03:33,880
除了Deepseek

75
00:03:33,880 --> 00:03:37,160
除了GPT官网之外

76
00:03:37,160 --> 00:03:41,360
然后本次算是Deep Seek真正的机身

77
00:03:41,360 --> 00:03:44,000
然后世界前沿级的大模型

78
00:03:44,000 --> 00:03:46,020
多模态加一照上下文态这个梯堆

79
00:03:46,020 --> 00:03:48,660
目前国内相当于是第三家

80
00:03:48,660 --> 00:03:51,160
第一家相当于是Kimi

81
00:03:51,160 --> 00:03:54,020
第二家相当于是千问

82
00:03:54,020 --> 00:03:56,400
但千问38刚开始推出来的不是多模态的

83
00:03:56,400 --> 00:03:57,000
我也很奇怪

84
00:03:57,000 --> 00:03:57,740
不知道他现在是不是

85
00:03:57,740 --> 00:03:59,880
我们就把它放在这一列里面

86
00:03:59,880 --> 00:04:01,860
因为我之前说国内只有一家的时候

87
00:04:01,860 --> 00:04:03,660
就有人在评论区说千问也是

88
00:04:03,660 --> 00:04:05,700
我记得千问38刚出来的时候

89
00:04:05,700 --> 00:04:06,760
它是一个文本的多模态

90
00:04:06,760 --> 00:04:09,380
因为大家都知道我其实没有做测试

91
00:04:09,380 --> 00:04:11,620
就是没有深入的测试

92
00:04:11,620 --> 00:04:12,240
卖Token Plan

93
00:04:12,240 --> 00:04:13,720
然后限制太多了

94
00:04:13,720 --> 00:04:14,580
所以我就放弃了

95
00:04:14,580 --> 00:04:18,640
然后这个是它的整个的一个测评的一个分数

96
00:04:18,640 --> 00:04:20,260
比如说在各个领域

97
00:04:20,260 --> 00:04:21,800
然后还是非常亮眼的

98
00:04:21,800 --> 00:04:22,700
这个黑色的就表示

99
00:04:22,700 --> 00:04:25,500
它是目前的在已知的测评的这些里面

100
00:04:25,500 --> 00:04:29,360
效果是最好的

101
00:04:29,360 --> 00:04:31,580
我们可以看一下

102
00:04:31,580 --> 00:04:33,460
这个是它的一个base模型

103
00:04:33,460 --> 00:04:35,260
和它的对就是这个模型

104
00:04:35,260 --> 00:04:42,920
它在很多的参数已经非常接近V4 Pro和已经超过的Pro的模型

105
00:04:42,920 --> 00:04:47,060
所以说他们官网已经把这个Pro路由到这个模型上面来

106
00:04:47,060 --> 00:04:48,900
第一个是为了降低它的一个推理成本

107
00:04:48,900 --> 00:04:53,000
第二个也是因为这个模型的能力确实提升非常明显

108
00:04:53,000 --> 00:04:55,800
还有一个的最主要原因是网上被很多用户吐槽

109
00:04:55,800 --> 00:04:57,400
Deepstick V4 Pro的幻觉比较严重

110
00:04:57,400 --> 00:05:00,800
实际上我使用下来整体感觉还是非常不错的

111
00:05:00,800 --> 00:05:03,700
这些测评的分数我们就不一一讲

112
00:05:03,700 --> 00:05:05,260
因为刚才我们已经带大家看了一下

113
00:05:05,260 --> 00:05:07,340
它跟国外的这些模型的做一些对比

114
00:05:07,340 --> 00:05:10,060
其实我们可以看到目前它应该是

115
00:05:10,060 --> 00:05:13,660
牺牲到了国内的大模型的第一体队

116
00:05:13,660 --> 00:05:14,260
毫无疑问

117
00:05:14,260 --> 00:05:17,140
所以说DeepSick还是非常强的

118
00:05:17,940 --> 00:05:22,660
目前它官方还没有去推出

119
00:05:22,660 --> 00:05:24,420
然后VM和SGLAN部署的

120
00:05:24,420 --> 00:05:25,660
然后我相信应该很快

121
00:05:25,660 --> 00:05:27,660
VM和SGLAN就有对您的支持

122
00:05:27,660 --> 00:05:29,340
就算没有对您也有对一的支持

123
00:05:29,340 --> 00:05:31,420
刚才我们在一个我们私有化

124
00:05:31,420 --> 00:05:33,020
部署大模型的群里面就有人说

125
00:05:33,020 --> 00:05:35,380
今天晚上想蹲一个4.1的本地部署

126
00:05:35,380 --> 00:05:36,060
我感觉够呛

127
00:05:36,060 --> 00:05:37,740
其实我们手上也有机器

128
00:05:37,740 --> 00:05:39,900
但是不打算部署了

129
00:05:39,900 --> 00:05:42,740
因为它500多G的话

130
00:05:42,740 --> 00:05:44,380
说实话我们就算部署起来的话

131
00:05:44,380 --> 00:05:46,660
速度应该也不会很快

132
00:05:46,660 --> 00:05:48,140
还有一个原因是

133
00:05:48,140 --> 00:05:51,780
它官网的版本应该是加了Dspark

134
00:05:51,780 --> 00:05:52,540
然后进行加速

135
00:05:52,540 --> 00:05:53,820
但是它开源的版本里面

136
00:05:53,820 --> 00:05:54,900
我刚才翻了一下

137
00:05:54,900 --> 00:05:57,260
它的文件里面好像没有相关的一些描述

138
00:05:57,260 --> 00:05:58,900
我们再等一等看看

139
00:05:58,900 --> 00:06:01,700
三方会不会把Dspark给它接入进去

140
00:06:01,700 --> 00:06:02,940
他官网的现在这个速度

141
00:06:02,940 --> 00:06:05,700
我相信他应该是把despark已经接入进去了

142
00:06:05,700 --> 00:06:07,780
那好的

143
00:06:07,780 --> 00:06:09,860
如果你对大模型感兴趣的话

144
00:06:09,860 --> 00:06:10,620
可以关注一下

145
00:06:10,620 --> 00:06:15,800
然后来在你的API里面切换一下

146
00:06:15,800 --> 00:06:17,760
其实我上一个视频里面也已经讲到了

147
00:06:17,760 --> 00:06:19,120
就是DeepSick最新的模型

148
00:06:19,120 --> 00:06:20,720
然后我们来也看一下同步的

149
00:06:20,720 --> 00:06:23,060
看一下他们最新的官网的一个描述

150
00:06:23,060 --> 00:06:26,880
我们可以看到他的官网又更新了

151
00:06:26,880 --> 00:06:28,160
原来右侧的是一个招聘的

152
00:06:28,160 --> 00:06:28,900
现在不招了

153
00:06:28,900 --> 00:06:29,580
也不是不招了

154
00:06:29,580 --> 00:06:31,060
他应该是更新了一个

155
00:06:31,060 --> 00:06:33,700
然后我们来到它的开放平台上

156
00:06:33,700 --> 00:06:34,180
我们来看一下

157
00:06:34,180 --> 00:06:36,760
这个是它的接口文档

158
00:06:36,760 --> 00:06:38,940
我们重点看它模型的一个更新

159
00:06:38,940 --> 00:06:41,560
目前在它的接口文档里面

160
00:06:41,560 --> 00:06:42,440
还是两个模型

161
00:06:42,440 --> 00:06:45,980
所以说我们可以看一下模型和价格

162
00:06:45,980 --> 00:06:49,360
冰干压我记得还有一个

163
00:06:49,360 --> 00:06:52,980
Dipsick Flash

164
00:06:52,980 --> 00:06:56,360
Dipsick V4 Pro

165
00:06:56,360 --> 00:06:59,000
它把它的模型

166
00:06:59,000 --> 00:06:59,940
这个4.1 Flash

167
00:06:59,940 --> 00:07:01,780
已经直接切换成这个了

168
00:07:01,780 --> 00:07:03,460
我们来看一下它的

169
00:07:03,460 --> 00:07:08,180
模型名称使用Deepseek V4 Flash

170
00:07:08,180 --> 00:07:09,820
就可以接入到新的模型里面来了

171
00:07:09,820 --> 00:07:13,180
然后旧的V4 Flash和Flash Vision XP

172
00:07:13,180 --> 00:07:14,220
还可以调用

173
00:07:14,220 --> 00:07:15,780
它应该是已经把它路由到

174
00:07:15,780 --> 00:07:17,820
Deepseek V4 E Flash这个模型上面来

175
00:07:17,820 --> 00:07:19,740
然后它的统一名称叫Deepseek V4 Flash

176
00:07:19,740 --> 00:07:22,200
没有V4就是Deepseek Flash模型

177
00:07:22,200 --> 00:07:23,460
新的模型的话

178
00:07:23,460 --> 00:07:25,240
你可以直接使用Deepseek V4 Flash

179
00:07:25,240 --> 00:07:26,720
也可以使用Deepseek Flash

180
00:07:26,720 --> 00:07:27,940
都可以来做我介入

181
00:07:27,940 --> 00:07:30,460
我再给大家带大家来看一下

182
00:07:30,460 --> 00:07:33,240
我们来到我们的7166里面

183
00:07:33,240 --> 00:07:35,780
带大家来做一次配置一下

184
00:07:35,780 --> 00:07:38,180
其他的所有的三方的工具都是一样的

185
00:07:38,180 --> 00:07:41,260
OK

186
00:07:42,563 --> 00:07:48,123
OK。我們在這裡面添加一下模型。OK。添加模型。來做一下檢測。

187
00:07:48,123 --> 00:07:53,403
连接失败

188
00:07:53,403 --> 00:07:56,503
我这个账户应该是欠费的

189
00:07:56,503 --> 00:07:59,703
正好我今天也开玩了一个

190
00:07:59,703 --> 00:08:04,903
我自己的一个本地的大模型的一个推理的框架

191
00:08:04,903 --> 00:08:06,143
然后同时也支持云端

192
00:08:06,143 --> 00:08:07,203
先简单给大家介绍一下

193
00:08:07,203 --> 00:08:08,623
我们这里面有对话

194
00:08:08,623 --> 00:08:10,383
有agent还有视频的通话的

195
00:08:10,383 --> 00:08:12,423
包括这种可以本地和云端的模式

196
00:08:12,423 --> 00:08:13,563
可以跟他先打电话

197
00:08:13,563 --> 00:08:14,743
但是我这个电脑没在我旁边

198
00:08:14,743 --> 00:08:15,903
所以说没办法进行沟通

199
00:08:15,903 --> 00:08:16,643
我们先把它挂了

200
00:08:16,643 --> 00:08:17,863
回头给单独给大家测试

201
00:08:17,863 --> 00:08:21,423
然后这一块是生成本地去生成TTS

202
00:08:21,423 --> 00:08:22,863
然后可以使用Edge TTS

203
00:08:22,863 --> 00:08:24,903
也可以使用所谓OpenAI兼容的协议的

204
00:08:24,903 --> 00:08:26,343
来进行本地去生成音频

205
00:08:26,343 --> 00:08:28,043
这块是生图的

206
00:08:28,043 --> 00:08:30,503
然后也可以用本地的MRX生图

207
00:08:30,503 --> 00:08:31,823
也可以使用云端的一个生图

208
00:08:31,823 --> 00:08:34,663
然后我们可以看一下之前历史生图的一些效果

209
00:08:34,663 --> 00:08:35,543
这是生图的

210
00:08:35,543 --> 00:08:36,483
还有一个OCR

211
00:08:36,483 --> 00:08:37,703
然后上传文档

212
00:08:37,703 --> 00:08:38,883
然后进行OCR提取

213
00:08:38,883 --> 00:08:39,523
这是这个

214
00:08:39,523 --> 00:08:40,483
除了这个之外

215
00:08:40,483 --> 00:08:41,483
我们还有翻译

216
00:08:41,483 --> 00:08:42,763
这是翻译的内容

217
00:08:42,763 --> 00:08:43,523
中英文翻译

218
00:08:43,523 --> 00:08:45,103
还有一个提示词

219
00:08:45,103 --> 00:08:46,403
我们有一个提示词仓库

220
00:08:46,403 --> 00:08:47,263
然后把它集成进来了

221
00:08:47,263 --> 00:08:52,383
而这个仓库也已经在GitHub已经开完了

222
00:08:52,383 --> 00:08:55,423
我们在这个里面就是我们的一个模型

223
00:08:55,423 --> 00:08:56,023
我们可以看一下

224
00:08:56,023 --> 00:08:58,263
Deepseek v4 flash 还有Deepseek flash

225
00:08:58,263 --> 00:08:59,863
这个模型都已经可以了

226
00:08:59,863 --> 00:09:01,863
在我们这个工具里面也可以调用了

227
00:09:01,863 --> 00:09:02,703
我们来给大家测一下

228
00:09:02,703 --> 00:09:05,383
来切到Deepseek v4 flash

229
00:09:05,383 --> 00:09:07,023
Deepseek flash 这个模型

230
00:09:07,023 --> 00:09:08,303
OK 我们可以看一下

231
00:09:08,303 --> 00:09:14,383
不欠

232
00:09:14,383 --> 00:09:18,583
是这个吧

233
00:09:26,583 --> 00:09:28,383
我这个好像有点小问题

234
00:09:28,383 --> 00:09:29,743
我再试一下我们的agent

235
00:09:32,803 --> 00:09:33,803
应该是可以调通的

236
00:09:34,623 --> 00:09:35,363
是没有问题的

237
00:09:35,363 --> 00:09:36,923
然后这个对话应该也是可以的

238
00:09:36,923 --> 00:09:38,063
我再新建一个对话试一下

239
00:09:38,063 --> 00:09:38,603
稍等一下

240
00:09:39,783 --> 00:09:40,843
我们来切换一下

241
00:09:40,843 --> 00:09:45,323
ok 是没有问题的

242
00:09:45,323 --> 00:09:48,723
那好的 今天就介绍在这

243
00:09:48,723 --> 00:09:49,203
谢谢大家

244
00:09:49,203 --> 00:09:50,163
如果大家感兴趣的话

245
00:09:50,163 --> 00:09:51,243
我们这里面的支持的

246
00:09:51,243 --> 00:09:52,323
我们自己的自带的

247
00:09:52,323 --> 00:09:53,883
还Deepseek 千问 质朴

248
00:09:53,883 --> 00:09:56,043
Kimi 豆包 文心一言 腾讯

249
00:09:56,043 --> 00:09:58,723
Binimax 科大讯飞和借阅的

250
00:09:58,723 --> 00:10:01,123
所以这些厂商的大模型在支持

251
00:10:01,123 --> 00:10:02,443
我们内置了一个agent

252
00:10:02,443 --> 00:10:03,603
这个agent是py agent

253
00:10:04,643 --> 00:10:06,363
然后还有一些其他的相关的一些功能

254
00:10:06,363 --> 00:10:07,963
然后主打的就是本地推理

255
00:10:07,963 --> 00:10:10,363
那再顺便再多说两句吧

256
00:10:10,363 --> 00:10:12,203
我们这里面在本地区部署大模型

257
00:10:12,203 --> 00:10:14,123
支持Nameter CPP VRM和SGLAN

258
00:10:14,123 --> 00:10:15,083
然后进行部署

259
00:10:15,083 --> 00:10:16,283
然后在模型库里面

260
00:10:16,283 --> 00:10:18,683
我们有一些自己挑选的模型

261
00:10:18,683 --> 00:10:19,963
可以在这里面来进行管理

262
00:10:19,963 --> 00:10:21,323
然后也可以在这里面进行搜索

263
00:10:21,323 --> 00:10:22,523
下载GGOF格式的

264
00:10:23,083 --> 00:10:26,603
然后这个模型也可以在国内进行下载

265
00:10:26,603 --> 00:10:27,643
我已经做到加速

266
00:10:27,643 --> 00:10:29,403
然后我们把本地的这些模型

267
00:10:29,403 --> 00:10:29,963
启动起来之后

268
00:10:29,963 --> 00:10:31,323
我们做了一个统一的网关

269
00:10:31,323 --> 00:10:33,563
然后接着OpenAPI的一个协议的

270
00:10:33,563 --> 00:10:34,803
VModel然后Chatter

271
00:10:34,803 --> 00:10:37,483
然后Response和VMessage和Speech

272
00:10:37,483 --> 00:10:41,043
然后转翻译的和生图的都有了

273
00:10:41,043 --> 00:10:44,023
后面我们还会打算把minimax H3接进来

274
00:10:44,023 --> 00:10:44,543
好的

275
00:10:44,543 --> 00:10:45,623
今天就介绍在这

276
00:10:45,623 --> 00:10:46,003
谢谢大家