WEBVTT

00:00:00.000 --> 00:00:06.000
各位朋友大家好。歡迎大家關注昆蓬道。今天告訴大家一個好消息。Deepseek V4.1 Flash這個模型正式開源了。

00:00:06.000 --> 00:00:15.000
那它目前已經把它的模型全中上傳到Hugging Face了。然後官方提供的是一個應該是一個FP8的格式的一個模型。

00:00:15.000 --> 00:00:26.000
模型全中的510個G。我們來看一下它相關的一些參數。那本次它是一個552B的一個大模型。也是一個MOE的架構。

00:00:26.000 --> 00:00:28.760
然后他本次调整的那个是他的一个CDE的架构

00:00:28.760 --> 00:00:30.680
就是由原来的40层的这个转换器

00:00:30.680 --> 00:00:36.500
然后现在优化成了改成20层的英国编码器和后面接了20层的解码器

00:00:36.500 --> 00:00:43.900
这样的话能够实现前局的KV缓存来进行加速

00:00:43.900 --> 00:00:49.780
就是让他能够实现就是预填充的时候

00:00:49.780 --> 00:00:52.280
它是一个激活参数是8B的

00:00:52.280 --> 00:00:56.520
然后解码的时候它的速度是16B的

00:00:56.520 --> 00:01:00.040
这样的话又实现了一个全新的一个技术架构

00:01:00.200 --> 00:01:02.040
能够实现大模型的一个推理速度加速

00:01:02.400 --> 00:01:04.760
然后本次它的这一次的模型

00:01:04.760 --> 00:01:06.240
已经全量在他们官网上线了

00:01:06.240 --> 00:01:08.040
而且它官网已经把Deepseek v4 Pro

00:01:08.040 --> 00:01:11.640
已经路由到它的Deepseek v4 Flash 4.1的模型上面来了

00:01:11.960 --> 00:01:14.360
而且它经过它的架构优化

00:01:14.440 --> 00:01:16.600
能够让它的kb缓存降低了

00:01:16.920 --> 00:01:18.640
就是降低到原来的1%

00:01:18.640 --> 00:01:25.500
另外一个就是他用了一个压缩的吸收注意力的算法

00:01:25.500 --> 00:01:31.080
然后能够实现也是一个主要是用来加速的

00:01:31.080 --> 00:01:34.080
在各个层级用的吸收索引器

00:01:34.080 --> 00:01:36.360
然后来进行限制索引

00:01:36.360 --> 00:01:38.220
然后实现的一个推理的一个加速

00:01:38.220 --> 00:01:41.580
我觉得这块确实在DeepSick在这方面

00:01:41.580 --> 00:01:43.200
还是做了很多的一个功夫

00:01:43.200 --> 00:01:45.240
另外的一个就是他的一个MHC

00:01:45.240 --> 00:01:48.320
这个之前他已经在他的开源的项目里面

00:01:48.320 --> 00:01:49.040
也多次提到过

00:01:49.040 --> 00:01:52.160
包括他的enggram的一个存储器

00:01:52.160 --> 00:01:53.160
然后很早的时候

00:01:53.160 --> 00:01:56.000
应该是在25年11月份左右的时候

00:01:56.000 --> 00:01:56.920
他开源出来的

00:01:58.000 --> 00:02:00.360
另外一个就是他本次是一个全新的

00:02:01.120 --> 00:02:02.760
完整的多模态的一个大模型

00:02:03.000 --> 00:02:04.520
他跟原来Deepseek v4 flash

00:02:04.520 --> 00:02:06.520
相当于在前面加了一个补丁包

00:02:06.520 --> 00:02:08.720
不一样的是他本次的多模态

00:02:08.840 --> 00:02:12.080
是用了Deepseek v4的一种技术架构

00:02:12.080 --> 00:02:15.360
然后它是从预训练的时候

00:02:15.360 --> 00:02:18.280
就已经开始用到了多谋态的一个预料

00:02:18.280 --> 00:02:19.320
来进行训练

00:02:19.320 --> 00:02:22.120
所以他说它是一个原生的多谋态大模型

00:02:22.120 --> 00:02:23.640
这个是没有问题的

00:02:23.640 --> 00:02:27.080
我们可以看一下它的一个分数

00:02:27.080 --> 00:02:30.000
它本次也很克制

00:02:30.000 --> 00:02:33.080
然后它在Terminal Branch Center上面的话

00:02:33.080 --> 00:02:34.440
能拿到了一个30分

00:02:34.440 --> 00:02:37.440
然后比Kimi5.3都要好一些

00:02:37.440 --> 00:02:39.960
然后比Opus5还是差的很多

00:02:39.960 --> 00:02:40.560
我们可以看一下

00:02:40.560 --> 00:02:42.900
然后和GPT5.6

00:02:42.900 --> 00:02:44.120
其实GPT6一出来了

00:02:45.320 --> 00:02:46.640
所以说还是有很大的一个差距的

00:02:46.640 --> 00:02:48.240
在国内在Terminibank上面

00:02:48.240 --> 00:02:48.960
当然这些

00:02:50.080 --> 00:02:50.680
这叫什么

00:02:51.320 --> 00:02:54.260
这些压测的测试的数据集

00:02:54.260 --> 00:02:56.040
包括算法都是国外的他们做的

00:02:56.040 --> 00:03:00.560
有可能都是由OpenAI或者说Cloud他们定义的

00:03:00.560 --> 00:03:01.880
就谁定义谁说算嘛

00:03:01.880 --> 00:03:03.080
他肯定的数据会好一些

00:03:03.760 --> 00:03:05.200
当然了这个不能绝对

00:03:05.200 --> 00:03:07.160
人家的模型确实我们承认他比较先进

00:03:07.400 --> 00:03:09.880
另外一个在Deep SWE上面

00:03:09.880 --> 00:03:11.880
v1.1的版本测试数据以上的话

00:03:11.880 --> 00:03:13.720
他应该是拿到了一个最好的成绩

00:03:13.720 --> 00:03:17.840
然后在安全的测评的上面也拿到了一个88分

00:03:17.840 --> 00:03:21.240
然后在自动化上面也拿到了一个54分

00:03:21.240 --> 00:03:24.280
目前我看到网上很多的用户评论说

00:03:24.280 --> 00:03:25.840
把它接到Deepseek里面去

00:03:25.840 --> 00:03:29.520
目前接到Codex里面去用Codex Computer Use

00:03:29.520 --> 00:03:33.080
是目前性价比和成功率最高的模型之一

00:03:33.080 --> 00:03:33.880
除了Deepseek

00:03:33.880 --> 00:03:37.160
除了GPT官网之外

00:03:37.160 --> 00:03:41.360
然后本次算是Deep Seek真正的机身

00:03:41.360 --> 00:03:44.000
然后世界前沿级的大模型

00:03:44.000 --> 00:03:46.020
多模态加一照上下文态这个梯堆

00:03:46.020 --> 00:03:48.660
目前国内相当于是第三家

00:03:48.660 --> 00:03:51.160
第一家相当于是Kimi

00:03:51.160 --> 00:03:54.020
第二家相当于是千问

00:03:54.020 --> 00:03:56.400
但千问38刚开始推出来的不是多模态的

00:03:56.400 --> 00:03:57.000
我也很奇怪

00:03:57.000 --> 00:03:57.740
不知道他现在是不是

00:03:57.740 --> 00:03:59.880
我们就把它放在这一列里面

00:03:59.880 --> 00:04:01.860
因为我之前说国内只有一家的时候

00:04:01.860 --> 00:04:03.660
就有人在评论区说千问也是

00:04:03.660 --> 00:04:05.700
我记得千问38刚出来的时候

00:04:05.700 --> 00:04:06.760
它是一个文本的多模态

00:04:06.760 --> 00:04:09.380
因为大家都知道我其实没有做测试

00:04:09.380 --> 00:04:11.620
就是没有深入的测试

00:04:11.620 --> 00:04:12.240
卖Token Plan

00:04:12.240 --> 00:04:13.720
然后限制太多了

00:04:13.720 --> 00:04:14.580
所以我就放弃了

00:04:14.580 --> 00:04:18.640
然后这个是它的整个的一个测评的一个分数

00:04:18.640 --> 00:04:20.260
比如说在各个领域

00:04:20.260 --> 00:04:21.800
然后还是非常亮眼的

00:04:21.800 --> 00:04:22.700
这个黑色的就表示

00:04:22.700 --> 00:04:25.500
它是目前的在已知的测评的这些里面

00:04:25.500 --> 00:04:29.360
效果是最好的

00:04:29.360 --> 00:04:31.580
我们可以看一下

00:04:31.580 --> 00:04:33.460
这个是它的一个base模型

00:04:33.460 --> 00:04:35.260
和它的对就是这个模型

00:04:35.260 --> 00:04:42.920
它在很多的参数已经非常接近V4 Pro和已经超过的Pro的模型

00:04:42.920 --> 00:04:47.060
所以说他们官网已经把这个Pro路由到这个模型上面来

00:04:47.060 --> 00:04:48.900
第一个是为了降低它的一个推理成本

00:04:48.900 --> 00:04:53.000
第二个也是因为这个模型的能力确实提升非常明显

00:04:53.000 --> 00:04:55.800
还有一个的最主要原因是网上被很多用户吐槽

00:04:55.800 --> 00:04:57.400
Deepstick V4 Pro的幻觉比较严重

00:04:57.400 --> 00:05:00.800
实际上我使用下来整体感觉还是非常不错的

00:05:00.800 --> 00:05:03.700
这些测评的分数我们就不一一讲

00:05:03.700 --> 00:05:05.260
因为刚才我们已经带大家看了一下

00:05:05.260 --> 00:05:07.340
它跟国外的这些模型的做一些对比

00:05:07.340 --> 00:05:10.060
其实我们可以看到目前它应该是

00:05:10.060 --> 00:05:13.660
牺牲到了国内的大模型的第一体队

00:05:13.660 --> 00:05:14.260
毫无疑问

00:05:14.260 --> 00:05:17.140
所以说DeepSick还是非常强的

00:05:17.940 --> 00:05:22.660
目前它官方还没有去推出

00:05:22.660 --> 00:05:24.420
然后VM和SGLAN部署的

00:05:24.420 --> 00:05:25.660
然后我相信应该很快

00:05:25.660 --> 00:05:27.660
VM和SGLAN就有对您的支持

00:05:27.660 --> 00:05:29.340
就算没有对您也有对一的支持

00:05:29.340 --> 00:05:31.420
刚才我们在一个我们私有化

00:05:31.420 --> 00:05:33.020
部署大模型的群里面就有人说

00:05:33.020 --> 00:05:35.380
今天晚上想蹲一个4.1的本地部署

00:05:35.380 --> 00:05:36.060
我感觉够呛

00:05:36.060 --> 00:05:37.740
其实我们手上也有机器

00:05:37.740 --> 00:05:39.900
但是不打算部署了

00:05:39.900 --> 00:05:42.740
因为它500多G的话

00:05:42.740 --> 00:05:44.380
说实话我们就算部署起来的话

00:05:44.380 --> 00:05:46.660
速度应该也不会很快

00:05:46.660 --> 00:05:48.140
还有一个原因是

00:05:48.140 --> 00:05:51.780
它官网的版本应该是加了Dspark

00:05:51.780 --> 00:05:52.540
然后进行加速

00:05:52.540 --> 00:05:53.820
但是它开源的版本里面

00:05:53.820 --> 00:05:54.900
我刚才翻了一下

00:05:54.900 --> 00:05:57.260
它的文件里面好像没有相关的一些描述

00:05:57.260 --> 00:05:58.900
我们再等一等看看

00:05:58.900 --> 00:06:01.700
三方会不会把Dspark给它接入进去

00:06:01.700 --> 00:06:02.940
他官网的现在这个速度

00:06:02.940 --> 00:06:05.700
我相信他应该是把despark已经接入进去了

00:06:05.700 --> 00:06:07.780
那好的

00:06:07.780 --> 00:06:09.860
如果你对大模型感兴趣的话

00:06:09.860 --> 00:06:10.620
可以关注一下

00:06:10.620 --> 00:06:15.800
然后来在你的API里面切换一下

00:06:15.800 --> 00:06:17.760
其实我上一个视频里面也已经讲到了

00:06:17.760 --> 00:06:19.120
就是DeepSick最新的模型

00:06:19.120 --> 00:06:20.720
然后我们来也看一下同步的

00:06:20.720 --> 00:06:23.060
看一下他们最新的官网的一个描述

00:06:23.060 --> 00:06:26.880
我们可以看到他的官网又更新了

00:06:26.880 --> 00:06:28.160
原来右侧的是一个招聘的

00:06:28.160 --> 00:06:28.900
现在不招了

00:06:28.900 --> 00:06:29.580
也不是不招了

00:06:29.580 --> 00:06:31.060
他应该是更新了一个

00:06:31.060 --> 00:06:33.700
然后我们来到它的开放平台上

00:06:33.700 --> 00:06:34.180
我们来看一下

00:06:34.180 --> 00:06:36.760
这个是它的接口文档

00:06:36.760 --> 00:06:38.940
我们重点看它模型的一个更新

00:06:38.940 --> 00:06:41.560
目前在它的接口文档里面

00:06:41.560 --> 00:06:42.440
还是两个模型

00:06:42.440 --> 00:06:45.980
所以说我们可以看一下模型和价格

00:06:45.980 --> 00:06:49.360
冰干压我记得还有一个

00:06:49.360 --> 00:06:52.980
Dipsick Flash

00:06:52.980 --> 00:06:56.360
Dipsick V4 Pro

00:06:56.360 --> 00:06:59.000
它把它的模型

00:06:59.000 --> 00:06:59.940
这个4.1 Flash

00:06:59.940 --> 00:07:01.780
已经直接切换成这个了

00:07:01.780 --> 00:07:03.460
我们来看一下它的

00:07:03.460 --> 00:07:08.180
模型名称使用Deepseek V4 Flash

00:07:08.180 --> 00:07:09.820
就可以接入到新的模型里面来了

00:07:09.820 --> 00:07:13.180
然后旧的V4 Flash和Flash Vision XP

00:07:13.180 --> 00:07:14.220
还可以调用

00:07:14.220 --> 00:07:15.780
它应该是已经把它路由到

00:07:15.780 --> 00:07:17.820
Deepseek V4 E Flash这个模型上面来

00:07:17.820 --> 00:07:19.740
然后它的统一名称叫Deepseek V4 Flash

00:07:19.740 --> 00:07:22.200
没有V4就是Deepseek Flash模型

00:07:22.200 --> 00:07:23.460
新的模型的话

00:07:23.460 --> 00:07:25.240
你可以直接使用Deepseek V4 Flash

00:07:25.240 --> 00:07:26.720
也可以使用Deepseek Flash

00:07:26.720 --> 00:07:27.940
都可以来做我介入

00:07:27.940 --> 00:07:30.460
我再给大家带大家来看一下

00:07:30.460 --> 00:07:33.240
我们来到我们的7166里面

00:07:33.240 --> 00:07:35.780
带大家来做一次配置一下

00:07:35.780 --> 00:07:38.180
其他的所有的三方的工具都是一样的

00:07:38.180 --> 00:07:41.260
OK

00:07:42.563 --> 00:07:48.123
OK。我們在這裡面添加一下模型。OK。添加模型。來做一下檢測。

00:07:48.123 --> 00:07:53.403
连接失败

00:07:53.403 --> 00:07:56.503
我这个账户应该是欠费的

00:07:56.503 --> 00:07:59.703
正好我今天也开玩了一个

00:07:59.703 --> 00:08:04.903
我自己的一个本地的大模型的一个推理的框架

00:08:04.903 --> 00:08:06.143
然后同时也支持云端

00:08:06.143 --> 00:08:07.203
先简单给大家介绍一下

00:08:07.203 --> 00:08:08.623
我们这里面有对话

00:08:08.623 --> 00:08:10.383
有agent还有视频的通话的

00:08:10.383 --> 00:08:12.423
包括这种可以本地和云端的模式

00:08:12.423 --> 00:08:13.563
可以跟他先打电话

00:08:13.563 --> 00:08:14.743
但是我这个电脑没在我旁边

00:08:14.743 --> 00:08:15.903
所以说没办法进行沟通

00:08:15.903 --> 00:08:16.643
我们先把它挂了

00:08:16.643 --> 00:08:17.863
回头给单独给大家测试

00:08:17.863 --> 00:08:21.423
然后这一块是生成本地去生成TTS

00:08:21.423 --> 00:08:22.863
然后可以使用Edge TTS

00:08:22.863 --> 00:08:24.903
也可以使用所谓OpenAI兼容的协议的

00:08:24.903 --> 00:08:26.343
来进行本地去生成音频

00:08:26.343 --> 00:08:28.043
这块是生图的

00:08:28.043 --> 00:08:30.503
然后也可以用本地的MRX生图

00:08:30.503 --> 00:08:31.823
也可以使用云端的一个生图

00:08:31.823 --> 00:08:34.663
然后我们可以看一下之前历史生图的一些效果

00:08:34.663 --> 00:08:35.543
这是生图的

00:08:35.543 --> 00:08:36.483
还有一个OCR

00:08:36.483 --> 00:08:37.703
然后上传文档

00:08:37.703 --> 00:08:38.883
然后进行OCR提取

00:08:38.883 --> 00:08:39.523
这是这个

00:08:39.523 --> 00:08:40.483
除了这个之外

00:08:40.483 --> 00:08:41.483
我们还有翻译

00:08:41.483 --> 00:08:42.763
这是翻译的内容

00:08:42.763 --> 00:08:43.523
中英文翻译

00:08:43.523 --> 00:08:45.103
还有一个提示词

00:08:45.103 --> 00:08:46.403
我们有一个提示词仓库

00:08:46.403 --> 00:08:47.263
然后把它集成进来了

00:08:47.263 --> 00:08:52.383
而这个仓库也已经在GitHub已经开完了

00:08:52.383 --> 00:08:55.423
我们在这个里面就是我们的一个模型

00:08:55.423 --> 00:08:56.023
我们可以看一下

00:08:56.023 --> 00:08:58.263
Deepseek v4 flash 还有Deepseek flash

00:08:58.263 --> 00:08:59.863
这个模型都已经可以了

00:08:59.863 --> 00:09:01.863
在我们这个工具里面也可以调用了

00:09:01.863 --> 00:09:02.703
我们来给大家测一下

00:09:02.703 --> 00:09:05.383
来切到Deepseek v4 flash

00:09:05.383 --> 00:09:07.023
Deepseek flash 这个模型

00:09:07.023 --> 00:09:08.303
OK 我们可以看一下

00:09:08.303 --> 00:09:14.383
不欠

00:09:14.383 --> 00:09:18.583
是这个吧

00:09:26.583 --> 00:09:28.383
我这个好像有点小问题

00:09:28.383 --> 00:09:29.743
我再试一下我们的agent

00:09:32.803 --> 00:09:33.803
应该是可以调通的

00:09:34.623 --> 00:09:35.363
是没有问题的

00:09:35.363 --> 00:09:36.923
然后这个对话应该也是可以的

00:09:36.923 --> 00:09:38.063
我再新建一个对话试一下

00:09:38.063 --> 00:09:38.603
稍等一下

00:09:39.783 --> 00:09:40.843
我们来切换一下

00:09:40.843 --> 00:09:45.323
ok 是没有问题的

00:09:45.323 --> 00:09:48.723
那好的 今天就介绍在这

00:09:48.723 --> 00:09:49.203
谢谢大家

00:09:49.203 --> 00:09:50.163
如果大家感兴趣的话

00:09:50.163 --> 00:09:51.243
我们这里面的支持的

00:09:51.243 --> 00:09:52.323
我们自己的自带的

00:09:52.323 --> 00:09:53.883
还Deepseek 千问 质朴

00:09:53.883 --> 00:09:56.043
Kimi 豆包 文心一言 腾讯

00:09:56.043 --> 00:09:58.723
Binimax 科大讯飞和借阅的

00:09:58.723 --> 00:10:01.123
所以这些厂商的大模型在支持

00:10:01.123 --> 00:10:02.443
我们内置了一个agent

00:10:02.443 --> 00:10:03.603
这个agent是py agent

00:10:04.643 --> 00:10:06.363
然后还有一些其他的相关的一些功能

00:10:06.363 --> 00:10:07.963
然后主打的就是本地推理

00:10:07.963 --> 00:10:10.363
那再顺便再多说两句吧

00:10:10.363 --> 00:10:12.203
我们这里面在本地区部署大模型

00:10:12.203 --> 00:10:14.123
支持Nameter CPP VRM和SGLAN

00:10:14.123 --> 00:10:15.083
然后进行部署

00:10:15.083 --> 00:10:16.283
然后在模型库里面

00:10:16.283 --> 00:10:18.683
我们有一些自己挑选的模型

00:10:18.683 --> 00:10:19.963
可以在这里面来进行管理

00:10:19.963 --> 00:10:21.323
然后也可以在这里面进行搜索

00:10:21.323 --> 00:10:22.523
下载GGOF格式的

00:10:23.083 --> 00:10:26.603
然后这个模型也可以在国内进行下载

00:10:26.603 --> 00:10:27.643
我已经做到加速

00:10:27.643 --> 00:10:29.403
然后我们把本地的这些模型

00:10:29.403 --> 00:10:29.963
启动起来之后

00:10:29.963 --> 00:10:31.323
我们做了一个统一的网关

00:10:31.323 --> 00:10:33.563
然后接着OpenAPI的一个协议的

00:10:33.563 --> 00:10:34.803
VModel然后Chatter

00:10:34.803 --> 00:10:37.483
然后Response和VMessage和Speech

00:10:37.483 --> 00:10:41.043
然后转翻译的和生图的都有了

00:10:41.043 --> 00:10:44.023
后面我们还会打算把minimax H3接进来

00:10:44.023 --> 00:10:44.543
好的

00:10:44.543 --> 00:10:45.623
今天就介绍在这

00:10:45.623 --> 00:10:46.003
谢谢大家