今天这期视频我们再谈一谈AI小盒子
就是AMD的AIMAX 395-400
英伟达的DGX Spark
然后苹果的M5 Max和Ultra
为什么呢
因为最近Deepseek V4.1 Flash重磅模型发布了
那么这个模型可以说是相当的牛逼
经过我这两天的实测
我一开始认为它可能说能够
勉强替代Deepseek V4 Pro
但是深度使用之后
我发现它是完全可以替代
DeepSig V4 Pro
并且有论坛有人发帖子
就是比较权威的这些机构
他们测评之后
认为这个什么DeepSig V4.1 Flush
在很多任务场景中
都能够跟这个什么GPT-6 Astra
跟这个Cloud 5 5.1
这样的顶级旗舰模型
做到相当稍微落后的一点水平
它的成本就要低上一两个档次
那么这个模型呢
它刚好就能够在小盒子上跑起来
那在这种情况下就不得不讲它了
就把这个小盒子在这个提一下
虽然我本地都是跑这个7.8GB
我一直主张大家去买这个独立的显卡
比如说4090 48G, G900 XTX
或者说是什么RTX Pro 4500 5000 6000
是吧 因为他们能够在本地跑大模型的同时
也能够跑这个什么MiniMax H3
跑这个LTX 2.3这样的视频模型
跑Confi UI生态 生产力是非常不错的
但是毕竟他们是跑不了
迪普斯克、威斯福拉奇这样的
可以说是目前性价比最高的模型
那么我们首先从AMD谈起
AMD这家公司
它的AIMAX 395跟400
它现在陆续的发布了
395好像是128G的论存
400好像是可以支持到192G了
但是呢我就有点没搞清楚
你说它为什么不搞256G版本的呢
我还去问了一下AI
就这家公司他骂的非常的脑残
知道吗
它在设计这个芯片的时候
它的硬件规格就只能跑到192G
就支持不到256G
你说这个硬件设计是得有多脑残
才能够想得出来
而且它这个395在这个市场反响比较一般的情况下
你这个400出来是吧
就算说你这个核心部分你不去改
你起码把395的这个一些大的毛病给它修改
比如说它两台小盒子之间没有高速的互联方案
不像英伟达 英伟达有这个高速的互联方案
可以两台128G的盒子合到一起
形成256G的统一显存尺 瑞存尺
AMD不能
那么如果说你买395的话
你就只能跑什么轻微3.8Flush
或者千万3.820Gb
这两个模型在小货赛场跑度是非常的慢
就响应速度很慢
这个3.8弗拉西它不要说本地的小客人跑
它就是你用什么RTX Pro 5000
6000来跑它也慢
就这个模型本身有问题
然后这个轻微3.8 27弗
由于是稠密模型
它同时激活这个270亿三数
比跑里这个什么Deepseek威斯弗拉西的时候
激活13弗
这个算力负担更大
对于算力跟带宽的要求就要更高
那么IMD的小盒子跑起来
就算是你把这个什么SG浪给他部署到位了
他这个体验也是不怎么样的
就你加入什么DF2
投机尖码是吧
他的响应其实也都一般
如果说你升级到AIMAX400
能够买这个新的版本
买这个192G队层版本
那里也很尴尬
因为这个Deepseek-V4 Flush
它这个家族
它是什么NVFP4跟FP8的混合模型
它这个模型本身的尺寸大概是140多几左右
你放上去之后再扣除系统开销
扣除这个框架开销
那里剩下来的就只能跑
单个绘画长生下完
你想多开
难度很高
就很难理解这家公司为什么会这么老残
就他这么多年来被这个什么
英伟达吊打是有原因的
就是他设计产品的时候
非常的粗暴
非常的粗放
完全不考虑市场需求
可能他们的设计师
也用英伟达的显卡
他可能不用自家的显卡
你比如说
他跟什么英塔
去搞这个什么
芯片竞争的时候
我们都认为
他渗出市场之后
会回馈我们玩家
把这个什么CPU的价格做下来
结果并不是
他非常的邪恶
跟英塔长期联手
是吧
推高CPU的入门价格
我们一点便宜都没占到
再比如说他搞显卡的时候
他非常的鸡贼
他知道自家的显卡
性能、生态没有这个英伟达好
好比说英伟达的显卡卖5000是吧
那我扣除生态是吧
我就卖4000
你虽然看起来你买他的卡同样的贵格
你省了1000块钱
但是这1000块钱你付出的这个体验差距
这就是你支付的价格
你实际上一毛钱便宜都没赚到
相反你还有可能亏的更多
给AMD做了小白鼠
这么多年来一些游戏行业的创新
但并不是每一项游戏创新都是好的
基本上都是英伟达搞的
比如说这个什么光追
再比如什么这个插针
就是DLSS
就是插针的AI插针
AMD搞了个叫什么FSR
是吧
就是永远是老黄做什么作业
他在后面抄什么作业
关键每次抄的都不彻底
抄的都不好
然后又不愿意真正给玩家上立
就非常的鸡贼
你说前一阵子我推荐
它的显卡就是什么7900XDX
还有iPro R9700是吧
那你这个时候你不应该多推出一点
类似的产品吗
是不是就市场中像我们这些屌丝
都被这个老黄的刀法割得有点疼了
你这个时候推出一些好的产品
最起码说你能跟什么4080S30RG
跟什么409048G摩开卡给干一干
你都不要去比什么ITX Pro 5600
你突出这样的卡卖的便宜一点
让了一下玩家的身材不就起来了吗
并不会
他只要出新的产品他就贵得很
价格就对标老黄
他给你让的利永远是你在生态上面吃的亏
就是你吃多少亏他给你让多少利
就它的小盒子里就不要碰了
但如果说你现在就已经买了
我就建议你认真去研究一下
这个SG了
研究一下这个DFLUSH DSPAC这些技术
它能够缓解你的痛苦
把千万3.820Gb给剖好就行了
其他的就不要多想了
你也不要买他的盒子来跑这个DeepSick V4 Flash
因为那样子很傻
下面就说这个英伟达的小盒子
DGX SPARC两台能够跑这个V4 Flash
这个是经过社区的多轮实测
然后我们这个论坛
也有不少帖子是实测跑起来的
体验是非常不错的
是吧
有真实的帖子
你们可以到论坛去跟这些大神交流
跟实际跑起来的人交流
看看他们是怎么配置的
这一块你就不用犹豫了
就是说如果说你刚好有这么七八万块钱预算在
你想这个在本地跑这个什么
Deepseek-VS-Flug
哪怕说你也想跑这个轻微3.8都可以
甚至它跑轻微3.8Flug也比AMD的机器快
如果说你还想兼容一下这个什么
Confi UI
它的这个Confi UI确实跑起来是慢了
跑Milimax H3
跑这个什么LTX 2.3
都慢的跟污污一样
但是你毕竟是买了两个盒子嘛
你同时跑嘛
它毕竟还是能跑的嘛
就买老黄的东西就是
没有什么压力
是吧
它两袋盒子高速互联
这个互联呢
贷款达到了200几每秒
是非常夸张的
你可以对比一下嘛
这个雷电5
就苹果现在
如果说你两袋盒子互联的话
它是雷电5
雷电5是80几
这个80几里面
并不是所有东西都可以拿出来的
它只有60几左右可以用来通信
你就可以想一下一下老黄的互联方案也好
还是这个小盒子
它本身这个价值也好
我认为它未来有很长一段时间的可玩性
虽然这个魏斯蒂尼夫拉西可能说
官方放出之后
还得再延续一个多月之后
才会把权重开放
那么你从现在算满打满院
四五十天
两个月呗
满打满算是吧
你也就能够用上了
那这个模型比起这个什么
当下这个魏斯蒂尼夫拉西牛逼在哪里
第一是它的跑分应该会高出一截
第二就是做任务的这个能力很强
第三它是原生的动摩碳
这个可能说到时候又有一些新的官法出来
况且就算是现在里用这个什么VS-FLAG的视觉版本
它本身就能够非常好的干活了
性价比就非常高了
这个盒子是值得长期持有的
未来有可能还会再涨价
甚至我们可以关注一下
搞不好老黄这个比较技贼的奸商
他也有可能会发布下一代的产品
但是那可能要很长的时间了
因为他刚刚发布了这个什么RTX SPARC
这个笔记本也是引用了相同的架构
我觉得怎么也得等明年了再上量
这个时间我觉得如果说你有钱的话
要马上生产
那我觉得就不要等了
就这个小盒子
它未来的保值率一定是非常不错的
当然了我们要接受
它是ARM的生态
它这个什么没有7X机用的Windows
有了Windows之后
它的生态也跟标准的X86Windows
也是有差距的
这是它明显不如AIMAX 395 400的一个地方
但是相信你买来是跑AI的
也不是用它来办公的
这个体验差距我认为是可以接受的
甚至即便是你办公
你想办法把这个arm windows给他装上去
他也体验也差不多拿去
轻度的办公都能用
那最后呢就是讲一讲苹果
苹果呢就是说M5max本身就能拿
就他用来跑这个什么轻温3.8还是几比是这
三个盒子中应该说表现最好的
因为他是640G的带宽
然后它如果是这个什么M5 Ultra的话
它是两个max并联在一起
它芯片价的互联贷款高达几个T
总体的这个什么显存贷款好像是1.2T
将近1.3T
这个是非常能打的一个数字了
就如果说你这个预算比较低
那么你就买这个什么M5 Max
买这个128G版本的
用在本地跑这个什么
千万3.8G版本
或者说是Flash
它同时还能够有大量的内存余量
用来办公用来编程
苹果的操作系统体验还是非常棒
非常的稳定的
你也可以把A进的
就跑在这一个盒子上
它的可玩性还是非常不错的
但是必须要说
它跑不了这个COMFUI
苹果是这三个盒子中
跑COMFUI最差的
因为它的这个生态解容性不好
而且苹果的所有芯片
包括M5在内
它这个叫什么
FP3SAR的原始卷积算力是最低的
这一块是天生残疾
苹果设计的时候就没有为这个场景考虑
就算是你勉强把这个ConfigUI跑起来
它速度也是慢的很
当然了
它画图是没问题的
跑音频是没问题的
视频这一块就可以去洗碎了
你能接受这个缺点
苹果的芯片
苹果的小盒子性价比是非常高的
然后如果说你要买Ultra 256G的
它是肯定可以把DeepSeek和VSFLAG
给跑起来的
当然了
你需要知道它有一些硬性的缺点
就是它本身没有什么FP4 FP8
是吧
他这个退理的时候只能返回BF16来退理
当然这个也不是问题了
因为毕竟这么大的带宽在这里
是吧
他还有一个你必须面对的现实
就是他的生态
远远不如AMD跟这个什么英伟党
就是什么呢?最主要的一个表现SG浪
就SG浪
你当下如果要火Agent的话,我跟你讲你部署Lambarty CPP
部署这个什么VLM,他们单会话可能说还可以
一旦多会话长剩下文,你必须要上SG浪
因为RATICS缓存数我强调过多少次
你们一定要去论坛去认真学习一下这些基础的概念
RATICS缓存数是非常重要的
它能够对这个什么新的请求只做增量部分的这个prefill
不用每次prefill一大段
这个可以大大降低显卡的负载压力
在小盒子上它降低的压力带来的意义就尤为重要
但是我们也不用感到悲观
因为我也去研究了一下
社区现在已经有版本
它不是主干版本
不是SG浪官方的主干版本
可以支持这个Radix缓存数
但是有副作用
也有一些bug
我相信现在即便它不能支持
你用这个什么
原始的这个prefile方式
它也能玩
DivSig 威斯夫拉基
肯定是能够跑起来的
体验是不会差的
你只要是买了M5 Ultra 256G
是肯定够的
未来就是Radix缓存数
一定会被官方给它加入到
这个苹果的MLX生态中去的
因为SG浪官方已经支持了MLX后端
只不过暂时还没有把这个Radix换存数
给它加入进来
这个是迟早的事情
社区跑完之后
肯定会有很多人向这个SG浪的
这个官方主板们提交请求
一旦成熟了
会被主板们合并
到那个时候
你跑这个什么Deepseek V4.1 Flush
或者说那个时候可能都已经4.2 Flush了
是吧
那这体验是不会差的
最后总结一下
就是如果说你现在一定要买小盒子
AMD的小盒子便宜
但是我必须跟你讲
这小盒子也是最垃圾的
就是你不能对他有太高的期望
他抛起来的体验是最差的
然后英伟达的小盒子表现是最好的
最有性价比的
也是最有这个保值空间的
将来甚至有可能有甚至空间
如果说这个算力方持续的话
硬件方持续的话
对了
英伟达的小盒子送你四个TB
四个DP
每个小盒子送你四个TB的存储空间
这个当下来说也是一个价值
就这两个小伙子能够为你在本地搭建你私有的一个NAS
体验这是附带的
是吧
它本身跑这个什么Comphi UI
跑这个什么DipSeq Vist Flash
它体验都是非常不错的
是吧 画图啊 精评啊 当然视频可能要慢一点
那个是小合子的进商 这是通用的进商
然后如果是买苹果的话
就是你像我一样
平时在这个苹果的机器上面
在上面比如说办公编程
是吧
同时你希望能跑个什么
Deep Seek With Flush
或者说跑个什么
轻吻3.8 20GB
那都可以的
它都能做得到
当然它8万多的价格
也是这三个方案中最贵的
单机啊
单机就8万
这个就是见仁见智的
看你怎么想
如果说你有这个相关疑问
相关的话题想要讨论
就欢迎到论坛中去看看大神们是怎么测的
他们已经有的正式设备测试出来的数据
这个比我在这里比比较更有价值
是吧
我也这个让AI整理了我们论坛的帖子
把他们这个官方的这硬件规格数据
都整理到了这个硬件的这个专页中去
也把我们论坛中相关测试的帖子给附带进去了
连接都加到这些专页中去了
你们这个点点鼠标就能看得到
是吧
或者在手机上滑一滑屏幕
就能看得到
好吧 本期视频就到这里
我们下期再见