1 00:00:00,000 --> 00:00:08,400 昨天錄了一期關於Deepseek V4.1 Flush發布之後,如何在AMD、英伟達以及蘋果三個小主機之間進行選擇的視頻。 2 00:00:08,400 --> 00:00:14,400 但是剛剛發布就被打了臉,因為Deepseek已經開放了這個V4.1 Flush的這個權重。 3 00:00:14,400 --> 00:00:18,400 那麼它的尺寸已經相比於V4 Flush的話要大大提升。 4 00:00:18,400 --> 00:00:24,900 首先它的總餐從這個V4的284B提升到了748B,就是7480億總餐。 5 00:00:24,900 --> 00:00:29,300 這個是一個非常大的一個模型的,說實話把它叫做Flush都有點誇張了。 6 00:00:29,300 --> 00:00:33,600 這個就再大一點它就破萬億了,就是旗艦模型的配置了。 7 00:00:33,600 --> 00:00:42,800 然後這個模型的權重總體是510G,其中有306G是MOE以及它的主模型權重。 8 00:00:42,800 --> 00:00:50,400 各個專家加起來是306G。然後還有204G是這個英官支持權重。 9 00:00:50,400 --> 00:00:56,400 就這一塊是可以把它放到SSD中去的,如果說利用小核再來部署的話。 10 00:00:56,400 --> 00:01:01,700 那麼由於這個模型本身的變化,首先AMD的小主機就可以被排除在外了。 11 00:01:01,700 --> 00:01:03,700 它是跑不了V4.1 Flush的。 12 00:01:03,700 --> 00:01:07,700 因為它最大的就是192G內存的AI Max 400。 13 00:01:07,700 --> 00:01:15,000 那麼它就已經出局了。當然,AI Max 400像我們上期說的,它這個在本地跑一跑這個V4 Flush。 14 00:01:15,000 --> 00:01:18,300 這還是能玩一玩的,但是它的體驗也不會好到哪去。 15 00:01:18,300 --> 00:01:23,300 然後就是我們在說蘋果。蘋果它也發生了很大的變化。 16 00:01:23,300 --> 00:01:30,500 就是昨天我跟大家說的黃金尺寸的這麼一個M5 Ultra 256G內存的這麼一個機型。 17 00:01:30,500 --> 00:01:33,600 它就瞬間就不像了。因為它只能跑V4 Flush了。 18 00:01:33,600 --> 00:01:39,900 雖然V4 Flush也補足了這個視覺模塊。也是個怎麼說呢?全能的這麼一個六邊形戰士。 19 00:01:39,900 --> 00:01:43,200 就是它用來跑這個V4 Flush的話效果是不錯的。 20 00:01:43,200 --> 00:01:48,400 但是它畢竟未來已經被鎖死了。它跑不了這個什麼V4.1 Flush了。 21 00:01:48,400 --> 00:01:51,000 它以後就沒法升級了,沒法更新了。 22 00:01:51,000 --> 00:01:56,500 當然了,你可以用它來跑這個什麼GLM5.3 Flush之類的300B左右的模型。 23 00:01:56,500 --> 00:02:07,300 這樣也是可以的。這個DeepSig不搞了,GLM以後不代表就不搞了。是吧?但是它畢竟它不能跑最香的模型了。它的價值要大打折扣了。 24 00:02:07,300 --> 00:02:13,300 那麼所以說,你如果是買M5Osh的话,就一步到位上這個512的這個機型。 25 00:02:13,300 --> 00:02:19,300 它就是目前,低表上你能買到的這個內存最大的就個人的這種消費小主機了。 26 00:02:19,300 --> 00:02:24,900 那它做工也好,還是說它的蘋果生態也好,還是說它普達模型的能力也好。 27 00:02:24,900 --> 00:02:31,700 它都是能拿的,就非常的不錯。但是呢,價格就很貴了。就看你的腎夠不夠賣了。你有幾個腎。 28 00:02:31,700 --> 00:02:41,700 當然了,有之前買的一些,比如說買了96G M5Ocha的,或者說買了什麼64G的這個M5MAX的這些小主機的朋友們。 29 00:02:41,700 --> 00:02:51,700 你們就可以幸灾樂禍了。反正你買256G的,你也跑不了V4.1 Flush。是吧?以後DeepSig Flush家族就256G對身,你就跑不了了。 30 00:02:51,700 --> 00:02:58,500 它只會越來越大,不會越來越小的。那麼大家在本地就想跑得舒爽,就只能跑這個什麼青文3.8 27B。 31 00:02:58,500 --> 00:03:02,500 就青文家族的27B模型。未來可能有3.9、4.0、甚至5.0。 32 00:03:02,500 --> 00:03:08,500 那這個模型,阿里巴巴肯定會持續升級的。因為它是本地部署的黃金尺寸的模型。 33 00:03:08,500 --> 00:03:17,300 在這一塊,你無論是M5MAX64G還是M5Ocha96G,它都能跑。當然M5Ocha96G它的體驗肯定要更好一點。 34 00:03:17,300 --> 00:03:25,300 甚至說你同樣是MAX的話,MAX沒有96G,MAX只有128G。128G肯定是要比64G的體驗要更好的。 35 00:03:25,300 --> 00:03:27,300 但是64G的性價比就凸顯了。 36 00:03:27,300 --> 00:03:38,100 因為它畢竟比這個128G版本的MAX要便宜50%。那你已經做出採購選擇的這些兄弟,這些朋友們,你們就可以慶祝了。 37 00:03:38,100 --> 00:03:42,100 就沒有那麼多的遺憾,反正你們256G也跑不了。 38 00:03:42,100 --> 00:03:47,100 所以說這個梁子對於這個開源社區的這個影響還是非常的大的。 39 00:03:47,100 --> 00:03:53,100 但是我們也不得不說DeepSeq的開源確實是路線非常的堅定,意志非常的堅定,沒有藏著藏著藏著。 40 00:03:53,100 --> 00:03:59,100 就連Ingram算法,Ingram架構,這麼它的核心機密,是吧? 41 00:03:59,100 --> 00:04:02,100 它在悶了一段時間之後,還是把它全部開放了。 42 00:04:02,100 --> 00:04:05,700 這真的是非常牛逼,加上它最近開源的DeepSeq Harness。 43 00:04:05,700 --> 00:04:09,500 我可以說DeepSeq已經是毫無疑問的當下的開源AI的王者。 44 00:04:09,500 --> 00:04:14,900 這短短的一個月,梁子就通過G-R03的操作奠定了開源王者的地位。 45 00:04:14,900 --> 00:04:20,900 阿里巴巴可以說通過這個本地的切換小模型,還能跟梁子再標一標,但是已經基本上是出局了。 46 00:04:20,900 --> 00:04:26,900 就說以後你說開源AI的基礎設施是誰?那就是DeepSeq。這個應該是沒有什麼爭論了。 47 00:04:26,900 --> 00:04:30,900 當然我相信目前收益最大的還是老黃這個肩商。 48 00:04:30,900 --> 00:04:36,900 首先說在這個企業市場,大家都知道它的這個什麼NVFPS加上FP吧? 49 00:04:36,900 --> 00:04:40,900 就是DeepSeq、弗拉希家族的這個默認的這個標準模型權重。 50 00:04:40,900 --> 00:04:47,900 就是這個DeepSeq目前雖然採購了大量的這個華為生存機群,包括950PR和950DT。 51 00:04:47,900 --> 00:04:50,900 950DT據說一次已經買了16萬張。 52 00:04:50,900 --> 00:04:54,900 那它以後肯定是要把這個華為當作主要的生態。 53 00:04:54,900 --> 00:04:57,900 是吧?那麼英伟達無論如何,它作為世界標準,它跟華為是並列的。 54 00:04:57,900 --> 00:05:02,900 DeepSeq不管是發布什麼模型權重,它肯定能在這個英伟達的這個群群上跑起來。 55 00:05:02,900 --> 00:05:07,900 否則它就失去了作為全世界通用的開源AI基礎設施的意義。 56 00:05:07,900 --> 00:05:17,900 那其他的像AMD、蘋果啊,這些你等這個DeepSeq官方把模型權重放出來之後,社區也好,還是你們企業去組織人也好,你們想辦法把它跑起來。 57 00:05:17,900 --> 00:05:19,900 那就不是良子關心的事情了。 58 00:05:19,900 --> 00:05:28,900 以前在這個V4Flash時代,那麼兩個盒子,就是兩個128級綠存的拼凑起256級綠存,那麼就可以跑這個V4Flash了。 59 00:05:28,900 --> 00:05:36,900 現在呢,它由於這個MOE,這個包括說這個模型的這個核心權重,一共是306級。 60 00:05:36,900 --> 00:05:39,900 那麼它可能說兩個就不夠了,就需要三個。 61 00:05:39,900 --> 00:05:45,900 哎,加一個之後,就剛好這個DGX Spark本身就支持三個或者四個互聯。 62 00:05:45,900 --> 00:05:51,900 應該說你不超過四個的情況下,它還是一個黃金的甜點置存,就它的互聯的效率不會打什麼折扣。 63 00:05:51,900 --> 00:05:54,900 就總體ITM是不會差的。 64 00:05:54,900 --> 00:05:58,900 然後三個盒子,你一共是384級的統一綠存。 65 00:05:58,900 --> 00:06:02,900 那麼這個384級的這個統一綠存呢,我們來給它簡單分配一下。 66 00:06:02,900 --> 00:06:05,900 就是說你系統本身,因為跑的都是Linux嘛,你占幾個G就夠了。 67 00:06:05,900 --> 00:06:11,900 可能說再加上框架開銷,我們總體上給它扣除24個G吧。 68 00:06:11,900 --> 00:06:12,900 然後你還剩下360個G,是吧。 69 00:06:12,900 --> 00:06:16,900 那麼360個G,你減去這個什麼306G,你還剩下54個G。 70 00:06:16,900 --> 00:06:22,900 這54個G的這個什麼性存,這個統一綠存就足夠你去跑長生雅文多開繪畫了。 71 00:06:22,900 --> 00:06:26,900 因爲什麼?因為這個DBC它這次技術又有了重大的進步。 72 00:06:26,900 --> 00:06:35,900 它這個官方公布的文檔是,對於這個什麼顯存的需求降低到了以前的什麼六分之一,對於什麼SSD的需求降低到以前的八分之一。 73 00:06:35,900 --> 00:06:39,900 這個當然我不知道是已經優化過之後,需要這麼多資源。 74 00:06:39,900 --> 00:06:44,900 還是說在現有的這個什麼三台小盒子的資源之下,它能夠深度的優化。 75 00:06:44,900 --> 00:06:47,900 反正肯定是夠的,三個小盒子是夠的。 76 00:06:47,900 --> 00:06:53,900 並且,你以前如果是買了一台DGX Spark,是吧。你買兩台就能跑這個V4弗拉奇。 77 00:06:53,900 --> 00:06:55,900 買三台就能跑V4.1弗拉奇。 78 00:06:55,900 --> 00:06:58,900 這是一個平滑過渡的這麼一個流程。 79 00:06:58,900 --> 00:07:02,900 將來如果是有一天,你什麼4.2或者5.0的弗拉奇。 80 00:07:02,900 --> 00:07:04,900 它的尺寸又增加了。那麼你再買一個小盒子。 81 00:07:04,900 --> 00:07:07,900 四個盒子基本上就是,英偉達的這個小肌群的這個極限了。 82 00:07:07,900 --> 00:07:09,900 再高它可能通信效率就不高了。 83 00:07:09,900 --> 00:07:14,900 這麼看來的話,你要想在本地部署AI玩的比較舒爽。 84 00:07:14,900 --> 00:07:17,900 那麼老黃的盒子可以說是當仁不讓了。 85 00:07:17,900 --> 00:07:20,900 而且老黃的盒子是把所有的特性都給它做滿了的。 86 00:07:20,900 --> 00:07:23,900 它不像蘋果,不像這個什麼AMD。 87 00:07:23,900 --> 00:07:28,900 它是自己就是這個原生支持NVFP4,支持FP8推理。 88 00:07:28,900 --> 00:07:30,900 這個是全內路的。 89 00:07:30,900 --> 00:07:34,900 大家呢,我在評論區也看到了一些比較積極的消息。 90 00:07:34,900 --> 00:07:36,900 我上網也查了一下,這些事情呢,有可能是謠言。 91 00:07:36,900 --> 00:07:39,900 但是有更大的可能呢,是說會成為現實。 92 00:07:39,900 --> 00:07:43,900 就是中國有不少企業也在準備出這個AI小盒子。 93 00:07:43,900 --> 00:07:47,900 也傳說什麼華為小米這些企業都在準備搞。 94 00:07:47,900 --> 00:07:50,900 哎,我覺得像阿里巴巴這些企業你都可以搞啊。 95 00:07:50,900 --> 00:07:52,900 像什麼海武G是吧。 96 00:07:52,900 --> 00:07:57,900 你們不要光想著去賣這個服務器去賣給這些企業客戶。 97 00:07:57,900 --> 00:08:00,900 你們也把我們這些個人開發的中小團隊,是吧。 98 00:08:00,900 --> 00:08:03,900 我們這些技術屌絲給這個照顧一下。 99 00:08:03,900 --> 00:08:08,900 你們的小盒子如果真的能跑DipSig,威斯芙拉吉,跑起來的這個速度還不錯,效率還不錯。 100 00:08:08,900 --> 00:08:10,900 是吧。再能偶爾玩一玩這個什麼ComphiUI。 101 00:08:10,900 --> 00:08:13,900 那這個小盒子就非常有性價比,我們是不願意花錢買的。 102 00:08:13,900 --> 00:08:18,900 你說你這個國產的這個硬件生態,你想要這個打開市場,是吧。 103 00:08:18,900 --> 00:08:19,900 想要這個繁榮生態。 104 00:08:19,900 --> 00:08:21,900 你這個時候不下手,那什麼時候下手。 105 00:08:21,900 --> 00:08:23,900 都跟他們AMD和英特爾去學。 106 00:08:23,900 --> 00:08:25,900 是吧。打生態的時候看不到他們。 107 00:08:25,900 --> 00:08:29,900 老黃賺的錢呢,就後著臉皮擠進來,要分一杯跟。 108 00:08:29,900 --> 00:08:31,900 你說你們不被老黃吊打,誰被老黃吊打。 109 00:08:31,900 --> 00:08:32,900 是吧。 110 00:08:32,900 --> 00:08:35,900 我們到現在被老黃這個肩上左一刀右一刀割的。 111 00:08:35,900 --> 00:08:37,900 說白了就是因為你們其他的硬件廠商不爭氣。 112 00:08:38,900 --> 00:08:42,900 你們但凡給老黃增加一點壓力,他都不敢把卡賣的這麼貴。 113 00:08:42,900 --> 00:08:45,900 好吧,有點牢騷多了啊。 114 00:08:45,900 --> 00:08:46,900 這個悠感阿發。 115 00:08:46,900 --> 00:08:49,900 本期視頻就到這裡,有什麼新的消息啊。 116 00:08:49,900 --> 00:08:53,900 包括說我在視頻中有哪些錯誤,大家可以這個激激的指出。 117 00:08:53,900 --> 00:08:55,900 是吧。歡迎你到論壇,發帖跟我交流討論。 118 00:08:55,900 --> 00:08:56,900 打臉也可以。 119 00:08:56,900 --> 00:08:57,900 是不是。 120 00:08:57,900 --> 00:09:00,900 但是一定要奔著討論事情,討論技術,來。 121 00:09:00,900 --> 00:09:01,900 不要陰陽怪氣。 122 00:09:01,900 --> 00:09:04,900 陰陽怪氣,我這個人對你就是上去就是一耳光,知道嗎。 123 00:09:04,900 --> 00:09:07,900 是個山野村父,非常的野蠻,非常的暴力。 124 00:09:07,900 --> 00:09:10,900 好吧,我們下期視頻再見。