start	end	text
0	9600	千萬3.827B就是開源模型的Deep Seek時刻。它性能好、體積小、個人也能部署,實現很不錯的效果。
9600	18600	最近幾天我研究了各種本地部署的方案,過程都有發在知識星球NewType裡面。那本期視頻我來做一個總結。
18600	24600	咱們從一個基礎問題開始。在本地跑開源大模型需要什麼樣的配置?
24600	26800	重點看兩個指標。
26800	38400	第一,容量。也就是先看統一內存或者GPU顯存的容量。模型運行的時候,需要把權重裝進GPU顯存或者統一內存。
38400	51000	如果裝不下,要麼無法運行,要麼就只能把部分的權重放進系統內存,通過CPU或者PCIe讀取。那這麼一來,速度就會大幅下降。
51000	58600	用大白話來說就是,內存或者顯存容量決定了你能跑多大尺寸、多高精度的模型。
58600	66600	舉個例子,一個27B的模型如果使用BF16的精度,那麼光是權重就需要大約50GB。
66600	70600	量化到8bit之後,可以降到30GB左右。
70600	74600	而量化到4bit之後,只需要17-20GB。
74600	80600	除了權重之外,系統本身推理框架上下紋,它們都需要占有內存。
80600	87600	所以4bit的模型,你光有17GB還不夠。大概得要20GB才能勉強能跑。
87600	89200	第二,帶框。
89200	94200	把模型裝進內存之後,第二個關鍵指標就是內存帶框。
94200	99400	容量決定了你能不能跑,而帶框決定模型生成有多快。
99400	104400	注意,內存容量大,並不意味著帶框就高。
104400	111000	比如英偉達的DGX Spark,它有128GB,比RTX Pro 6000的就是6GB還大。
111000	113400	看起來很大很划算對吧?
113400	120000	但是它的內存帶框只有273GB,遠小於6000的1792。
120000	125000	這麼低的帶框意味著,DGX Spark雖然能裝下很大的模型,
125000	129600	但是跑大型Dance模型的時候,生成速度不會太快。
129600	134600	它更適合MOE模型,因為MOE的總參數雖然很大,
134600	139000	但每次生成Token的時候,它只激活其中的一小部分。
139000	146600	你看,我們星球裡就有一個小夥伴,買了兩台,用來跑Deep Seek V4 Flash,速度有30多,夠用了。
146600	152600	容量和帶框是理解本地推理最重要的兩個指標,但它們不是全部。
152600	158200	你實際的性能還會受到GPU的數量力、模型架構和推理框架的影響。
158200	162800	但是對於普通人來說,先抓住這兩個核心指標完全沒有問題。
162800	167000	OK,理解了原理之後,那選擇就容易多了。
167000	169000	咱們有三個選擇。
169000	170400	第一,Mac。
170400	176800	蘋果芯片用的是統一記憶,也就是CPU和GPU共享一個記憶池。
176800	181800	因此,買Mac的話,可以用相對較低的價格獲得更高的記憶。
181800	189400	但是,它的不足之處在於,帶框沒有那麼高,只有5090和6000的一半甚至更低。
189400	196600	所以,即使Mac擁有同樣甚至更多的記憶,在運行Dance模型的時候,速度不會太快。
196600	199400	而這個是需要咱們取捨的地方。
199400	202000	第二,RTX5090。
202000	210400	5090擁有3.4G顯存和1792GB每秒的記憶體帶框,非常適合千萬3.827B這樣的模型。
210400	220000	所以,如果你的目標只是本地運行千萬3.827B的話,那一張5090通常會比Mac Studio更加合適。
220000	224800	如果需要多Agent并發的話,可以上兩張5090。
224800	227400	注意啊,5090沒有NV-Link。
227400	234400	你非要跨卡通信的話,要走PCIE,效率不會像一塊原生的64G顯卡那麼高。
234400	239400	所以,插兩張卡的目的,是讓每張卡都運行一個完整的模型。
239400	242000	第一張卡用來處理一部分的Agent。
242000	244000	第二張卡處理另一部分的Agent。
244000	250000	它特別適合短或者中上下文,高并發多Agent任務的情況。
250000	254000	5090雖然夠快,但它容量只有32G。
254000	256000	你跑27B的模型沒有問題。
256000	261000	如果要運行70B的模型超長上下文,或者同時常駐多個模型,
261000	263600	那這樣的顯存就不夠了。
263600	265600	這是它的不足之處。
265600	268400	第三,RTX PRO 6000。
268400	271600	這是最完整的本地AI方案。
271600	276900	這張卡擁有96G顯存和1792GB每秒的帶寬。
276900	279600	同時具備大容量和高帶寬。
279600	285100	意味著它特別適合長上下文多模型常駐和生產及Agent服務。
285100	290600	而且RTX PRO 6000還支持ECC和專業驅動,更適合長期運行。
291000	294000	但是,它有一個很大的不足。
294000	295600	太貴了。
295600	297600	你去收下價格就知道了。
297600	301400	剛才我介紹的三種方案,價格跨度非常大。
301400	303800	從幾萬到十幾二十萬都有。
303800	307600	所以,沒有一種硬件在所有維度都最好。
307600	309200	你只能做取捨。
309200	312800	大家目前用什麼樣的配置跑本地模型,效果如何?
312800	314800	歡迎在評論區留言。
314800	317000	OK,以上就是本期內容。
317000	319200	想了解AI想奪回個體主權,
319200	322200	想找到自從盜合的人就來我們Newtype社群。
322200	323800	那咱們下期見。
323800	325800	請問一下,請問一下。
325800	326800	請問一下,請問一下。
326800	328800	請問一下,請問一下。
328800	330800	請問一下,請問一下。
330800	332800	請問一下,請問一下。
332800	334800	請問一下,請問一下。
334800	336800	請問一下,請問一下。