千萬3.827B就是開源模型的Deep Seek時刻。它性能好、體積小、個人也能部署,實現很不錯的效果。
最近幾天我研究了各種本地部署的方案,過程都有發在知識星球NewType裡面。那本期視頻我來做一個總結。
咱們從一個基礎問題開始。在本地跑開源大模型需要什麼樣的配置?
重點看兩個指標。
第一,容量。也就是先看統一內存或者GPU顯存的容量。模型運行的時候,需要把權重裝進GPU顯存或者統一內存。
如果裝不下,要麼無法運行,要麼就只能把部分的權重放進系統內存,通過CPU或者PCIe讀取。那這麼一來,速度就會大幅下降。
用大白話來說就是,內存或者顯存容量決定了你能跑多大尺寸、多高精度的模型。
舉個例子,一個27B的模型如果使用BF16的精度,那麼光是權重就需要大約50GB。
量化到8bit之後,可以降到30GB左右。
而量化到4bit之後,只需要17-20GB。
除了權重之外,系統本身推理框架上下紋,它們都需要占有內存。
所以4bit的模型,你光有17GB還不夠。大概得要20GB才能勉強能跑。
第二,帶框。
把模型裝進內存之後,第二個關鍵指標就是內存帶框。
容量決定了你能不能跑,而帶框決定模型生成有多快。
注意,內存容量大,並不意味著帶框就高。
比如英偉達的DGX Spark,它有128GB,比RTX Pro 6000的就是6GB還大。
看起來很大很划算對吧?
但是它的內存帶框只有273GB,遠小於6000的1792。
這麼低的帶框意味著,DGX Spark雖然能裝下很大的模型,
但是跑大型Dance模型的時候,生成速度不會太快。
它更適合MOE模型,因為MOE的總參數雖然很大,
但每次生成Token的時候,它只激活其中的一小部分。
你看,我們星球裡就有一個小夥伴,買了兩台,用來跑Deep Seek V4 Flash,速度有30多,夠用了。
容量和帶框是理解本地推理最重要的兩個指標,但它們不是全部。
你實際的性能還會受到GPU的數量力、模型架構和推理框架的影響。
但是對於普通人來說,先抓住這兩個核心指標完全沒有問題。
OK,理解了原理之後,那選擇就容易多了。
咱們有三個選擇。
第一,Mac。
蘋果芯片用的是統一記憶,也就是CPU和GPU共享一個記憶池。
因此,買Mac的話,可以用相對較低的價格獲得更高的記憶。
但是,它的不足之處在於,帶框沒有那麼高,只有5090和6000的一半甚至更低。
所以,即使Mac擁有同樣甚至更多的記憶,在運行Dance模型的時候,速度不會太快。
而這個是需要咱們取捨的地方。
第二,RTX5090。
5090擁有3.4G顯存和1792GB每秒的記憶體帶框,非常適合千萬3.827B這樣的模型。
所以,如果你的目標只是本地運行千萬3.827B的話,那一張5090通常會比Mac Studio更加合適。
如果需要多Agent并發的話,可以上兩張5090。
注意啊,5090沒有NV-Link。
你非要跨卡通信的話,要走PCIE,效率不會像一塊原生的64G顯卡那麼高。
所以,插兩張卡的目的,是讓每張卡都運行一個完整的模型。
第一張卡用來處理一部分的Agent。
第二張卡處理另一部分的Agent。
它特別適合短或者中上下文,高并發多Agent任務的情況。
5090雖然夠快,但它容量只有32G。
你跑27B的模型沒有問題。
如果要運行70B的模型超長上下文,或者同時常駐多個模型,
那這樣的顯存就不夠了。
這是它的不足之處。
第三,RTX PRO 6000。
這是最完整的本地AI方案。
這張卡擁有96G顯存和1792GB每秒的帶寬。
同時具備大容量和高帶寬。
意味著它特別適合長上下文多模型常駐和生產及Agent服務。
而且RTX PRO 6000還支持ECC和專業驅動,更適合長期運行。
但是,它有一個很大的不足。
太貴了。
你去收下價格就知道了。
剛才我介紹的三種方案,價格跨度非常大。
從幾萬到十幾二十萬都有。
所以,沒有一種硬件在所有維度都最好。
你只能做取捨。
大家目前用什麼樣的配置跑本地模型,效果如何?
歡迎在評論區留言。
OK,以上就是本期內容。
想了解AI想奪回個體主權,
想找到自從盜合的人就來我們Newtype社群。
那咱們下期見。
請問一下,請問一下。
請問一下,請問一下。
請問一下,請問一下。
請問一下,請問一下。
請問一下,請問一下。
請問一下,請問一下。
請問一下,請問一下。