WEBVTT

00:00.000 --> 00:09.600
千萬3.827B就是開源模型的Deep Seek時刻。它性能好、體積小、個人也能部署,實現很不錯的效果。

00:09.600 --> 00:18.600
最近幾天我研究了各種本地部署的方案,過程都有發在知識星球NewType裡面。那本期視頻我來做一個總結。

00:18.600 --> 00:24.600
咱們從一個基礎問題開始。在本地跑開源大模型需要什麼樣的配置?

00:24.600 --> 00:26.800
重點看兩個指標。

00:26.800 --> 00:38.400
第一,容量。也就是先看統一內存或者GPU顯存的容量。模型運行的時候,需要把權重裝進GPU顯存或者統一內存。

00:38.400 --> 00:51.000
如果裝不下,要麼無法運行,要麼就只能把部分的權重放進系統內存,通過CPU或者PCIe讀取。那這麼一來,速度就會大幅下降。

00:51.000 --> 00:58.600
用大白話來說就是,內存或者顯存容量決定了你能跑多大尺寸、多高精度的模型。

00:58.600 --> 01:06.600
舉個例子,一個27B的模型如果使用BF16的精度,那麼光是權重就需要大約50GB。

01:06.600 --> 01:10.600
量化到8bit之後,可以降到30GB左右。

01:10.600 --> 01:14.600
而量化到4bit之後,只需要17-20GB。

01:14.600 --> 01:20.600
除了權重之外,系統本身推理框架上下紋,它們都需要占有內存。

01:20.600 --> 01:27.600
所以4bit的模型,你光有17GB還不夠。大概得要20GB才能勉強能跑。

01:27.600 --> 01:29.200
第二,帶框。

01:29.200 --> 01:34.200
把模型裝進內存之後,第二個關鍵指標就是內存帶框。

01:34.200 --> 01:39.400
容量決定了你能不能跑,而帶框決定模型生成有多快。

01:39.400 --> 01:44.400
注意,內存容量大,並不意味著帶框就高。

01:44.400 --> 01:51.000
比如英偉達的DGX Spark,它有128GB,比RTX Pro 6000的就是6GB還大。

01:51.000 --> 01:53.400
看起來很大很划算對吧?

01:53.400 --> 02:00.000
但是它的內存帶框只有273GB,遠小於6000的1792。

02:00.000 --> 02:05.000
這麼低的帶框意味著,DGX Spark雖然能裝下很大的模型,

02:05.000 --> 02:09.600
但是跑大型Dance模型的時候,生成速度不會太快。

02:09.600 --> 02:14.600
它更適合MOE模型,因為MOE的總參數雖然很大,

02:14.600 --> 02:19.000
但每次生成Token的時候,它只激活其中的一小部分。

02:19.000 --> 02:26.600
你看,我們星球裡就有一個小夥伴,買了兩台,用來跑Deep Seek V4 Flash,速度有30多,夠用了。

02:26.600 --> 02:32.600
容量和帶框是理解本地推理最重要的兩個指標,但它們不是全部。

02:32.600 --> 02:38.200
你實際的性能還會受到GPU的數量力、模型架構和推理框架的影響。

02:38.200 --> 02:42.800
但是對於普通人來說,先抓住這兩個核心指標完全沒有問題。

02:42.800 --> 02:47.000
OK,理解了原理之後,那選擇就容易多了。

02:47.000 --> 02:49.000
咱們有三個選擇。

02:49.000 --> 02:50.400
第一,Mac。

02:50.400 --> 02:56.800
蘋果芯片用的是統一記憶,也就是CPU和GPU共享一個記憶池。

02:56.800 --> 03:01.800
因此,買Mac的話,可以用相對較低的價格獲得更高的記憶。

03:01.800 --> 03:09.400
但是,它的不足之處在於,帶框沒有那麼高,只有5090和6000的一半甚至更低。

03:09.400 --> 03:16.600
所以,即使Mac擁有同樣甚至更多的記憶,在運行Dance模型的時候,速度不會太快。

03:16.600 --> 03:19.400
而這個是需要咱們取捨的地方。

03:19.400 --> 03:22.000
第二,RTX5090。

03:22.000 --> 03:30.400
5090擁有3.4G顯存和1792GB每秒的記憶體帶框,非常適合千萬3.827B這樣的模型。

03:30.400 --> 03:40.000
所以,如果你的目標只是本地運行千萬3.827B的話,那一張5090通常會比Mac Studio更加合適。

03:40.000 --> 03:44.800
如果需要多Agent并發的話,可以上兩張5090。

03:44.800 --> 03:47.400
注意啊,5090沒有NV-Link。

03:47.400 --> 03:54.400
你非要跨卡通信的話,要走PCIE,效率不會像一塊原生的64G顯卡那麼高。

03:54.400 --> 03:59.400
所以,插兩張卡的目的,是讓每張卡都運行一個完整的模型。

03:59.400 --> 04:02.000
第一張卡用來處理一部分的Agent。

04:02.000 --> 04:04.000
第二張卡處理另一部分的Agent。

04:04.000 --> 04:10.000
它特別適合短或者中上下文,高并發多Agent任務的情況。

04:10.000 --> 04:14.000
5090雖然夠快,但它容量只有32G。

04:14.000 --> 04:16.000
你跑27B的模型沒有問題。

04:16.000 --> 04:21.000
如果要運行70B的模型超長上下文,或者同時常駐多個模型,

04:21.000 --> 04:23.600
那這樣的顯存就不夠了。

04:23.600 --> 04:25.600
這是它的不足之處。

04:25.600 --> 04:28.400
第三,RTX PRO 6000。

04:28.400 --> 04:31.600
這是最完整的本地AI方案。

04:31.600 --> 04:36.900
這張卡擁有96G顯存和1792GB每秒的帶寬。

04:36.900 --> 04:39.600
同時具備大容量和高帶寬。

04:39.600 --> 04:45.100
意味著它特別適合長上下文多模型常駐和生產及Agent服務。

04:45.100 --> 04:50.600
而且RTX PRO 6000還支持ECC和專業驅動,更適合長期運行。

04:51.000 --> 04:54.000
但是,它有一個很大的不足。

04:54.000 --> 04:55.600
太貴了。

04:55.600 --> 04:57.600
你去收下價格就知道了。

04:57.600 --> 05:01.400
剛才我介紹的三種方案,價格跨度非常大。

05:01.400 --> 05:03.800
從幾萬到十幾二十萬都有。

05:03.800 --> 05:07.600
所以,沒有一種硬件在所有維度都最好。

05:07.600 --> 05:09.200
你只能做取捨。

05:09.200 --> 05:12.800
大家目前用什麼樣的配置跑本地模型,效果如何?

05:12.800 --> 05:14.800
歡迎在評論區留言。

05:14.800 --> 05:17.000
OK,以上就是本期內容。

05:17.000 --> 05:19.200
想了解AI想奪回個體主權,

05:19.200 --> 05:22.200
想找到自從盜合的人就來我們Newtype社群。

05:22.200 --> 05:23.800
那咱們下期見。

05:23.800 --> 05:25.800
請問一下,請問一下。

05:25.800 --> 05:26.800
請問一下,請問一下。

05:26.800 --> 05:28.800
請問一下,請問一下。

05:28.800 --> 05:30.800
請問一下,請問一下。

05:30.800 --> 05:32.800
請問一下,請問一下。

05:32.800 --> 05:34.800
請問一下,請問一下。

05:34.800 --> 05:36.800
請問一下,請問一下。