1
00:00:00,000 --> 00:00:09,600
千萬3.827B就是開源模型的Deep Seek時刻。它性能好、體積小、個人也能部署,實現很不錯的效果。

2
00:00:09,600 --> 00:00:18,600
最近幾天我研究了各種本地部署的方案,過程都有發在知識星球NewType裡面。那本期視頻我來做一個總結。

3
00:00:18,600 --> 00:00:24,600
咱們從一個基礎問題開始。在本地跑開源大模型需要什麼樣的配置?

4
00:00:24,600 --> 00:00:26,800
重點看兩個指標。

5
00:00:26,800 --> 00:00:38,400
第一,容量。也就是先看統一內存或者GPU顯存的容量。模型運行的時候,需要把權重裝進GPU顯存或者統一內存。

6
00:00:38,400 --> 00:00:51,000
如果裝不下,要麼無法運行,要麼就只能把部分的權重放進系統內存,通過CPU或者PCIe讀取。那這麼一來,速度就會大幅下降。

7
00:00:51,000 --> 00:00:58,600
用大白話來說就是,內存或者顯存容量決定了你能跑多大尺寸、多高精度的模型。

8
00:00:58,600 --> 00:01:06,600
舉個例子,一個27B的模型如果使用BF16的精度,那麼光是權重就需要大約50GB。

9
00:01:06,600 --> 00:01:10,600
量化到8bit之後,可以降到30GB左右。

10
00:01:10,600 --> 00:01:14,600
而量化到4bit之後,只需要17-20GB。

11
00:01:14,600 --> 00:01:20,600
除了權重之外,系統本身推理框架上下紋,它們都需要占有內存。

12
00:01:20,600 --> 00:01:27,600
所以4bit的模型,你光有17GB還不夠。大概得要20GB才能勉強能跑。

13
00:01:27,600 --> 00:01:29,200
第二,帶框。

14
00:01:29,200 --> 00:01:34,200
把模型裝進內存之後,第二個關鍵指標就是內存帶框。

15
00:01:34,200 --> 00:01:39,400
容量決定了你能不能跑,而帶框決定模型生成有多快。

16
00:01:39,400 --> 00:01:44,400
注意,內存容量大,並不意味著帶框就高。

17
00:01:44,400 --> 00:01:51,000
比如英偉達的DGX Spark,它有128GB,比RTX Pro 6000的就是6GB還大。

18
00:01:51,000 --> 00:01:53,400
看起來很大很划算對吧?

19
00:01:53,400 --> 00:02:00,000
但是它的內存帶框只有273GB,遠小於6000的1792。

20
00:02:00,000 --> 00:02:05,000
這麼低的帶框意味著,DGX Spark雖然能裝下很大的模型,

21
00:02:05,000 --> 00:02:09,600
但是跑大型Dance模型的時候,生成速度不會太快。

22
00:02:09,600 --> 00:02:14,600
它更適合MOE模型,因為MOE的總參數雖然很大,

23
00:02:14,600 --> 00:02:19,000
但每次生成Token的時候,它只激活其中的一小部分。

24
00:02:19,000 --> 00:02:26,600
你看,我們星球裡就有一個小夥伴,買了兩台,用來跑Deep Seek V4 Flash,速度有30多,夠用了。

25
00:02:26,600 --> 00:02:32,600
容量和帶框是理解本地推理最重要的兩個指標,但它們不是全部。

26
00:02:32,600 --> 00:02:38,200
你實際的性能還會受到GPU的數量力、模型架構和推理框架的影響。

27
00:02:38,200 --> 00:02:42,800
但是對於普通人來說,先抓住這兩個核心指標完全沒有問題。

28
00:02:42,800 --> 00:02:47,000
OK,理解了原理之後,那選擇就容易多了。

29
00:02:47,000 --> 00:02:49,000
咱們有三個選擇。

30
00:02:49,000 --> 00:02:50,400
第一,Mac。

31
00:02:50,400 --> 00:02:56,800
蘋果芯片用的是統一記憶,也就是CPU和GPU共享一個記憶池。

32
00:02:56,800 --> 00:03:01,800
因此,買Mac的話,可以用相對較低的價格獲得更高的記憶。

33
00:03:01,800 --> 00:03:09,400
但是,它的不足之處在於,帶框沒有那麼高,只有5090和6000的一半甚至更低。

34
00:03:09,400 --> 00:03:16,600
所以,即使Mac擁有同樣甚至更多的記憶,在運行Dance模型的時候,速度不會太快。

35
00:03:16,600 --> 00:03:19,400
而這個是需要咱們取捨的地方。

36
00:03:19,400 --> 00:03:22,000
第二,RTX5090。

37
00:03:22,000 --> 00:03:30,400
5090擁有3.4G顯存和1792GB每秒的記憶體帶框,非常適合千萬3.827B這樣的模型。

38
00:03:30,400 --> 00:03:40,000
所以,如果你的目標只是本地運行千萬3.827B的話,那一張5090通常會比Mac Studio更加合適。

39
00:03:40,000 --> 00:03:44,800
如果需要多Agent并發的話,可以上兩張5090。

40
00:03:44,800 --> 00:03:47,400
注意啊,5090沒有NV-Link。

41
00:03:47,400 --> 00:03:54,400
你非要跨卡通信的話,要走PCIE,效率不會像一塊原生的64G顯卡那麼高。

42
00:03:54,400 --> 00:03:59,400
所以,插兩張卡的目的,是讓每張卡都運行一個完整的模型。

43
00:03:59,400 --> 00:04:02,000
第一張卡用來處理一部分的Agent。

44
00:04:02,000 --> 00:04:04,000
第二張卡處理另一部分的Agent。

45
00:04:04,000 --> 00:04:10,000
它特別適合短或者中上下文,高并發多Agent任務的情況。

46
00:04:10,000 --> 00:04:14,000
5090雖然夠快,但它容量只有32G。

47
00:04:14,000 --> 00:04:16,000
你跑27B的模型沒有問題。

48
00:04:16,000 --> 00:04:21,000
如果要運行70B的模型超長上下文,或者同時常駐多個模型,

49
00:04:21,000 --> 00:04:23,600
那這樣的顯存就不夠了。

50
00:04:23,600 --> 00:04:25,600
這是它的不足之處。

51
00:04:25,600 --> 00:04:28,400
第三,RTX PRO 6000。

52
00:04:28,400 --> 00:04:31,600
這是最完整的本地AI方案。

53
00:04:31,600 --> 00:04:36,900
這張卡擁有96G顯存和1792GB每秒的帶寬。

54
00:04:36,900 --> 00:04:39,600
同時具備大容量和高帶寬。

55
00:04:39,600 --> 00:04:45,100
意味著它特別適合長上下文多模型常駐和生產及Agent服務。

56
00:04:45,100 --> 00:04:50,600
而且RTX PRO 6000還支持ECC和專業驅動,更適合長期運行。

57
00:04:51,000 --> 00:04:54,000
但是,它有一個很大的不足。

58
00:04:54,000 --> 00:04:55,600
太貴了。

59
00:04:55,600 --> 00:04:57,600
你去收下價格就知道了。

60
00:04:57,600 --> 00:05:01,400
剛才我介紹的三種方案,價格跨度非常大。

61
00:05:01,400 --> 00:05:03,800
從幾萬到十幾二十萬都有。

62
00:05:03,800 --> 00:05:07,600
所以,沒有一種硬件在所有維度都最好。

63
00:05:07,600 --> 00:05:09,200
你只能做取捨。

64
00:05:09,200 --> 00:05:12,800
大家目前用什麼樣的配置跑本地模型,效果如何?

65
00:05:12,800 --> 00:05:14,800
歡迎在評論區留言。

66
00:05:14,800 --> 00:05:17,000
OK,以上就是本期內容。

67
00:05:17,000 --> 00:05:19,200
想了解AI想奪回個體主權,

68
00:05:19,200 --> 00:05:22,200
想找到自從盜合的人就來我們Newtype社群。

69
00:05:22,200 --> 00:05:23,800
那咱們下期見。

70
00:05:23,800 --> 00:05:25,800
請問一下,請問一下。

71
00:05:25,800 --> 00:05:26,800
請問一下,請問一下。

72
00:05:26,800 --> 00:05:28,800
請問一下,請問一下。

73
00:05:28,800 --> 00:05:30,800
請問一下,請問一下。

74
00:05:30,800 --> 00:05:32,800
請問一下,請問一下。

75
00:05:32,800 --> 00:05:34,800
請問一下,請問一下。

76
00:05:34,800 --> 00:05:36,800
請問一下,請問一下。