WEBVTT
Kind: captions
Language: zh-TW

00:00:00.000 --> 00:00:03.060
我最近開始比較大量串接 API 跑 Agent，

00:00:03.280 --> 00:00:06.060
後面又開始碰圖片跟影片生成之後，

00:00:06.080 --> 00:00:08.180
有一個問題變得越來越明顯。

00:00:08.360 --> 00:00:10.560
就是這些東西真的用多了之後，

00:00:10.640 --> 00:00:12.300
費用消耗其實非常快。

00:00:12.560 --> 00:00:14.740
所以我那時候很自然就開始想：

00:00:15.000 --> 00:00:17.740
現在開源模型都已經做到這種程度了，

00:00:17.940 --> 00:00:21.340
那我乾脆把模型放在自己的電腦裡面跑，不就好了？

00:00:21.620 --> 00:00:23.195
語言模型現在有千問、

00:00:23.195 --> 00:00:24.520
Gemma 這些選擇，

00:00:24.760 --> 00:00:28.160
圖片跟影片也有越來越多模型可以自己部署。

00:00:28.380 --> 00:00:31.140
而且 Agent 又會一直反覆呼叫模型，

00:00:31.420 --> 00:00:32.920
在這樣的消耗底下，

00:00:32.980 --> 00:00:35.020
還不如本地的模型來去使用，

00:00:35.300 --> 00:00:37.160
結果真的開始研究之後，

00:00:37.260 --> 00:00:40.280
我第一個卡住的地方根本不是模型怎麼裝。

00:00:40.640 --> 00:00:42.840
而是：我要買什麼電腦？

00:00:43.060 --> 00:00:45.840
這件事情比我原本想像中麻煩很多。

00:00:46.160 --> 00:00:48.824
你開始查就會看到有人推四零九零、

00:00:48.840 --> 00:00:50.868
有人說直接買五零九零，

00:00:50.880 --> 00:00:54.120
有人覺得 AMD 同樣價格可以拿到更多記憶體，

00:00:54.360 --> 00:00:56.420
也有人說 Mac 的 Unified Memory

00:00:56.420 --> 00:00:57.880
才適合跑大模型。

00:00:58.180 --> 00:00:59.873
如果你本來就不是硬體玩家，

00:00:59.873 --> 00:01:02.540
看完這些東西其實只會更亂。

00:01:02.660 --> 00:01:05.800
但我後來真的開始看不同模型怎麼跑之後，

00:01:05.900 --> 00:01:07.240
反而發現一件事情：

00:01:07.680 --> 00:01:10.280
如果今天是為了本地 AI 買電腦，

00:01:10.460 --> 00:01:12.900
新手其實不用先研究顯卡型號。

00:01:13.160 --> 00:01:15.440
因為第一個真正會卡住你的東西，

00:01:15.540 --> 00:01:18.800
通常不是這張卡快不快是你的模型到

00:01:18.800 --> 00:01:20.060
底裝不裝得進去。

00:01:20.480 --> 00:01:21.920
而這裡第一個要看的，

00:01:21.920 --> 00:01:23.203
就是 VRAM。

00:01:23.328 --> 00:01:26.520
VRAM 簡單來說就是顯示卡自己的記憶體。

00:01:26.740 --> 00:01:29.980
這跟我們平常買遊戲電腦的思考方式有一點不一樣。

00:01:30.400 --> 00:01:31.920
像玩遊戲的時候，

00:01:31.940 --> 00:01:34.880
我們很常先看這張卡 FPS 多高、

00:01:35.060 --> 00:01:36.300
新一代快了多少。

00:01:36.480 --> 00:01:38.680
但是 AI 第一關會比較直接。

00:01:39.000 --> 00:01:41.500
假設今天一個模型跟整套 workflow

00:01:41.500 --> 00:01:44.155
需要的記憶體已經超過你的 VRAM，

00:01:44.180 --> 00:01:45.820
那這張卡算力再強，

00:01:45.940 --> 00:01:47.860
你還是得開始做各種妥協。

00:01:48.080 --> 00:01:49.940
可能把模型量化得更小、

00:01:50.000 --> 00:01:52.040
把一部分東西丟到系統 RAM，

00:01:52.220 --> 00:01:54.460
或者乾脆只能換小一點的模型，

00:01:54.760 --> 00:01:56.540
等於你用太小的 VRAM 時，

00:01:56.660 --> 00:01:59.420
你的限制就會越多所以我現在覺得，

00:01:59.420 --> 00:02:02.480
買本地 AI 電腦第一個問題根本不是：

00:02:02.700 --> 00:02:04.980
「4090 還是 5090？」

00:02:05.140 --> 00:02:08.175
而是：「我到底需要多少 VRAM？」

00:02:08.200 --> 00:02:09.560
這個問題先確定，

00:02:09.740 --> 00:02:11.240
後面其實簡單很多。

00:02:11.605 --> 00:02:14.140
但這裡也很容易出現另外一種誤會。

00:02:14.340 --> 00:02:16.680
不是說今天一定要 24GB，

00:02:16.940 --> 00:02:19.620
低於 24GB 就完全不能跑 AI。

00:02:19.960 --> 00:02:24.360
如果你只是想跑比較小的語言模型，8GB、12GB、

00:02:24.460 --> 00:02:27.040
16GB 其實都有很多東西可以玩。

00:02:27.040 --> 00:02:29.660
甚至現在各種量化做得很好，

00:02:29.680 --> 00:02:33.060
一些原本很大的模型也可以壓到一般電腦上。

00:02:33.260 --> 00:02:35.840
問題是你今天想做的事情有多廣。

00:02:36.260 --> 00:02:38.700
如果我只想在本地跑聊天模型，

00:02:38.900 --> 00:02:40.520
需求其實沒有這麼誇張。

00:02:40.840 --> 00:02:42.040
但如果跟我一樣，

00:02:42.280 --> 00:02:44.540
我希望這台機器除了語言模型，

00:02:44.640 --> 00:02:45.860
還要跑 Coding Agent、

00:02:46.140 --> 00:02:47.560
圖片、ComfyUI，

00:02:47.780 --> 00:02:49.560
甚至連影片模型都想碰，

00:02:49.780 --> 00:02:51.880
那需求就會開始完全不一樣。

00:02:52.200 --> 00:02:53.320
以我自己來說，

00:02:53.440 --> 00:02:57.600
我會把 24GB 左右當成比較實際的全用途起點。

00:02:57.600 --> 00:03:00.300
不是因為 24GB 有什麼魔法。

00:03:00.620 --> 00:03:01.920
而是從這裡開始，

00:03:02.160 --> 00:03:04.640
你會比較少遇到「模型明明可以跑，

00:03:04.660 --> 00:03:05.980
但是為了塞進去，

00:03:06.080 --> 00:03:07.980
每一個 workflow 都要重新折

00:03:07.980 --> 00:03:09.400
騰一次」這種狀況。

00:03:09.860 --> 00:03:13.440
像 3090、4090 都是 24GB，

00:03:13.680 --> 00:03:16.580
而現在 5090 已經來到 32GB。

00:03:16.820 --> 00:03:21.020
對 AI 來說，5090 多出來的 8GB 有時候比單純

00:03:21.020 --> 00:03:22.220
效能提升還有感。

00:03:22.220 --> 00:03:25.820
因為它可能直接讓原本卡在邊界的模型或

00:03:25.820 --> 00:03:27.900
更長的 Context 放得進去。

00:03:28.080 --> 00:03:29.880
所以這也是為什麼我覺得，

00:03:30.040 --> 00:03:32.680
本地 AI 看顯卡不能只看快多少，

00:03:32.860 --> 00:03:35.140
重要是能不能運行需要的模型。

00:03:35.400 --> 00:03:38.420
這時，記憶體容量就是你能不能運行這類

00:03:38.420 --> 00:03:39.740
模型的第一個關鍵。

00:03:40.096 --> 00:03:42.620
這件事情到了影片模型會更明顯。

00:03:42.820 --> 00:03:45.120
因為一個影片 workflow 很多時候

00:03:45.120 --> 00:03:46.680
不只有主要生成模型。

00:03:46.680 --> 00:03:48.880
你可能還有 Text Encoder、

00:03:49.040 --> 00:03:50.280
VAE、LoRA，

00:03:50.520 --> 00:03:52.090
甚至其他前後處理。

00:03:52.090 --> 00:03:56.120
像 Wan 2.2 官方自己的 720p 單卡推理範例，

00:03:56.280 --> 00:04:00.353
就直接把 24GB VRAM 當成可以執行的級距。

00:04:00.400 --> 00:04:04.300
但這也不是代表所有影片模型一定需要 24GB。

00:04:04.640 --> 00:04:06.720
現在很多模型透過量化、

00:04:06.800 --> 00:04:07.920
CPU offload，

00:04:08.080 --> 00:04:09.900
甚至社群特別做的版本，

00:04:10.100 --> 00:04:12.260
16GB 一樣可以硬塞進去。

00:04:12.520 --> 00:04:15.480
像 MiniMax H3 現在甚至已經有人

00:04:15.480 --> 00:04:16.960
把消費級 16GB、

00:04:17.140 --> 00:04:19.280
24GB 的部署方式做出來。

00:04:19.600 --> 00:04:23.260
所以我覺得這裡真正要理解的不是某個固定數字。

00:04:23.540 --> 00:04:27.060
而是：能跑，跟跑得舒服，是兩件事情。

00:04:27.480 --> 00:04:30.580
16GB 可能透過很多優化真的跑成功。

00:04:30.820 --> 00:04:33.240
但是如果我今天每天都要用它工作，

00:04:33.400 --> 00:04:36.440
每一個新模型都要研究半天怎麼省 VRAM，

00:04:36.440 --> 00:04:39.620
那我自己就不會把這個叫做很舒服的配置。

00:04:39.640 --> 00:04:43.180
Wan 2.2 官方的 720p TI2V

00:04:43.260 --> 00:04:46.213
範例就是至少 24GB VRAM；

00:04:46.213 --> 00:04:48.490
MiniMax H3 官方原始部署

00:04:48.490 --> 00:04:50.180
甚至以多 GPU 為主，

00:04:50.460 --> 00:04:51.920
消費卡之所以能跑，

00:04:51.980 --> 00:04:55.260
很多是後來靠量化與 offload 把門檻壓下來。

00:04:55.520 --> 00:04:56.580
更重要的是，

00:04:56.680 --> 00:05:00.240
像是量化模型通常會有犧牲掉的品質或者能力，

00:05:00.520 --> 00:05:04.265
這未必是一件好事所以如果有人跟你說：

00:05:04.265 --> 00:05:07.580
「我 16GB 就什麼都能跑。」他不一定錯。

00:05:07.780 --> 00:05:09.100
但你要先問的是：

00:05:09.210 --> 00:05:10.480
他到底怎麼跑？

00:05:10.540 --> 00:05:11.200
跑多快？

00:05:11.460 --> 00:05:13.440
為了跑起來犧牲了多少東西？

00:05:13.740 --> 00:05:16.520
這比單純看到「成功運行」重要很多。

00:05:16.949 --> 00:05:19.020
那等到 VRAM 大概確定之後，

00:05:19.120 --> 00:05:20.360
我第二個會看的，

00:05:20.380 --> 00:05:23.760
才是這張卡後面的軟體生態這也是為什麼

00:05:23.760 --> 00:05:25.740
如果今天是一個完全的新手，

00:05:25.880 --> 00:05:28.000
要我推薦一條比較少踩坑的路，

00:05:28.000 --> 00:05:30.517
我現在還是會比較偏 NVIDIA。

00:05:30.517 --> 00:05:32.800
原因不是 AMD 的卡不能跑，

00:05:32.920 --> 00:05:35.600
而是 NVIDIA 有一套叫做 CUDA 的東西。

00:05:35.800 --> 00:05:37.520
你可以先把它理解成：

00:05:37.560 --> 00:05:40.160
很多 AI 軟體跟顯示卡溝通時，

00:05:40.240 --> 00:05:41.640
最常用的一套環境。

00:05:41.960 --> 00:05:45.580
現在很多 AI 工具、新模型，尤其圖片、

00:05:45.660 --> 00:05:49.040
影片這一類，開發者第一個測試的通常就是

00:05:49.040 --> 00:05:50.280
NVIDIA 加 CUDA。

00:05:50.520 --> 00:05:52.400
所以你實際使用的時候，

00:05:52.500 --> 00:05:54.000
差別不一定只是速度。

00:05:54.000 --> 00:05:55.600
而是同一個模型，

00:05:55.820 --> 00:05:59.080
別人用 NVIDIA 可能照教學裝一裝就可以跑，

00:05:59.260 --> 00:06:00.620
你換成別的平台，

00:06:00.820 --> 00:06:02.880
有時候還要自己處理相容性、

00:06:02.960 --> 00:06:05.660
版本，甚至某些功能根本還沒支援。

00:06:05.960 --> 00:06:09.400
這個差距在單純跑語言模型時可能沒那麼明顯，

00:06:09.600 --> 00:06:12.600
但開始碰 ComfyUI、圖片、影片，

00:06:12.960 --> 00:06:14.340
尤其剛出的新模型，

00:06:14.340 --> 00:06:15.480
就會比較有感。

00:06:15.760 --> 00:06:18.600
所以我覺得 NVIDIA 很大一部分的優勢，

00:06:18.680 --> 00:06:20.160
其實不是顯卡本身，

00:06:20.400 --> 00:06:22.600
而是它後面那整套 CUDA 生態。

00:06:22.960 --> 00:06:25.320
至於 AMD 當然不是不能用。

00:06:25.440 --> 00:06:27.480
AMD 也有自己對應的環境，

00:06:27.500 --> 00:06:30.800
叫 ROCm，現在支援已經比以前完整很多，

00:06:31.000 --> 00:06:33.140
很多主流 AI 工具也都能跑。

00:06:33.360 --> 00:06:35.080
只是如果今天是新手，

00:06:35.220 --> 00:06:38.580
我會比較建議你先確認自己固定要用哪些模型、

00:06:38.680 --> 00:06:41.480
哪些工具，再決定要不要選 AMD。

00:06:41.760 --> 00:06:45.300
因為用比較低的價格拿到更多 VRAM 當然很香，

00:06:45.540 --> 00:06:48.200
但前提是你要用的東西真的都有支援。

00:06:48.200 --> 00:06:50.393
不然最後省下硬體的錢，

00:06:50.393 --> 00:06:53.280
卻花很多時間在處理環境跟相容性，

00:06:53.520 --> 00:06:55.080
使用體驗反而會變差。

00:06:55.480 --> 00:06:57.760
那 Apple 相關產品這邊就比較特別。

00:06:58.000 --> 00:07:00.160
如果今天主要是跑語言模型，

00:07:00.340 --> 00:07:02.540
確實是可以考慮 Mac 相關的產品。

00:07:02.760 --> 00:07:07.220
因為現在 Mac 用的 M 系列 這些晶片，像是 M1、M2，

00:07:07.420 --> 00:07:09.340
其實都是 Apple 自己設計的，

00:07:09.580 --> 00:07:11.660
這整套架構就叫 Apple Silicon。

00:07:12.060 --> 00:07:14.240
它跟一般桌機一個很大的差別，

00:07:14.320 --> 00:07:17.560
是 CPU 跟 GPU 可以共用同一塊記憶體。

00:07:17.560 --> 00:07:19.620
Apple 把這個叫做 Unified

00:07:19.620 --> 00:07:21.960
Memory，也就是統一記憶體。

00:07:22.140 --> 00:07:24.640
一般 NVIDIA 電腦通常是系統 RAM

00:07:24.640 --> 00:07:26.760
跟顯示卡 VRAM 分開算。

00:07:27.120 --> 00:07:30.120
假設你今天買一張 24GB 的 4090，

00:07:30.780 --> 00:07:33.260
模型主要可以直接放進 GPU 的空間

00:07:33.260 --> 00:07:34.540
就是這 24GB。

00:07:34.920 --> 00:07:36.100
但 Mac 不太一樣，

00:07:36.240 --> 00:07:38.220
它可以直接做到 64GB、

00:07:38.360 --> 00:07:41.565
128GB，甚至更高的共享記憶體，

00:07:41.565 --> 00:07:43.640
CPU 跟 GPU 都可以使用。

00:07:43.640 --> 00:07:47.020
所以如果今天碰到的是非常大的語言模型，

00:07:47.120 --> 00:07:49.500
Mac 反而有一個很特殊的優勢。

00:07:49.680 --> 00:07:52.260
因為有些模型不是電腦完全算不動，

00:07:52.360 --> 00:07:55.520
而是一般消費級顯卡的 VRAM 根本放不下。

00:07:55.780 --> 00:07:57.380
這時候高記憶體的 Mac，

00:07:57.480 --> 00:08:00.060
就有機會直接把更大的模型放進去跑。

00:08:00.340 --> 00:08:03.540
所以如果今天我的工作主要是 Local LLM，

00:08:03.760 --> 00:08:06.100
我其實真的會把 Mac 放進選項。

00:08:06.340 --> 00:08:08.540
而且現在也不只是語言模型。

00:08:08.780 --> 00:08:11.740
像 MiniMax H3 這種很大的影音模型，

00:08:11.740 --> 00:08:15.380
現在也已經有人真的在 M 系列 Mac 上面跑通。

00:08:15.580 --> 00:08:17.660
只是這裡就要講到 Apple 跟

00:08:17.660 --> 00:08:19.820
NVIDIA 另外一個很大的差別。

00:08:20.140 --> 00:08:22.600
前面講 NVIDIA 的時候有提到 CUDA，

00:08:22.800 --> 00:08:25.560
你可以把 CUDA 理解成目前很多 AI 軟體

00:08:25.560 --> 00:08:27.960
最常使用的一套 GPU 運算環境。

00:08:28.140 --> 00:08:29.320
Apple 沒有 CUDA，

00:08:29.500 --> 00:08:30.980
它有自己的一套系統。

00:08:31.200 --> 00:08:32.997
像 Metal 是 Apple 讓程式

00:08:32.997 --> 00:08:34.900
使用 GPU 的底層技術，

00:08:35.120 --> 00:08:38.480
MLX 則是 Apple 做給機器學習使用的框架。

00:08:38.480 --> 00:08:41.300
其實一般使用者不用記這些名字，

00:08:41.360 --> 00:08:43.420
真正要知道的只有一件事情：

00:08:43.700 --> 00:08:45.180
同一個 AI 模型，

00:08:45.260 --> 00:08:46.860
在 NVIDIA 上可以跑，

00:08:46.940 --> 00:08:49.400
不代表直接搬到 Mac 就一定可以跑。

00:08:49.600 --> 00:08:51.785
很多模型需要有人另外把它適

00:08:51.785 --> 00:08:53.120
配到 Apple 的環境，

00:08:53.260 --> 00:08:55.620
或者做成專門給 Mac 使用的版本。

00:08:55.840 --> 00:08:59.440
這也是為什麼我覺得本地 AI 有一個很重要的觀念：

00:08:59.680 --> 00:09:03.000
跑得動，跟適不適合拿來工作，是兩回事。

00:09:03.300 --> 00:09:06.720
像 MiniMax H3 現在 Mac 確實可以跑，

00:09:06.720 --> 00:09:08.700
這件事情本身很厲害，

00:09:08.900 --> 00:09:11.520
也代表 Apple 在本地 AI 這一塊已經

00:09:11.520 --> 00:09:13.140
不是只能跑語言模型。

00:09:13.400 --> 00:09:16.100
但是如果我今天的工作是大量做圖片、

00:09:16.220 --> 00:09:17.960
ComfyUI、影片生成，

00:09:18.180 --> 00:09:20.840
而且新的模型一出來我就想馬上拿來測，

00:09:21.000 --> 00:09:23.600
那目前我自己還是會比較偏 NVIDIA。

00:09:23.780 --> 00:09:26.020
因為很多新模型跟新的 workflow，

00:09:26.140 --> 00:09:28.820
通常還是先在 CUDA 上面被完整測試。

00:09:29.120 --> 00:09:31.560
NVIDIA 很可能照著官方或者社群

00:09:31.560 --> 00:09:32.720
教學就可以開始跑，

00:09:32.720 --> 00:09:35.300
Mac 有時候則要等別人移植、

00:09:35.340 --> 00:09:38.540
調整流程，或者自己處理一些相容性的問題。

00:09:39.000 --> 00:09:41.160
所以 Apple 不是不能跑 AI，

00:09:41.460 --> 00:09:43.080
比較準確的說法是：

00:09:43.220 --> 00:09:45.220
如果主要跑大型語言模型，

00:09:45.480 --> 00:09:48.640
Mac 的大容量共享記憶體其實非常有吸引力；

00:09:48.840 --> 00:09:53.220
但如果圖片、影片、ComfyUI、新模型全部都想玩，

00:09:53.440 --> 00:09:56.620
目前 NVIDIA 的整體生態還是比較省事。

00:09:56.740 --> 00:09:58.400
因為我買一台工作機，

00:09:58.620 --> 00:10:01.460
在意的不是「網路上有沒有人成功跑過一次」。

00:10:01.460 --> 00:10:03.080
我更在意的是，

00:10:03.160 --> 00:10:05.380
我每天真的要用這些東西的時候，

00:10:05.480 --> 00:10:06.680
到底麻不麻煩。

00:10:06.955 --> 00:10:10.000
那講到這裡，其實還有一個界線要先說清楚。

00:10:10.320 --> 00:10:12.660
前面我們一直在講 24GB、

00:10:12.800 --> 00:10:15.380
32GB，甚至 Mac 的大記憶體，

00:10:15.600 --> 00:10:18.800
這些都還是一般人真的有可能買回家的機器。

00:10:19.020 --> 00:10:21.000
但如果今天你的目標是：

00:10:21.260 --> 00:10:24.180
我要在家裡直接跑完整版的超大型模型。

00:10:24.500 --> 00:10:26.500
那就完全是另外一個等級了。

00:10:26.500 --> 00:10:29.840
像現在 DeepSeek V4 Flash 這種模型，

00:10:29.960 --> 00:10:33.260
雖然它每次回答的時候只會動用其中一部分，

00:10:33.420 --> 00:10:35.720
但整套模型本身還是非常大。

00:10:35.900 --> 00:10:38.240
你可以把它想成一間很大的公司，

00:10:38.500 --> 00:10:40.860
一次工作可能只叫幾個部門出來，

00:10:41.080 --> 00:10:42.860
但其他部門還是得存在。

00:10:43.200 --> 00:10:45.800
所以如果真的要完整部署這種模型，

00:10:45.920 --> 00:10:48.540
通常就不是買一張 5090 可以解決，

00:10:48.700 --> 00:10:51.500
而是會開始進到多張資料中心 GPU、

00:10:51.507 --> 00:10:53.000
伺服器這種等級。

00:10:53.340 --> 00:10:54.480
像 GB200、

00:10:54.490 --> 00:10:58.120
B200 這些當然很強，但價格、耗電、

00:10:58.150 --> 00:11:01.260
散熱跟整套機器都已經不是一般使用

00:11:01.260 --> 00:11:02.420
者會考慮的東西。

00:11:02.700 --> 00:11:05.180
所以我覺得一般人在玩 Local AI，

00:11:05.360 --> 00:11:08.240
大部分指的都是所謂的量化版本的模型，

00:11:08.460 --> 00:11:09.700
所以不需要追求：

00:11:09.960 --> 00:11:12.200
「最大的模型我也一定要滿血跑。」

00:11:12.420 --> 00:11:14.200
我們比較實際的做法，

00:11:14.220 --> 00:11:16.720
本來就是找適合自己的硬體 GPU，

00:11:17.020 --> 00:11:18.900
然後挑選適合的量化模型。

00:11:18.900 --> 00:11:21.320
只要它已經可以完成我的工作，

00:11:21.360 --> 00:11:23.900
那麼就是一個值得投資的考量了

00:11:24.181 --> 00:11:25.900
那回到一般人的工作機，

00:11:26.000 --> 00:11:27.120
顯卡選完之後，

00:11:27.200 --> 00:11:28.880
我自己還會補兩個東西。

00:11:29.140 --> 00:11:30.660
第一個是系統 RAM。

00:11:30.960 --> 00:11:33.640
前面 VRAM 是顯示卡自己的記憶體，

00:11:33.860 --> 00:11:36.720
RAM 則是整台電腦平常在用的記憶體。

00:11:36.900 --> 00:11:40.500
如果我都已經組到 24GB VRAM 這種等級，

00:11:40.620 --> 00:11:43.340
我自己通常會直接抓 64GB RAM。

00:11:43.480 --> 00:11:45.940
不是因為 32GB 不能用，

00:11:45.940 --> 00:11:49.100
而是實際工作時你不可能只開一個模型。

00:11:49.160 --> 00:11:50.980
瀏覽器、IDE、

00:11:51.120 --> 00:11:53.680
Agent、ComfyUI 都可能一起跑，

00:11:53.880 --> 00:11:56.280
而且模型太大塞不進 VRAM 的時候，

00:11:56.520 --> 00:11:58.840
有些東西還可以暫時丟到系統 RAM。

00:11:58.940 --> 00:12:01.000
這種做法通常會比較慢，

00:12:01.200 --> 00:12:04.320
但至少可以讓一些原本塞不下的模型跑起來。

00:12:04.660 --> 00:12:07.960
所以 64GB 對我來說比較像是留一點空間，

00:12:08.160 --> 00:12:10.370
不要每次換模型都開始撞牆。

00:12:10.500 --> 00:12:13.320
還有像是前面提到的 Mac 也是同概念，

00:12:13.320 --> 00:12:17.780
只是會直接整個記憶體考量而已再來就是 SSD。

00:12:18.020 --> 00:12:20.600
這個真的玩本地 AI 之後很容易爆。

00:12:20.860 --> 00:12:22.380
因為模型十幾 GB、

00:12:22.380 --> 00:12:23.920
幾十 GB 很正常，

00:12:24.080 --> 00:12:26.370
圖片跟影片還會再加 VAE、

00:12:26.370 --> 00:12:27.850
LoRA、Encoder，

00:12:27.880 --> 00:12:30.980
各種版本全部累積起來會大量的吃滿空間，

00:12:31.260 --> 00:12:34.300
用一般儲存會影響到載入這些東西的速度。

00:12:34.520 --> 00:12:36.740
而且你一定不會只抓一個模型。

00:12:37.020 --> 00:12:40.080
所以如果真的要長期把這台當 AI 工作機，

00:12:40.080 --> 00:12:42.580
SSD 我也會盡量抓高一點。

00:12:43.008 --> 00:12:44.880
所以綜合前面這些條件，

00:12:45.040 --> 00:12:47.880
如果今天是我自己要組一台比較全面的

00:12:47.880 --> 00:12:49.140
本地 AI 工作機，

00:12:49.300 --> 00:12:51.547
我目前還是會優先選 NVIDIA，

00:12:51.547 --> 00:12:54.980
而且 VRAM 我會從 24GB 左右開始看。

00:12:55.120 --> 00:12:58.900
原因很簡單，一個是 CUDA 生態現在還是比較完整，

00:12:58.960 --> 00:13:00.108
很多新的模型、

00:13:00.108 --> 00:13:02.220
ComfyUI workflow 跟影音

00:13:02.220 --> 00:13:04.360
工具通常都先支援 NVIDIA；

00:13:04.360 --> 00:13:06.720
另外就是 24GB 這個級距，

00:13:06.740 --> 00:13:08.320
已經可以涵蓋不少語言、

00:13:08.440 --> 00:13:10.200
圖片跟部分影片模型，

00:13:10.480 --> 00:13:13.480
不會每碰到一個新模型就先卡在 VRAM 不夠。

00:13:13.600 --> 00:13:15.760
有預算的話，32GB、

00:13:15.900 --> 00:13:18.020
48GB 當然會更舒服，

00:13:18.220 --> 00:13:19.960
但這就看每個人的預算。

00:13:20.220 --> 00:13:21.980
再來是系統記憶體。

00:13:22.120 --> 00:13:24.240
如果顯卡都已經選到這個等級，

00:13:24.400 --> 00:13:26.980
我自己會建議至少 64GB RAM。

00:13:27.460 --> 00:13:29.140
因為實際跑模型的時候，

00:13:29.240 --> 00:13:32.640
不只是 GPU 在工作，系統本身、Agent、

00:13:32.920 --> 00:13:34.580
ComfyUI、瀏覽器，

00:13:34.760 --> 00:13:37.500
甚至模型 offload 都可能一起吃到 RAM。

00:13:37.820 --> 00:13:39.280
最後就是 SSD，

00:13:39.280 --> 00:13:41.300
這個我也不會省太多。

00:13:41.440 --> 00:13:42.740
就如前面說的，

00:13:42.820 --> 00:13:44.260
載入初始化的模型，

00:13:44.420 --> 00:13:46.520
很容易就可以吃掉大量空間，

00:13:46.840 --> 00:13:49.740
而且 SSD 的速度也會直接影響模型第

00:13:49.740 --> 00:13:50.980
一次載入的時間。

00:13:51.260 --> 00:13:54.020
所以如果要把它簡化成三件事情：

00:13:54.200 --> 00:13:55.405
GPU 跟 VRAM，

00:13:55.405 --> 00:13:57.680
主要決定模型能不能順利跑，

00:13:57.680 --> 00:13:58.820
以及跑得多快。

00:13:59.100 --> 00:14:02.200
RAM，決定系統有沒有足夠空間去載入、

00:14:02.360 --> 00:14:04.740
offload 跟同時處理其他工作。

00:14:05.040 --> 00:14:07.700
SSD，決定你能放多少模型，

00:14:07.700 --> 00:14:10.010
以及模型載入時要等多久。

00:14:10.010 --> 00:14:13.600
如果只是要我直接給一套比較不容易踩雷的方向，

00:14:13.660 --> 00:14:18.240
那我目前會是：NVIDIA、24GB VRAM 起跳、

00:14:18.360 --> 00:14:19.620
64GB RAM，

00:14:19.880 --> 00:14:21.700
再準備夠大的 SSD。

00:14:21.900 --> 00:14:23.280
這不是唯一答案，

00:14:23.500 --> 00:14:26.540
但如果今天目標是語言、圖片、影片、

00:14:26.800 --> 00:14:28.060
Agent 都想碰，

00:14:28.320 --> 00:14:30.980
而且希望新模型出來不要每次先處理

00:14:30.980 --> 00:14:32.220
一堆相容性問題，

00:14:32.500 --> 00:14:35.160
我覺得這是目前比較實際的一個起點。