我最近開始比較大量串接 API 跑 Agent，
後面又開始碰圖片跟影片生成之後，
有一個問題變得越來越明顯。
就是這些東西真的用多了之後，
費用消耗其實非常快。
所以我那時候很自然就開始想：
現在開源模型都已經做到這種程度了，
那我乾脆把模型放在自己的電腦裡面跑，不就好了？
語言模型現在有千問、
Gemma 這些選擇，
圖片跟影片也有越來越多模型可以自己部署。
而且 Agent 又會一直反覆呼叫模型，
在這樣的消耗底下，
還不如本地的模型來去使用，
結果真的開始研究之後，
我第一個卡住的地方根本不是模型怎麼裝。
而是：我要買什麼電腦？
這件事情比我原本想像中麻煩很多。
你開始查就會看到有人推四零九零、
有人說直接買五零九零，
有人覺得 AMD 同樣價格可以拿到更多記憶體，
也有人說 Mac 的 Unified Memory
才適合跑大模型。
如果你本來就不是硬體玩家，
看完這些東西其實只會更亂。
但我後來真的開始看不同模型怎麼跑之後，
反而發現一件事情：
如果今天是為了本地 AI 買電腦，
新手其實不用先研究顯卡型號。
因為第一個真正會卡住你的東西，
通常不是這張卡快不快是你的模型到
底裝不裝得進去。
而這裡第一個要看的，
就是 VRAM。
VRAM 簡單來說就是顯示卡自己的記憶體。
這跟我們平常買遊戲電腦的思考方式有一點不一樣。
像玩遊戲的時候，
我們很常先看這張卡 FPS 多高、
新一代快了多少。
但是 AI 第一關會比較直接。
假設今天一個模型跟整套 workflow
需要的記憶體已經超過你的 VRAM，
那這張卡算力再強，
你還是得開始做各種妥協。
可能把模型量化得更小、
把一部分東西丟到系統 RAM，
或者乾脆只能換小一點的模型，
等於你用太小的 VRAM 時，
你的限制就會越多所以我現在覺得，
買本地 AI 電腦第一個問題根本不是：
「4090 還是 5090？」
而是：「我到底需要多少 VRAM？」
這個問題先確定，
後面其實簡單很多。
但這裡也很容易出現另外一種誤會。
不是說今天一定要 24GB，
低於 24GB 就完全不能跑 AI。
如果你只是想跑比較小的語言模型，8GB、12GB、
16GB 其實都有很多東西可以玩。
甚至現在各種量化做得很好，
一些原本很大的模型也可以壓到一般電腦上。
問題是你今天想做的事情有多廣。
如果我只想在本地跑聊天模型，
需求其實沒有這麼誇張。
但如果跟我一樣，
我希望這台機器除了語言模型，
還要跑 Coding Agent、
圖片、ComfyUI，
甚至連影片模型都想碰，
那需求就會開始完全不一樣。
以我自己來說，
我會把 24GB 左右當成比較實際的全用途起點。
不是因為 24GB 有什麼魔法。
而是從這裡開始，
你會比較少遇到「模型明明可以跑，
但是為了塞進去，
每一個 workflow 都要重新折
騰一次」這種狀況。
像 3090、4090 都是 24GB，
而現在 5090 已經來到 32GB。
對 AI 來說，5090 多出來的 8GB 有時候比單純
效能提升還有感。
因為它可能直接讓原本卡在邊界的模型或
更長的 Context 放得進去。
所以這也是為什麼我覺得，
本地 AI 看顯卡不能只看快多少，
重要是能不能運行需要的模型。
這時，記憶體容量就是你能不能運行這類
模型的第一個關鍵。
這件事情到了影片模型會更明顯。
因為一個影片 workflow 很多時候
不只有主要生成模型。
你可能還有 Text Encoder、
VAE、LoRA，
甚至其他前後處理。
像 Wan 2.2 官方自己的 720p 單卡推理範例，
就直接把 24GB VRAM 當成可以執行的級距。
但這也不是代表所有影片模型一定需要 24GB。
現在很多模型透過量化、
CPU offload，
甚至社群特別做的版本，
16GB 一樣可以硬塞進去。
像 MiniMax H3 現在甚至已經有人
把消費級 16GB、
24GB 的部署方式做出來。
所以我覺得這裡真正要理解的不是某個固定數字。
而是：能跑，跟跑得舒服，是兩件事情。
16GB 可能透過很多優化真的跑成功。
但是如果我今天每天都要用它工作，
每一個新模型都要研究半天怎麼省 VRAM，
那我自己就不會把這個叫做很舒服的配置。
Wan 2.2 官方的 720p TI2V
範例就是至少 24GB VRAM；
MiniMax H3 官方原始部署
甚至以多 GPU 為主，
消費卡之所以能跑，
很多是後來靠量化與 offload 把門檻壓下來。
更重要的是，
像是量化模型通常會有犧牲掉的品質或者能力，
這未必是一件好事所以如果有人跟你說：
「我 16GB 就什麼都能跑。」他不一定錯。
但你要先問的是：
他到底怎麼跑？
跑多快？
為了跑起來犧牲了多少東西？
這比單純看到「成功運行」重要很多。
那等到 VRAM 大概確定之後，
我第二個會看的，
才是這張卡後面的軟體生態這也是為什麼
如果今天是一個完全的新手，
要我推薦一條比較少踩坑的路，
我現在還是會比較偏 NVIDIA。
原因不是 AMD 的卡不能跑，
而是 NVIDIA 有一套叫做 CUDA 的東西。
你可以先把它理解成：
很多 AI 軟體跟顯示卡溝通時，
最常用的一套環境。
現在很多 AI 工具、新模型，尤其圖片、
影片這一類，開發者第一個測試的通常就是
NVIDIA 加 CUDA。
所以你實際使用的時候，
差別不一定只是速度。
而是同一個模型，
別人用 NVIDIA 可能照教學裝一裝就可以跑，
你換成別的平台，
有時候還要自己處理相容性、
版本，甚至某些功能根本還沒支援。
這個差距在單純跑語言模型時可能沒那麼明顯，
但開始碰 ComfyUI、圖片、影片，
尤其剛出的新模型，
就會比較有感。
所以我覺得 NVIDIA 很大一部分的優勢，
其實不是顯卡本身，
而是它後面那整套 CUDA 生態。
至於 AMD 當然不是不能用。
AMD 也有自己對應的環境，
叫 ROCm，現在支援已經比以前完整很多，
很多主流 AI 工具也都能跑。
只是如果今天是新手，
我會比較建議你先確認自己固定要用哪些模型、
哪些工具，再決定要不要選 AMD。
因為用比較低的價格拿到更多 VRAM 當然很香，
但前提是你要用的東西真的都有支援。
不然最後省下硬體的錢，
卻花很多時間在處理環境跟相容性，
使用體驗反而會變差。
那 Apple 相關產品這邊就比較特別。
如果今天主要是跑語言模型，
確實是可以考慮 Mac 相關的產品。
因為現在 Mac 用的 M 系列 這些晶片，像是 M1、M2，
其實都是 Apple 自己設計的，
這整套架構就叫 Apple Silicon。
它跟一般桌機一個很大的差別，
是 CPU 跟 GPU 可以共用同一塊記憶體。
Apple 把這個叫做 Unified
Memory，也就是統一記憶體。
一般 NVIDIA 電腦通常是系統 RAM
跟顯示卡 VRAM 分開算。
假設你今天買一張 24GB 的 4090，
模型主要可以直接放進 GPU 的空間
就是這 24GB。
但 Mac 不太一樣，
它可以直接做到 64GB、
128GB，甚至更高的共享記憶體，
CPU 跟 GPU 都可以使用。
所以如果今天碰到的是非常大的語言模型，
Mac 反而有一個很特殊的優勢。
因為有些模型不是電腦完全算不動，
而是一般消費級顯卡的 VRAM 根本放不下。
這時候高記憶體的 Mac，
就有機會直接把更大的模型放進去跑。
所以如果今天我的工作主要是 Local LLM，
我其實真的會把 Mac 放進選項。
而且現在也不只是語言模型。
像 MiniMax H3 這種很大的影音模型，
現在也已經有人真的在 M 系列 Mac 上面跑通。
只是這裡就要講到 Apple 跟
NVIDIA 另外一個很大的差別。
前面講 NVIDIA 的時候有提到 CUDA，
你可以把 CUDA 理解成目前很多 AI 軟體
最常使用的一套 GPU 運算環境。
Apple 沒有 CUDA，
它有自己的一套系統。
像 Metal 是 Apple 讓程式
使用 GPU 的底層技術，
MLX 則是 Apple 做給機器學習使用的框架。
其實一般使用者不用記這些名字，
真正要知道的只有一件事情：
同一個 AI 模型，
在 NVIDIA 上可以跑，
不代表直接搬到 Mac 就一定可以跑。
很多模型需要有人另外把它適
配到 Apple 的環境，
或者做成專門給 Mac 使用的版本。
這也是為什麼我覺得本地 AI 有一個很重要的觀念：
跑得動，跟適不適合拿來工作，是兩回事。
像 MiniMax H3 現在 Mac 確實可以跑，
這件事情本身很厲害，
也代表 Apple 在本地 AI 這一塊已經
不是只能跑語言模型。
但是如果我今天的工作是大量做圖片、
ComfyUI、影片生成，
而且新的模型一出來我就想馬上拿來測，
那目前我自己還是會比較偏 NVIDIA。
因為很多新模型跟新的 workflow，
通常還是先在 CUDA 上面被完整測試。
NVIDIA 很可能照著官方或者社群
教學就可以開始跑，
Mac 有時候則要等別人移植、
調整流程，或者自己處理一些相容性的問題。
所以 Apple 不是不能跑 AI，
比較準確的說法是：
如果主要跑大型語言模型，
Mac 的大容量共享記憶體其實非常有吸引力；
但如果圖片、影片、ComfyUI、新模型全部都想玩，
目前 NVIDIA 的整體生態還是比較省事。
因為我買一台工作機，
在意的不是「網路上有沒有人成功跑過一次」。
我更在意的是，
我每天真的要用這些東西的時候，
到底麻不麻煩。
那講到這裡，其實還有一個界線要先說清楚。
前面我們一直在講 24GB、
32GB，甚至 Mac 的大記憶體，
這些都還是一般人真的有可能買回家的機器。
但如果今天你的目標是：
我要在家裡直接跑完整版的超大型模型。
那就完全是另外一個等級了。
像現在 DeepSeek V4 Flash 這種模型，
雖然它每次回答的時候只會動用其中一部分，
但整套模型本身還是非常大。
你可以把它想成一間很大的公司，
一次工作可能只叫幾個部門出來，
但其他部門還是得存在。
所以如果真的要完整部署這種模型，
通常就不是買一張 5090 可以解決，
而是會開始進到多張資料中心 GPU、
伺服器這種等級。
像 GB200、
B200 這些當然很強，但價格、耗電、
散熱跟整套機器都已經不是一般使用
者會考慮的東西。
所以我覺得一般人在玩 Local AI，
大部分指的都是所謂的量化版本的模型，
所以不需要追求：
「最大的模型我也一定要滿血跑。」
我們比較實際的做法，
本來就是找適合自己的硬體 GPU，
然後挑選適合的量化模型。
只要它已經可以完成我的工作，
那麼就是一個值得投資的考量了
那回到一般人的工作機，
顯卡選完之後，
我自己還會補兩個東西。
第一個是系統 RAM。
前面 VRAM 是顯示卡自己的記憶體，
RAM 則是整台電腦平常在用的記憶體。
如果我都已經組到 24GB VRAM 這種等級，
我自己通常會直接抓 64GB RAM。
不是因為 32GB 不能用，
而是實際工作時你不可能只開一個模型。
瀏覽器、IDE、
Agent、ComfyUI 都可能一起跑，
而且模型太大塞不進 VRAM 的時候，
有些東西還可以暫時丟到系統 RAM。
這種做法通常會比較慢，
但至少可以讓一些原本塞不下的模型跑起來。
所以 64GB 對我來說比較像是留一點空間，
不要每次換模型都開始撞牆。
還有像是前面提到的 Mac 也是同概念，
只是會直接整個記憶體考量而已再來就是 SSD。
這個真的玩本地 AI 之後很容易爆。
因為模型十幾 GB、
幾十 GB 很正常，
圖片跟影片還會再加 VAE、
LoRA、Encoder，
各種版本全部累積起來會大量的吃滿空間，
用一般儲存會影響到載入這些東西的速度。
而且你一定不會只抓一個模型。
所以如果真的要長期把這台當 AI 工作機，
SSD 我也會盡量抓高一點。
所以綜合前面這些條件，
如果今天是我自己要組一台比較全面的
本地 AI 工作機，
我目前還是會優先選 NVIDIA，
而且 VRAM 我會從 24GB 左右開始看。
原因很簡單，一個是 CUDA 生態現在還是比較完整，
很多新的模型、
ComfyUI workflow 跟影音
工具通常都先支援 NVIDIA；
另外就是 24GB 這個級距，
已經可以涵蓋不少語言、
圖片跟部分影片模型，
不會每碰到一個新模型就先卡在 VRAM 不夠。
有預算的話，32GB、
48GB 當然會更舒服，
但這就看每個人的預算。
再來是系統記憶體。
如果顯卡都已經選到這個等級，
我自己會建議至少 64GB RAM。
因為實際跑模型的時候，
不只是 GPU 在工作，系統本身、Agent、
ComfyUI、瀏覽器，
甚至模型 offload 都可能一起吃到 RAM。
最後就是 SSD，
這個我也不會省太多。
就如前面說的，
載入初始化的模型，
很容易就可以吃掉大量空間，
而且 SSD 的速度也會直接影響模型第
一次載入的時間。
所以如果要把它簡化成三件事情：
GPU 跟 VRAM，
主要決定模型能不能順利跑，
以及跑得多快。
RAM，決定系統有沒有足夠空間去載入、
offload 跟同時處理其他工作。
SSD，決定你能放多少模型，
以及模型載入時要等多久。
如果只是要我直接給一套比較不容易踩雷的方向，
那我目前會是：NVIDIA、24GB VRAM 起跳、
64GB RAM，
再準備夠大的 SSD。
這不是唯一答案，
但如果今天目標是語言、圖片、影片、
Agent 都想碰，
而且希望新模型出來不要每次先處理
一堆相容性問題，
我覺得這是目前比較實際的一個起點。