M5、M6 Mac 如何選? Mac 跑本地 AI:模型裝得下,為什麼跑Agent就想退貨?

路可 首頁 每日列表 原始影片
實際影片長度：17:05.000。原文、繁中、雙語可點擊句子跳轉影片。
0:00.000–0:01.580
zh相信大家對於九月這批
0:01.580–0:03.161
zh新的 Mac mini 跟
0:03.161–0:04.583
enMac Studio,
0:04.583–0:06.480
zh到底要買哪一台,買什麼規格
0:06.700–0:07.820
zh都有很大的疑問
0:08.040–0:08.965
zh我也一樣
0:08.965–0:11.742
zh我打開購買頁排了一個下午
0:11.742–0:13.130
zh越排越不確定
0:13.350–0:14.894
zh因為官網把記憶體
0:14.894–0:16.051
zhGPU 核心數
0:16.051–0:17.209
zh跟記憶體頻寬
0:17.209–0:18.560
zh分成三個地方寫
0:18.780–0:20.636
zh你看得到每一個數字
0:20.636–0:23.110
zh但看不到它們是連在一起的
0:23.330–0:24.889
zh我先給你其中一個結論
0:24.889–0:26.760
zh你等一下就知道我在說什麼
0:26.980–0:28.604
zh如果你跑代理的時候
0:28.604–0:30.768
zh每一輪都要讀進很長的內容
0:30.768–0:32.031
zh卻只回你一小段
0:32.031–0:34.196
zh時間就可能主要花在處理輸
0:34.196–0:36.180
zh入的運算上,不是花在吐字
0:36.400–0:37.913
zh這一段主要看算力
0:37.913–0:39.993
zh所以模型裝得下、吐字很快
0:39.993–0:41.316
zh都不代表你按下
0:41.316–0:42.640
zh送出之後不用等
0:42.860–0:44.540
zh這支影片就是要幫助你
0:44.540–0:46.220
zh選一台適合自己的規格
0:46.440–0:47.874
zh先把買之前必須
0:47.874–0:49.717
zh知道的那幾個規格,各
0:49.717–0:51.560
zh自卡住你什麼,講清楚
0:51.780–0:52.782
zh然後你拿自己
0:52.782–0:53.950
zh的使用情境去對
0:54.170–0:55.415
zh你就抓得到最適
0:55.415–0:56.660
zh合你的那個規格
0:57.110–0:58.323
zh購買 mac 之前
0:58.323–1:00.230
zh有兩件事情一定要先理解
1:00.450–1:02.460
zh第一個叫什麼。預填充
1:02.680–1:04.405
zh它會把你輸入的整段
1:04.405–1:06.130
zh提示詞一次全部算完
1:06.350–1:07.773
zh這一段算完之後
1:07.773–1:09.400
zh它會把每一層算出
1:09.400–1:11.230
zh來的中間結果存下來
1:11.450–1:13.370
zh就是所謂的 KV cache
1:13.590–1:14.845
zh第二個是解碼
1:14.845–1:17.145
zh它開始一個字一個字回你
1:17.145–1:18.400
zh每次吐一個字
1:18.620–1:19.530
zh它都要把整份
1:19.530–1:21.350
zhKV cache 從頭掃一次
1:21.570–1:22.887
zh這兩件事卡在
1:22.887–1:24.424
zh完全不同的地方
1:24.424–1:26.620
zh預填充是一次算一大片
1:26.840–1:27.932
zh主要靠算力
1:27.932–1:30.117
zh解碼是一個字一個字來
1:30.117–1:32.520
zh每次都要把資料整份搬過
1:32.740–1:34.900
zh靠的是記憶體頻寬
1:35.120–1:38.011
zh那麼..預填充為什麼會慢呢?
1:38.011–1:39.850
zh因為你輸入越長
1:40.070–1:42.620
zh它要算的量不是等比例增加
1:42.620–1:44.320
zh是跟長度的平方走
1:44.540–1:46.316
zh你貼一段程式碼進去
1:46.316–1:47.894
zh那一段要先被讀完
1:47.894–1:49.670
zh你才會看到第一個字
1:49.890–1:51.465
zh這裡有一個大家最
1:51.465–1:52.842
zh容易搞錯的地方
1:52.842–1:54.220
zh多輪對話的時候
1:54.440–1:55.799
zh前面所有的歷史
1:55.799–1:58.130
zh會不會每一輪都重新算一次
1:58.350–1:59.417
zh答案是不一定
1:59.417–2:01.017
zh如果前面那一段一個
2:01.017–2:02.973
zh字都沒變,KV cache
2:02.973–2:04.040
zh可以直接沿用
2:04.260–2:05.425
zhmac只算你這
2:05.425–2:06.590
zh一輪新加的東西
2:06.810–2:08.917
zh那什麼時候會失效
2:08.917–2:10.233
zh有三種情況
2:10.233–2:12.340
zh一種就是全部重算
2:12.560–2:13.772
zh第一種是什麼
2:13.772–2:15.792
zh你開了一個新的子代理
2:15.792–2:17.610
zh那是一個全新的對話
2:17.830–2:19.760
zh前面的快取一個字都用不到
2:19.980–2:20.991
zh第二種呢
2:20.991–2:24.023
zh工具回傳的結果被插進中間
2:24.023–2:26.550
zh插入點後面的全部失效
2:26.770–2:27.783
zh第三種呢
2:27.783–2:30.061
zh你把程式關掉再打開
2:30.061–2:31.580
zh本地跑的時候
2:31.800–2:33.850
zh通常不會把快取留到下一次
2:34.070–2:35.510
zh這個差別有多大
2:35.510–2:37.360
zh有人拿同一台mac
2:37.360–2:38.800
zh同一個模型量過
2:39.020–2:41.568
zh快取全中的時候,等兩點九秒
2:41.568–2:43.478
zh快取沒中要全部重算
2:43.478–2:44.540
zh等八十二秒
2:44.760–2:47.313
zh同一台mac,同一個模型
2:47.313–2:48.473
zh差二十八倍
2:48.473–2:49.866
zh差別只在前面
2:49.866–2:51.490
zh那段有沒有動過
2:51.710–2:53.841
zh所以你如果覺得同一台mac
2:53.841–2:55.480
zh有時候很快有時候很慢
2:55.700–2:56.910
zh那不是你的錯覺
2:57.130–2:58.875
zh還有一個例子更直接
2:58.875–3:00.813
zh有人測同一段長提示詞
3:00.813–3:02.170
zh量到兩點九七秒
3:02.390–3:03.387
zh覺得很快
3:03.387–3:06.128
zh然後他自己發現那是快取
3:06.128–3:08.870
zh命中,關掉重測,變成十七秒
3:09.320–3:10.220
zh先說一件事
3:10.220–3:12.200
zhMac 跟一般電腦差在哪
3:12.200–3:14.180
zh差在它的記憶體是統一的
3:14.400–3:16.650
zhCPU 跟 GPU 共用同一池
3:16.870–3:18.795
zh所以規格表上那個記憶體
3:18.795–3:20.720
zh數字,就是模型可以用的量
3:20.940–3:22.225
zh這是 Mac 跑大
3:22.225–3:23.510
zh模型真正的優勢
3:23.730–3:25.528
zh在 Mac Studio 上
3:25.528–3:26.836
zh你只要把記憶體選
3:26.836–3:27.980
zh超過三十六 GB
3:28.200–3:29.932
zh系統就會自動把你的
3:29.932–3:32.050
zhGPU 換成貴一階的那顆
3:32.270–3:34.370
zh頻寬從四百六十跳到六
3:34.370–3:36.680
zh百一十四,價格多六百美元
3:36.900–3:39.470
zh這不是加價選配,是你沒得選
3:39.690–3:41.782
zh規格跟價格我整理成一張表
3:41.782–3:43.700
zh放在畫面上,你暫停看就好
3:43.920–3:44.410
zh我不念
3:44.630–3:47.234
zh這一段如果幫你省掉在購買頁上
3:47.234–3:49.280
zh來回猜的時間,順手按個讚
3:49.500–3:50.945
zh讓這支片被更多正
3:50.945–3:52.390
zh在選機器的人看到
3:52.840–3:54.345
zh那把前面那兩件事套回
3:54.345–3:55.700
zhMac,會是什麼情況
3:55.920–3:57.050
zh預填充吃算力
3:57.050–3:58.179
zh而算力一直是
3:58.179–4:00.250
zhApple 這幾代的弱點
4:00.470–4:02.687
zhM1 到 M4 這幾代
4:02.687–4:05.459
zh只要你輸入的東西一多
4:05.459–4:08.230
zh光是讀完就要等。要多久
4:08.450–4:09.180
zh有數字
4:09.400–4:11.396
zh有人拿 M3 Ultra 加
4:11.396–4:13.574
zh五百一十二 GB 記憶體用了
4:13.574–4:15.570
zh六個月,寫下他的實際體感
4:15.790–4:17.715
zh簡單對話幾秒鐘就回
4:17.715–4:19.640
zh這一段你不會有感覺
4:19.860–4:22.331
zh請它改一篇七千字的文章
4:22.331–4:23.230
zh等三十秒
4:23.450–4:25.202
zh掛一個系統提示一萬
4:25.202–4:28.121
zh六千字的 coding agent
4:28.121–4:28.900
zh,等九十秒
4:29.120–4:31.518
zh九十秒。在那九十秒裡
4:31.518–4:33.650
zh畫面上什麼都沒有
4:33.870–4:35.566
zh那台是 M3 Ultra
4:35.566–4:36.923
zh記憶體頻寬已經是
4:36.923–4:38.110
zh當時最高的一批
4:38.330–4:40.216
zh頻寬那麼高為什麼
4:40.216–4:41.867
zh沒有救到這一段
4:41.867–4:44.460
zh因為這一段卡的不是頻寬
4:44.680–4:45.621
zh那 M5 呢
4:45.621–4:48.443
zhApple 去年十一月發過
4:48.443–4:51.030
zh一份研究,拿 M5 對比 M4
4:51.250–4:53.622
zh等第一個字出現的時間
4:53.622–4:55.520
zh快了三點三到四倍
4:55.520–4:57.180
zh這是很大的改進
4:57.400–4:58.777
zh而且方向對
4:58.777–5:01.530
zh他們加強的正好是算力
5:01.750–5:03.500
zh那這個改進是哪裡來的
5:03.720–5:05.510
zhM5 這一代在每一個
5:05.510–5:07.500
zhGPU 核心裡面,加了一
5:07.500–5:09.290
zh個專門算矩陣的單元
5:09.510–5:11.200
zh叫做神經加速器
5:11.420–5:13.712
zhApple 自己的說法是
5:13.712–5:15.171
zh產生第一個字這
5:15.171–5:16.630
zh件事被算力綁住
5:16.850–5:18.647
zh而它完全吃得到神
5:18.647–5:20.220
zh經加速器的好處
5:20.440–5:21.414
zh換句話說
5:21.414–5:23.850
zh你多花的錢買到的算力
5:24.070–5:25.835
zh全部用在你按下送
5:25.835–5:27.600
zh出之後那段等待上
5:27.820–5:28.823
zh有多明顯
5:28.823–5:30.830
zh有人拿同一台 M5
5:30.830–5:33.590
zh同一個模型,只切這個開關
5:33.810–5:35.759
zh讀取的速度從每秒
5:35.759–5:37.708
zh兩百四十七跳到六
5:37.708–5:39.900
zh百三十六,兩點五七倍
5:40.120–5:42.645
zh吐字的速度從二十九點六
5:42.645–5:45.170
zh到三十一,只有一點零五倍
5:45.390–5:46.576
zh你注意一下這
5:46.576–5:47.960
zh兩個數字的差距
5:48.180–5:50.694
zh同一台機器同一個模型
5:50.694–5:53.710
zh只換一個開關,一邊跳兩倍半
5:53.930–5:55.613
zh另一邊幾乎不動
5:55.613–5:57.297
zh這就是那兩件事
5:57.297–5:58.980
zh真的分開的證據
5:59.200–6:01.282
zh那買之前要注意
6:01.282–6:02.770
zh什麼。有兩件
6:02.990–6:06.619
zh第一,這個東西不是只有某一台有
6:06.619–6:08.952
enM5,M5 Pro,M5
6:08.952–6:11.544
enMax,M5 Ultra
6:11.544–6:12.840
zh連 M6 都有
6:13.060–6:15.255
zh所以它不是選型的差別
6:15.255–6:17.230
zh你買哪一台都吃得到
6:17.450–6:19.393
zh第二,有這個硬體是
6:19.393–6:21.822
zh不是就自動用得到。不是
6:21.822–6:23.280
zh要 macOS
6:23.280–6:24.980
zh二十六點二以上
6:25.200–6:27.530
zh而且軟體要支援才會啟用
6:27.750–6:28.937
zh但要注意這是
6:28.937–6:31.113
zhApple 拿自己比自己
6:31.113–6:32.300
zh它沒有回答跟
6:32.300–6:34.080
zhNVIDIA 差多少
6:34.300–6:35.995
zh那個差距目前只
6:35.995–6:37.689
zh有上一代的數字
6:37.689–6:40.110
zh同一個模型同一段輸入
6:40.330–6:42.918
zhM3 Ultra 要五點
6:42.918–6:45.248
zh五七秒,NVIDIA
6:45.248–6:47.836
zh那台小機器一點四七秒
6:47.836–6:49.130
zh差三點八倍
6:49.350–6:51.371
zh那 Mac Studio
6:51.371–6:52.786
zh上面那顆最大的
6:52.786–6:54.403
zhM5 Ultra 呢
6:54.403–6:55.615
zh它九月二十二
6:55.615–6:57.030
zh號才第一次出貨
6:57.250–6:58.092
zh在那之前
6:58.092–7:00.197
zh這顆晶片沒有人拿到過
7:00.197–7:01.250
zh能追上多少
7:01.470–7:02.393
zh要等出貨之後
7:02.393–7:03.470
zh才有人測得出來
7:03.920–7:05.371
zh那另外一半呢
7:05.371–7:06.580
zh解碼跟頻寬
7:06.800–7:09.084
zh解碼是一個字一個字產生
7:09.084–7:10.330
zh每產生一個字
7:10.550–7:12.482
zhmac都要把整份模型
7:12.482–7:14.800
zh權重從記憶體讀進晶片一次
7:15.020–7:16.918
zh所以它被什麼綁住
7:16.918–7:18.105
zh記憶體頻寬
7:18.105–7:19.054
zh頻寬翻倍
7:19.054–7:21.190
zh吐字速度就接近翻倍
7:21.410–7:23.415
zh所以跑分表上最常看到的那
7:23.415–7:25.420
zh個數字,每秒幾個 token
7:25.640–7:27.673
zh在 Mac 上為什麼會很好看
7:27.673–7:28.690
zh就是這個原因
7:28.910–7:31.322
zhM5 這一代吐字也有進步
7:31.322–7:33.076
zh官方的數字是快百
7:33.076–7:34.830
zh分之十九到二十七
7:35.050–7:37.643
zh比起預填充那個三到四倍小
7:37.643–7:40.020
zh很多,但你看跑分表的時候
7:40.240–7:41.490
zh感覺是很直接的
7:41.710–7:42.767
zh問題在這裡
7:42.767–7:44.669
zh你日常真正在做的事
7:44.669–7:46.360
zh決定你有沒有感覺
7:46.580–7:48.250
zh你平常是哪一種
7:48.250–7:49.919
zh如果你只是聊天
7:49.919–7:51.350
zh問一句答一句
7:51.570–7:53.465
zh輸入很短輸出很長
7:53.465–7:55.598
zh那頻寬就是你的體感
7:55.598–7:57.730
zh數字好看你就真的爽
7:57.950–7:58.115
zh但
7:58.115–8:01.080
zh如果你在做 agentic coding
8:01.080–8:02.398
zh,或者同時開好幾個
8:02.398–8:03.880
zh代理,情況完全反過來
8:04.100–8:06.494
zh那種工作是什麼形狀
8:06.494–8:09.686
zh讀進去一大坨,吐出來一小撮
8:09.686–8:10.750
zh實測下來
8:10.970–8:13.435
zh每一輪送進去二十萬 token
8:13.435–8:15.020
zh,只吐出不到一千個字
8:15.240–8:16.333
zh這種形狀下
8:16.333–8:18.082
zh你的時間幾乎全部
8:18.082–8:20.050
zh花在預填充,不在吐字
8:20.270–8:21.657
zh頻寬再高也救不了
8:21.657–8:23.390
zh這樣的體驗將會非常差
8:23.610–8:25.380
zh你大概率會想要退貨的
8:25.600–8:28.061
zh那多開幾個代理會怎麼樣
8:28.061–8:29.850
zh你每開一個子代理
8:30.070–8:32.617
zh就是一次全新的預填充
8:32.617–8:34.400
zh開四個就是四次
8:34.620–8:36.200
zh所以同一台mac
8:36.200–8:38.175
zh你拿它聊天會覺得很快
8:38.175–8:40.150
zh拿它跑代理會覺得很慢
8:40.370–8:41.857
zh兩個感覺都是真的
8:41.857–8:43.159
zh因為你在用的是
8:43.159–8:44.460
zh兩個不同的規格
8:44.910–8:46.524
zh如果你買 Mac 是為
8:46.524–8:48.316
zh了在本地跑語言模型,有
8:48.316–8:49.930
zh一類模型特別適合你
8:50.150–8:51.360
zh叫做 MoE
8:51.580–8:52.238
zh它的全名是
8:52.238–8:53.422
enMixture of
8:53.422–8:54.870
zhExperts,混合專家
8:55.090–8:56.514
zh一般的模型裡面
8:56.514–8:58.956
zh負責運算的那一層只有一組
8:58.956–9:00.380
zh你每產生一個字
9:00.600–9:02.200
zh這一組全部都要動一次
9:02.420–9:05.138
zhMoE 把那一層拆成很多組
9:05.138–9:07.630
zh常見的是幾十組到幾百組
9:07.850–9:09.167
zh然後它多了一
9:09.167–9:10.703
zh個很小的分派器
9:10.703–9:12.020
zh每產生一個字
9:12.240–9:13.920
zh分派器決定這次要叫醒
9:13.920–9:15.600
zh哪幾組,通常只叫兩三組
9:15.820–9:17.454
zh沒被叫到的那幾百組
9:17.454–9:19.270
zh這個字完全不參與運算
9:19.490–9:21.415
zh那沒被叫到的那些呢
9:21.415–9:23.340
zh它們還是佔著記憶體
9:23.560–9:25.810
zh沒被叫到不等於不用放進來
9:26.030–9:27.811
zh那你怎麼看出一個
9:27.811–9:30.259
zh模型是不是 MoE。看名字
9:30.259–9:32.040
zh你會看到兩個數字
9:32.260–9:35.380
zh像是三十 B,A 三 B 這種寫法
9:35.600–9:37.257
zh前面那個是總共多大
9:37.257–9:38.730
zh決定你裝不裝得下
9:38.950–9:41.404
zhA 後面那個是每次啟用多少
9:41.404–9:43.040
zh決定你跑起來多快
9:43.260–9:44.716
zh那這件事為什麼剛
9:44.716–9:45.990
zh好對 Mac 有用
9:46.210–9:47.764
zh回想一下前面講的
9:47.764–9:49.513
zhMac 的強項是什麼
9:49.513–9:50.290
zh記憶體大
9:50.510–9:52.839
zh因為它是統一記憶體
9:52.839–9:54.910
zh整池都能給模型用
9:55.130–9:57.572
zhMac 的弱項是算力比較差
9:57.572–9:58.996
zh讀你貼進去那一
9:58.996–10:00.420
zh大段的時候會等
10:00.640–10:02.205
zh頻寬也不是最頂的
10:02.205–10:03.770
zh吐字速度有天花板
10:03.990–10:05.237
zhMoE 要的剛
10:05.237–10:06.692
zh好是 Mac 有的
10:06.692–10:07.731
zh它吃記憶體
10:07.731–10:09.393
zh而記憶體是 Mac
10:09.393–10:10.640
zh最不缺的東西
10:10.860–10:12.134
zhMoE 省的剛
10:12.134–10:13.620
zh好是 Mac 缺的
10:13.620–10:15.106
zh每次只算兩三組
10:15.106–10:16.380
zh算力需求變小
10:16.600–10:18.450
zh要搬的權重也少很多
10:18.670–10:20.087
zh所以同一台 Mac
10:20.087–10:21.503
zh跑一個一千一百七
10:21.503–10:22.920
zh十億參數的 MoE
10:23.140–10:24.625
zh可以比跑一個七百
10:24.625–10:26.110
zh億的一般模型還快
10:26.330–10:27.959
zh這也是為什麼你會看到
10:27.959–10:29.588
zh有人拿 Mac 跑那些名
10:29.588–10:31.380
zh字聽起來很誇張的大模型
10:31.600–10:32.810
zh而且真的跑得動
10:33.030–10:35.321
zh你在 Mac 上挑模型的時候
10:35.321–10:37.040
zh名字裡有沒有那個 A
10:37.260–10:38.870
zh是你第一個要看的東西
10:39.090–10:41.004
zh有一件事不要算過頭
10:41.004–10:42.706
zh你不能拿啟用的那
10:42.706–10:44.620
zh一小塊直接去除頻寬
10:44.840–10:46.770
zh然後說速度會變幾倍
10:46.770–10:49.128
zh中間還有挑選專家的成本
10:49.128–10:50.200
zh那個不是零
10:50.650–10:51.376
zh說到這裡
10:51.376–10:53.556
zh規格對應到什麼已經清楚了
10:53.556–10:55.190
zh那就分成三種人來看
10:55.410–10:57.462
zh第一種,你的 AI 全部都用雲端的
10:57.462–11:00.248
enChatGPT,Claude,Gemini
11:00.248–11:01.274
zh,你不打算在自己
11:01.274–11:02.300
zhmac上跑模型
11:02.520–11:04.924
zh那這些頻寬跟核心數的差別
11:04.924–11:06.527
zh對你幾乎沒有意義
11:06.527–11:08.330
zh十六 GB,二十四 GB
11:08.550–11:10.400
zh或者三十二 GB 都夠用
11:10.620–11:11.587
zh那要花多少
11:11.587–11:13.329
zh八百九十九到一千兩
11:13.329–11:15.070
zh百九十九美元這一段
11:15.290–11:16.583
zhM6 的 Mac mini
11:16.583–11:17.100
zh就可以了
11:17.320–11:19.619
zh真的要偶爾在本地跑一下
11:19.619–11:22.128
zh三十二 GB 可以放 Qwen
11:22.128–11:23.800
zh那個三十 B,A 三 B
11:24.020–11:25.509
zh總共三百零五億
11:25.509–11:27.210
zh每次啟用三十三億
11:27.210–11:29.550
zh四位元之後十八點六 GB
11:29.770–11:30.645
zh第二種呢
11:30.645–11:31.738
zh你要剪影片
11:31.738–11:33.050
zh同時想在本地
11:33.050–11:34.580
zh跑一些語言模型
11:34.800–11:36.322
zh這一種的甜蜜點在哪
11:36.322–11:36.999
zh我認為是
11:36.999–11:39.029
zhMac Studio 六十四
11:39.029–11:40.890
zhGB,三千七百九十九美元
11:41.110–11:42.803
zh六十四 GB 剛
11:42.803–11:44.119
zh好讓三百二十億
11:44.119–11:46.000
zh參數這一級跑得很舒服
11:46.220–11:47.830
zh七百億也塞得進去
11:48.050–11:49.599
zh六十四 GB 在
11:49.599–11:51.730
zhStudio 上必然是四
11:51.730–11:53.860
zh十核那顆,頻寬六百一十四
11:54.080–11:55.898
zh你為了容量付的錢
11:55.898–11:58.170
zh順便買到了最高的頻寬
11:58.390–12:00.174
zh這一級你能跑哪些
12:00.174–12:01.735
zh選擇一下子變多
12:01.735–12:03.519
zh三十幾 B 的 MoE
12:03.519–12:05.080
zh跑起來都很輕鬆
12:05.300–12:07.511
zh如果你買到一百二十八 GB
12:07.511–12:09.538
zh那 gpt-oss-120b
12:09.538–12:10.643
zh是最好的例子
12:10.863–12:13.207
zh一千一百七十億總參數
12:13.207–12:14.849
zh六十二點八 GB
12:14.849–12:17.193
zh但每次只啟用五十一億
12:17.413–12:18.288
zh第三種呢
12:18.288–12:20.696
zh你對本地大模型有很強的
12:20.696–12:23.103
zh需求,你要跑那種真正大的
12:23.323–12:25.910
zh那六十四 GB 夠不夠。不夠
12:25.910–12:28.733
zh你要看的是二百五十六 GB
12:28.953–12:30.687
zh甚至五百一十二 GB
12:30.687–12:31.843
zh的統一記憶體
12:32.063–12:34.781
zh那個級距只有 Mac Studio
12:34.781–12:36.412
zh的 M5 Ultra 有
12:36.412–12:38.042
zh二百五十六 GB 是一
12:38.042–12:39.673
zh萬零七百九十九美元
12:39.893–12:41.285
zh為什麼要那麼多
12:41.285–12:43.074
zh因為真正大的那幾個
12:43.074–12:44.863
zh開源模型是這個量級
12:45.083–12:46.823
zhDeepSeek 那個
12:46.823–12:48.911
zh兩千八百四
12:48.911–12:51.173
zh十億,四位元要一百五十五 GB
12:51.393–12:52.332
zh更極端的
12:52.332–12:54.211
zhKimi K3 四位
12:54.211–12:56.090
zh元要一點五一 TB
12:56.090–12:58.203
zh開源不等於你跑得動
12:58.423–13:01.006
zh你身邊如果有人也在這幾台之
13:01.006–13:02.993
zh間猶豫,把這一段轉給他
13:03.213–13:04.712
zh這三個級距是他要
13:04.712–13:06.023
zh先搞清楚的東西
13:06.243–13:07.768
zh五百一十二 GB 那個
13:07.768–13:09.293
zh版本現在還下不了單
13:09.513–13:12.083
zh官方說十月下旬才會上市
13:12.303–13:14.307
zh這一段的價格是跳躍的
13:14.307–13:15.309
zh不是線性的
13:15.309–13:17.513
zh從六十四跳到二百五十六
13:17.733–13:20.383
zh記憶體四倍,價格接近三倍
13:20.603–13:22.461
zh所以你要先確定你真的
13:22.461–13:24.133
zh需要跑那麼大的模型
13:24.353–13:25.963
zh這筆錢才花得下去
13:26.413–13:28.902
zh前面講的全部是文字模型
13:28.902–13:30.713
zh那生圖跟生影片呢
13:30.933–13:33.133
zh這兩件事在 Mac 上是弱的
13:33.133–13:34.783
zh而且弱的地方不一樣
13:35.003–13:35.778
zh先講影片
13:35.778–13:37.909
zh因為想在本地跑 AI 的人
13:37.909–13:39.653
zh很多是衝著這個來的
13:39.873–13:41.534
zh而算力,正是前面講的
13:41.534–13:43.563
zhApple 這幾代的弱點
13:43.783–13:45.597
zh而且不只是算力
13:45.597–13:46.633
zh還有生態
13:46.853–13:49.282
zhMac 這邊沒有 TensorRT
13:49.282–13:50.740
zh那種等級的推論優化
13:50.740–13:52.521
zh,PyTorch 的編譯加
13:52.521–13:54.303
zh速跟 Mac 的後端不相容
13:54.523–13:56.501
zhComfyUI 在 Mac
13:56.501–13:59.198
zh上是能跑的,走的是 PyTorch
13:59.198–14:00.636
zh的 Metal 後端
14:00.636–14:02.074
zh但有些運算沒實作
14:02.074–14:03.333
zh會掉回 CPU 跑
14:03.553–14:05.563
zh在 CUDA 上是裝好就動
14:05.783–14:07.665
zhM5 的算力是有改善
14:07.665–14:09.964
zh同一個 app 生同一段五
14:09.964–14:12.264
zh秒影片,筆電的 M5 Max
14:12.264–14:14.982
zh四十核兩分鐘,M3 Ultra
14:14.982–14:17.073
zh八十核要三分二十六秒
14:17.293–14:19.264
zh但 ComfyUI 不是
14:19.264–14:21.432
zh直接吃到這個算力,中間隔
14:21.432–14:23.206
zh著 PyTorch 的
14:23.206–14:25.571
zhMetal 後端,M5 新加的
14:25.571–14:27.739
zh矩陣單元它才剛開始支援
14:27.739–14:30.104
zh算力本來就是 Mac 的弱項
14:30.104–14:31.680
zh跟 NVIDIA 比
14:31.680–14:32.863
zh這一代還是輸
14:33.083–14:34.730
zh如果這台 Mac 你
14:34.730–14:36.788
zh本來就要買,它同時是你
14:36.788–14:38.640
zh的日常機,你的剪接機
14:38.860–14:40.150
zh你寫程式的機器
14:40.370–14:41.638
zh那半夜掛著跑
14:41.638–14:43.540
zh基本上只有電費的錢
14:43.760–14:46.389
zh但是生成的影片速度非常慢
14:46.389–14:48.800
zh並且還要考量到不是每一
14:48.800–14:51.210
zh段影片都是可以用的片段
14:51.430–14:54.000
zh真正能用的秒數,要再打個折
14:54.220–14:56.227
zh所以如果你的主要目的是
14:56.227–14:57.686
zh影片生成,那會建議
14:57.686–14:59.510
zh還是考慮 NVIDIA
14:59.960–15:01.257
zh最後有一個做法
15:01.257–15:02.740
zh你不一定用得到它
15:02.960–15:04.587
zh但我個人認為這解
15:04.587–15:06.010
zh決方案非常有趣!
15:06.230–15:06.898
zh有一個團隊
15:06.898–15:08.234
zh把一台 NVIDIA 的
15:08.234–15:09.703
zhDGX SPARK和一台
15:09.703–15:11.440
zhMac Studio 接在一起
15:11.660–15:14.268
zh讓算力強的那台負責讀完
15:14.268–15:17.350
zh整段,讓頻寬高的那台負責吐字
15:17.570–15:20.110
zh他們自己測的數字是這樣
15:20.110–15:22.420
zh同一個模型同一段輸入
15:22.640–15:24.860
zhMac 那台讀完花五點
15:24.860–15:27.080
zh五七秒,吐字零點八五秒
15:27.080–15:28.856
zhNVIDIA 那台
15:28.856–15:30.410
zh讀完一點四七秒
15:30.630–15:32.480
zh吐字二點八七秒
15:32.700–15:34.505
zh你看這四個數字
15:34.505–15:36.310
zh兩台各自贏一半
15:36.530–15:38.112
zh兩台各贏一半
15:38.112–15:41.014
zh接起來取兩邊快的那一段
15:41.014–15:42.860
zh總共兩點三二秒
15:43.080–15:44.450
zh快兩點八倍
15:44.670–15:46.435
zh這剛好證明了前面那
15:46.435–15:48.200
zh兩件事真的是分開的
15:48.420–15:51.150
zh沒有一台機器兩邊都贏
15:51.370–15:52.655
zh不過這是那個團
15:52.655–15:53.940
zh隊自己測的數字
15:54.160–15:56.205
zh而且現階段這個解決方案
15:56.205–15:58.250
zh一定還有很大的改善空間
15:58.470–15:59.235
zh即便如此
15:59.235–16:01.337
zh我還是相信未來會有更多
16:01.337–16:03.440
zh類似這樣的更好解決方案
16:03.660–16:05.585
zh讓大家可以自己根據需
16:05.585–16:07.510
zh求組合對應的硬體規格
16:07.960–16:09.530
zh最後再收一次
16:09.530–16:12.407
zh記憶體決定你裝不裝得下
16:12.407–16:14.500
zh頻寬決定吐字多快
16:14.720–16:16.671
zh按下任
16:16.671–16:18.867
zh務送出之後要等多久
16:18.867–16:20.330
zh你卡在哪一件
16:20.550–16:22.955
zh你要找的不是最強的那一台
16:22.955–16:24.960
zh是你自己卡在哪一件事
16:25.180–16:27.590
zh然後規格表上對應的那一行
16:27.810–16:28.521
zh生圖的話
16:28.521–16:30.477
zh我上面已經幫你們算過了
16:30.477–16:31.900
zh專門買一台不划算
16:32.120–16:33.370
zh順便用很划算
16:33.590–16:35.078
zh跑文字模型的話
16:35.078–16:36.565
zh裝得下是第一關
16:36.565–16:37.840
zh頻寬是第二關
16:38.060–16:38.914
zh相信這樣你自
16:38.914–16:39.910
zh己就挑得出來了
16:40.130–16:42.530
zh這批機器九月二十二號出貨
16:42.750–16:44.148
zh到時候會有第一批
16:44.148–16:45.720
zh真正的實測數字出來
16:45.940–16:47.785
zh我會回來把這支影片裡所
16:47.785–16:49.630
zh有還沒有數字的地方填滿
16:49.850–16:51.657
zh你如果不想錯過那一集
16:51.657–16:52.380
zh訂閱一下
16:52.600–16:55.172
zh另外,你現在卡在哪兩個規格之間
16:55.172–16:57.010
zh或者已經下訂了哪一台
16:57.230–16:58.864
zh留言告訴我你的用途
16:58.864–17:00.680
zh我看看能不能幫你判斷
17:00.900–17:03.300
zh我是路可,讓我們一起踹踹看
0:00.000–0:01.580
相信大家對於九月這批
0:01.580–0:03.161
新的 Mac mini 跟
0:03.161–0:04.583
Mac Studio,
0:04.583–0:06.480
到底要買哪一台,買什麼規格
0:06.700–0:07.820
都有很大的疑問
0:08.040–0:08.965
我也一樣
0:08.965–0:11.742
我打開購買頁排了一個下午
0:11.742–0:13.130
越排越不確定
0:13.350–0:14.894
因為官網把記憶體
0:14.894–0:16.051
GPU 核心數
0:16.051–0:17.209
跟記憶體頻寬
0:17.209–0:18.560
分成三個地方寫
0:18.780–0:20.636
你看得到每一個數字
0:20.636–0:23.110
但看不到它們是連在一起的
0:23.330–0:24.889
我先給你其中一個結論
0:24.889–0:26.760
你等一下就知道我在說什麼
0:26.980–0:28.604
如果你跑代理的時候
0:28.604–0:30.768
每一輪都要讀進很長的內容
0:30.768–0:32.031
卻只回你一小段
0:32.031–0:34.196
時間就可能主要花在處理輸
0:34.196–0:36.180
入的運算上,不是花在吐字
0:36.400–0:37.913
這一段主要看算力
0:37.913–0:39.993
所以模型裝得下、吐字很快
0:39.993–0:41.316
都不代表你按下
0:41.316–0:42.640
送出之後不用等
0:42.860–0:44.540
這支影片就是要幫助你
0:44.540–0:46.220
選一台適合自己的規格
0:46.440–0:47.874
先把買之前必須
0:47.874–0:49.717
知道的那幾個規格,各
0:49.717–0:51.560
自卡住你什麼,講清楚
0:51.780–0:52.782
然後你拿自己
0:52.782–0:53.950
的使用情境去對
0:54.170–0:55.415
你就抓得到最適
0:55.415–0:56.660
合你的那個規格
0:57.110–0:58.323
購買 mac 之前
0:58.323–1:00.230
有兩件事情一定要先理解
1:00.450–1:02.460
第一個叫什麼。預填充
1:02.680–1:04.405
它會把你輸入的整段
1:04.405–1:06.130
提示詞一次全部算完
1:06.350–1:07.773
這一段算完之後
1:07.773–1:09.400
它會把每一層算出
1:09.400–1:11.230
來的中間結果存下來
1:11.450–1:13.370
就是所謂的 KV cache
1:13.590–1:14.845
第二個是解碼
1:14.845–1:17.145
它開始一個字一個字回你
1:17.145–1:18.400
每次吐一個字
1:18.620–1:19.530
它都要把整份
1:19.530–1:21.350
KV cache 從頭掃一次
1:21.570–1:22.887
這兩件事卡在
1:22.887–1:24.424
完全不同的地方
1:24.424–1:26.620
預填充是一次算一大片
1:26.840–1:27.932
主要靠算力
1:27.932–1:30.117
解碼是一個字一個字來
1:30.117–1:32.520
每次都要把資料整份搬過
1:32.740–1:34.900
靠的是記憶體頻寬
1:35.120–1:38.011
那麼..預填充為什麼會慢呢?
1:38.011–1:39.850
因為你輸入越長
1:40.070–1:42.620
它要算的量不是等比例增加
1:42.620–1:44.320
是跟長度的平方走
1:44.540–1:46.316
你貼一段程式碼進去
1:46.316–1:47.894
那一段要先被讀完
1:47.894–1:49.670
你才會看到第一個字
1:49.890–1:51.465
這裡有一個大家最
1:51.465–1:52.842
容易搞錯的地方
1:52.842–1:54.220
多輪對話的時候
1:54.440–1:55.799
前面所有的歷史
1:55.799–1:58.130
會不會每一輪都重新算一次
1:58.350–1:59.417
答案是不一定
1:59.417–2:01.017
如果前面那一段一個
2:01.017–2:02.973
字都沒變,KV cache
2:02.973–2:04.040
可以直接沿用
2:04.260–2:05.425
mac只算你這
2:05.425–2:06.590
一輪新加的東西
2:06.810–2:08.917
那什麼時候會失效
2:08.917–2:10.233
有三種情況
2:10.233–2:12.340
一種就是全部重算
2:12.560–2:13.772
第一種是什麼
2:13.772–2:15.792
你開了一個新的子代理
2:15.792–2:17.610
那是一個全新的對話
2:17.830–2:19.760
前面的快取一個字都用不到
2:19.980–2:20.991
第二種呢
2:20.991–2:24.023
工具回傳的結果被插進中間
2:24.023–2:26.550
插入點後面的全部失效
2:26.770–2:27.783
第三種呢
2:27.783–2:30.061
你把程式關掉再打開
2:30.061–2:31.580
本地跑的時候
2:31.800–2:33.850
通常不會把快取留到下一次
2:34.070–2:35.510
這個差別有多大
2:35.510–2:37.360
有人拿同一台mac
2:37.360–2:38.800
同一個模型量過
2:39.020–2:41.568
快取全中的時候,等兩點九秒
2:41.568–2:43.478
快取沒中要全部重算
2:43.478–2:44.540
等八十二秒
2:44.760–2:47.313
同一台mac,同一個模型
2:47.313–2:48.473
差二十八倍
2:48.473–2:49.866
差別只在前面
2:49.866–2:51.490
那段有沒有動過
2:51.710–2:53.841
所以你如果覺得同一台mac
2:53.841–2:55.480
有時候很快有時候很慢
2:55.700–2:56.910
那不是你的錯覺
2:57.130–2:58.875
還有一個例子更直接
2:58.875–3:00.813
有人測同一段長提示詞
3:00.813–3:02.170
量到兩點九七秒
3:02.390–3:03.387
覺得很快
3:03.387–3:06.128
然後他自己發現那是快取
3:06.128–3:08.870
命中,關掉重測,變成十七秒
3:09.320–3:10.220
先說一件事
3:10.220–3:12.200
Mac 跟一般電腦差在哪
3:12.200–3:14.180
差在它的記憶體是統一的
3:14.400–3:16.650
CPU 跟 GPU 共用同一池
3:16.870–3:18.795
所以規格表上那個記憶體
3:18.795–3:20.720
數字,就是模型可以用的量
3:20.940–3:22.225
這是 Mac 跑大
3:22.225–3:23.510
模型真正的優勢
3:23.730–3:25.528
在 Mac Studio 上
3:25.528–3:26.836
你只要把記憶體選
3:26.836–3:27.980
超過三十六 GB
3:28.200–3:29.932
系統就會自動把你的
3:29.932–3:32.050
GPU 換成貴一階的那顆
3:32.270–3:34.370
頻寬從四百六十跳到六
3:34.370–3:36.680
百一十四,價格多六百美元
3:36.900–3:39.470
這不是加價選配,是你沒得選
3:39.690–3:41.782
規格跟價格我整理成一張表
3:41.782–3:43.700
放在畫面上,你暫停看就好
3:43.920–3:44.410
我不念
3:44.630–3:47.234
這一段如果幫你省掉在購買頁上
3:47.234–3:49.280
來回猜的時間,順手按個讚
3:49.500–3:50.945
讓這支片被更多正
3:50.945–3:52.390
在選機器的人看到
3:52.840–3:54.345
那把前面那兩件事套回
3:54.345–3:55.700
Mac,會是什麼情況
3:55.920–3:57.050
預填充吃算力
3:57.050–3:58.179
而算力一直是
3:58.179–4:00.250
Apple 這幾代的弱點
4:00.470–4:02.687
M1 到 M4 這幾代
4:02.687–4:05.459
只要你輸入的東西一多
4:05.459–4:08.230
光是讀完就要等。要多久
4:08.450–4:09.180
有數字
4:09.400–4:11.396
有人拿 M3 Ultra 加
4:11.396–4:13.574
五百一十二 GB 記憶體用了
4:13.574–4:15.570
六個月,寫下他的實際體感
4:15.790–4:17.715
簡單對話幾秒鐘就回
4:17.715–4:19.640
這一段你不會有感覺
4:19.860–4:22.331
請它改一篇七千字的文章
4:22.331–4:23.230
等三十秒
4:23.450–4:25.202
掛一個系統提示一萬
4:25.202–4:28.121
六千字的 coding agent
4:28.121–4:28.900
,等九十秒
4:29.120–4:31.518
九十秒。在那九十秒裡
4:31.518–4:33.650
畫面上什麼都沒有
4:33.870–4:35.566
那台是 M3 Ultra
4:35.566–4:36.923
記憶體頻寬已經是
4:36.923–4:38.110
當時最高的一批
4:38.330–4:40.216
頻寬那麼高為什麼
4:40.216–4:41.867
沒有救到這一段
4:41.867–4:44.460
因為這一段卡的不是頻寬
4:44.680–4:45.621
那 M5 呢
4:45.621–4:48.443
Apple 去年十一月發過
4:48.443–4:51.030
一份研究,拿 M5 對比 M4
4:51.250–4:53.622
等第一個字出現的時間
4:53.622–4:55.520
快了三點三到四倍
4:55.520–4:57.180
這是很大的改進
4:57.400–4:58.777
而且方向對
4:58.777–5:01.530
他們加強的正好是算力
5:01.750–5:03.500
那這個改進是哪裡來的
5:03.720–5:05.510
M5 這一代在每一個
5:05.510–5:07.500
GPU 核心裡面,加了一
5:07.500–5:09.290
個專門算矩陣的單元
5:09.510–5:11.200
叫做神經加速器
5:11.420–5:13.712
Apple 自己的說法是
5:13.712–5:15.171
產生第一個字這
5:15.171–5:16.630
件事被算力綁住
5:16.850–5:18.647
而它完全吃得到神
5:18.647–5:20.220
經加速器的好處
5:20.440–5:21.414
換句話說
5:21.414–5:23.850
你多花的錢買到的算力
5:24.070–5:25.835
全部用在你按下送
5:25.835–5:27.600
出之後那段等待上
5:27.820–5:28.823
有多明顯
5:28.823–5:30.830
有人拿同一台 M5
5:30.830–5:33.590
同一個模型,只切這個開關
5:33.810–5:35.759
讀取的速度從每秒
5:35.759–5:37.708
兩百四十七跳到六
5:37.708–5:39.900
百三十六,兩點五七倍
5:40.120–5:42.645
吐字的速度從二十九點六
5:42.645–5:45.170
到三十一,只有一點零五倍
5:45.390–5:46.576
你注意一下這
5:46.576–5:47.960
兩個數字的差距
5:48.180–5:50.694
同一台機器同一個模型
5:50.694–5:53.710
只換一個開關,一邊跳兩倍半
5:53.930–5:55.613
另一邊幾乎不動
5:55.613–5:57.297
這就是那兩件事
5:57.297–5:58.980
真的分開的證據
5:59.200–6:01.282
那買之前要注意
6:01.282–6:02.770
什麼。有兩件
6:02.990–6:06.619
第一,這個東西不是只有某一台有
6:06.619–6:08.952
M5,M5 Pro,M5
6:08.952–6:11.544
Max,M5 Ultra
6:11.544–6:12.840
連 M6 都有
6:13.060–6:15.255
所以它不是選型的差別
6:15.255–6:17.230
你買哪一台都吃得到
6:17.450–6:19.393
第二,有這個硬體是
6:19.393–6:21.822
不是就自動用得到。不是
6:21.822–6:23.280
要 macOS
6:23.280–6:24.980
二十六點二以上
6:25.200–6:27.530
而且軟體要支援才會啟用
6:27.750–6:28.937
但要注意這是
6:28.937–6:31.113
Apple 拿自己比自己
6:31.113–6:32.300
它沒有回答跟
6:32.300–6:34.080
NVIDIA 差多少
6:34.300–6:35.995
那個差距目前只
6:35.995–6:37.689
有上一代的數字
6:37.689–6:40.110
同一個模型同一段輸入
6:40.330–6:42.918
M3 Ultra 要五點
6:42.918–6:45.248
五七秒,NVIDIA
6:45.248–6:47.836
那台小機器一點四七秒
6:47.836–6:49.130
差三點八倍
6:49.350–6:51.371
那 Mac Studio
6:51.371–6:52.786
上面那顆最大的
6:52.786–6:54.403
M5 Ultra 呢
6:54.403–6:55.615
它九月二十二
6:55.615–6:57.030
號才第一次出貨
6:57.250–6:58.092
在那之前
6:58.092–7:00.197
這顆晶片沒有人拿到過
7:00.197–7:01.250
能追上多少
7:01.470–7:02.393
要等出貨之後
7:02.393–7:03.470
才有人測得出來
7:03.920–7:05.371
那另外一半呢
7:05.371–7:06.580
解碼跟頻寬
7:06.800–7:09.084
解碼是一個字一個字產生
7:09.084–7:10.330
每產生一個字
7:10.550–7:12.482
mac都要把整份模型
7:12.482–7:14.800
權重從記憶體讀進晶片一次
7:15.020–7:16.918
所以它被什麼綁住
7:16.918–7:18.105
記憶體頻寬
7:18.105–7:19.054
頻寬翻倍
7:19.054–7:21.190
吐字速度就接近翻倍
7:21.410–7:23.415
所以跑分表上最常看到的那
7:23.415–7:25.420
個數字,每秒幾個 token
7:25.640–7:27.673
在 Mac 上為什麼會很好看
7:27.673–7:28.690
就是這個原因
7:28.910–7:31.322
M5 這一代吐字也有進步
7:31.322–7:33.076
官方的數字是快百
7:33.076–7:34.830
分之十九到二十七
7:35.050–7:37.643
比起預填充那個三到四倍小
7:37.643–7:40.020
很多,但你看跑分表的時候
7:40.240–7:41.490
感覺是很直接的
7:41.710–7:42.767
問題在這裡
7:42.767–7:44.669
你日常真正在做的事
7:44.669–7:46.360
決定你有沒有感覺
7:46.580–7:48.250
你平常是哪一種
7:48.250–7:49.919
如果你只是聊天
7:49.919–7:51.350
問一句答一句
7:51.570–7:53.465
輸入很短輸出很長
7:53.465–7:55.598
那頻寬就是你的體感
7:55.598–7:57.730
數字好看你就真的爽
7:57.950–7:58.115
但
7:58.115–8:01.080
如果你在做 agentic coding
8:01.080–8:02.398
,或者同時開好幾個
8:02.398–8:03.880
代理,情況完全反過來
8:04.100–8:06.494
那種工作是什麼形狀
8:06.494–8:09.686
讀進去一大坨,吐出來一小撮
8:09.686–8:10.750
實測下來
8:10.970–8:13.435
每一輪送進去二十萬 token
8:13.435–8:15.020
,只吐出不到一千個字
8:15.240–8:16.333
這種形狀下
8:16.333–8:18.082
你的時間幾乎全部
8:18.082–8:20.050
花在預填充,不在吐字
8:20.270–8:21.657
頻寬再高也救不了
8:21.657–8:23.390
這樣的體驗將會非常差
8:23.610–8:25.380
你大概率會想要退貨的
8:25.600–8:28.061
那多開幾個代理會怎麼樣
8:28.061–8:29.850
你每開一個子代理
8:30.070–8:32.617
就是一次全新的預填充
8:32.617–8:34.400
開四個就是四次
8:34.620–8:36.200
所以同一台mac
8:36.200–8:38.175
你拿它聊天會覺得很快
8:38.175–8:40.150
拿它跑代理會覺得很慢
8:40.370–8:41.857
兩個感覺都是真的
8:41.857–8:43.159
因為你在用的是
8:43.159–8:44.460
兩個不同的規格
8:44.910–8:46.524
如果你買 Mac 是為
8:46.524–8:48.316
了在本地跑語言模型,有
8:48.316–8:49.930
一類模型特別適合你
8:50.150–8:51.360
叫做 MoE
8:51.580–8:52.238
它的全名是
8:52.238–8:53.422
Mixture of
8:53.422–8:54.870
Experts,混合專家
8:55.090–8:56.514
一般的模型裡面
8:56.514–8:58.956
負責運算的那一層只有一組
8:58.956–9:00.380
你每產生一個字
9:00.600–9:02.200
這一組全部都要動一次
9:02.420–9:05.138
MoE 把那一層拆成很多組
9:05.138–9:07.630
常見的是幾十組到幾百組
9:07.850–9:09.167
然後它多了一
9:09.167–9:10.703
個很小的分派器
9:10.703–9:12.020
每產生一個字
9:12.240–9:13.920
分派器決定這次要叫醒
9:13.920–9:15.600
哪幾組,通常只叫兩三組
9:15.820–9:17.454
沒被叫到的那幾百組
9:17.454–9:19.270
這個字完全不參與運算
9:19.490–9:21.415
那沒被叫到的那些呢
9:21.415–9:23.340
它們還是佔著記憶體
9:23.560–9:25.810
沒被叫到不等於不用放進來
9:26.030–9:27.811
那你怎麼看出一個
9:27.811–9:30.259
模型是不是 MoE。看名字
9:30.259–9:32.040
你會看到兩個數字
9:32.260–9:35.380
像是三十 B,A 三 B 這種寫法
9:35.600–9:37.257
前面那個是總共多大
9:37.257–9:38.730
決定你裝不裝得下
9:38.950–9:41.404
A 後面那個是每次啟用多少
9:41.404–9:43.040
決定你跑起來多快
9:43.260–9:44.716
那這件事為什麼剛
9:44.716–9:45.990
好對 Mac 有用
9:46.210–9:47.764
回想一下前面講的
9:47.764–9:49.513
Mac 的強項是什麼
9:49.513–9:50.290
記憶體大
9:50.510–9:52.839
因為它是統一記憶體
9:52.839–9:54.910
整池都能給模型用
9:55.130–9:57.572
Mac 的弱項是算力比較差
9:57.572–9:58.996
讀你貼進去那一
9:58.996–10:00.420
大段的時候會等
10:00.640–10:02.205
頻寬也不是最頂的
10:02.205–10:03.770
吐字速度有天花板
10:03.990–10:05.237
MoE 要的剛
10:05.237–10:06.692
好是 Mac 有的
10:06.692–10:07.731
它吃記憶體
10:07.731–10:09.393
而記憶體是 Mac
10:09.393–10:10.640
最不缺的東西
10:10.860–10:12.134
MoE 省的剛
10:12.134–10:13.620
好是 Mac 缺的
10:13.620–10:15.106
每次只算兩三組
10:15.106–10:16.380
算力需求變小
10:16.600–10:18.450
要搬的權重也少很多
10:18.670–10:20.087
所以同一台 Mac
10:20.087–10:21.503
跑一個一千一百七
10:21.503–10:22.920
十億參數的 MoE
10:23.140–10:24.625
可以比跑一個七百
10:24.625–10:26.110
億的一般模型還快
10:26.330–10:27.959
這也是為什麼你會看到
10:27.959–10:29.588
有人拿 Mac 跑那些名
10:29.588–10:31.380
字聽起來很誇張的大模型
10:31.600–10:32.810
而且真的跑得動
10:33.030–10:35.321
你在 Mac 上挑模型的時候
10:35.321–10:37.040
名字裡有沒有那個 A
10:37.260–10:38.870
是你第一個要看的東西
10:39.090–10:41.004
有一件事不要算過頭
10:41.004–10:42.706
你不能拿啟用的那
10:42.706–10:44.620
一小塊直接去除頻寬
10:44.840–10:46.770
然後說速度會變幾倍
10:46.770–10:49.128
中間還有挑選專家的成本
10:49.128–10:50.200
那個不是零
10:50.650–10:51.376
說到這裡
10:51.376–10:53.556
規格對應到什麼已經清楚了
10:53.556–10:55.190
那就分成三種人來看
10:55.410–10:57.462
第一種,你的 AI 全部都用雲端的
10:57.462–11:00.248
ChatGPT,Claude,Gemini
11:00.248–11:01.274
,你不打算在自己
11:01.274–11:02.300
mac上跑模型
11:02.520–11:04.924
那這些頻寬跟核心數的差別
11:04.924–11:06.527
對你幾乎沒有意義
11:06.527–11:08.330
十六 GB,二十四 GB
11:08.550–11:10.400
或者三十二 GB 都夠用
11:10.620–11:11.587
那要花多少
11:11.587–11:13.329
八百九十九到一千兩
11:13.329–11:15.070
百九十九美元這一段
11:15.290–11:16.583
M6 的 Mac mini
11:16.583–11:17.100
就可以了
11:17.320–11:19.619
真的要偶爾在本地跑一下
11:19.619–11:22.128
三十二 GB 可以放 Qwen
11:22.128–11:23.800
那個三十 B,A 三 B
11:24.020–11:25.509
總共三百零五億
11:25.509–11:27.210
每次啟用三十三億
11:27.210–11:29.550
四位元之後十八點六 GB
11:29.770–11:30.645
第二種呢
11:30.645–11:31.738
你要剪影片
11:31.738–11:33.050
同時想在本地
11:33.050–11:34.580
跑一些語言模型
11:34.800–11:36.322
這一種的甜蜜點在哪
11:36.322–11:36.999
我認為是
11:36.999–11:39.029
Mac Studio 六十四
11:39.029–11:40.890
GB,三千七百九十九美元
11:41.110–11:42.803
六十四 GB 剛
11:42.803–11:44.119
好讓三百二十億
11:44.119–11:46.000
參數這一級跑得很舒服
11:46.220–11:47.830
七百億也塞得進去
11:48.050–11:49.599
六十四 GB 在
11:49.599–11:51.730
Studio 上必然是四
11:51.730–11:53.860
十核那顆,頻寬六百一十四
11:54.080–11:55.898
你為了容量付的錢
11:55.898–11:58.170
順便買到了最高的頻寬
11:58.390–12:00.174
這一級你能跑哪些
12:00.174–12:01.735
選擇一下子變多
12:01.735–12:03.519
三十幾 B 的 MoE
12:03.519–12:05.080
跑起來都很輕鬆
12:05.300–12:07.511
如果你買到一百二十八 GB
12:07.511–12:09.538
那 gpt-oss-120b
12:09.538–12:10.643
是最好的例子
12:10.863–12:13.207
一千一百七十億總參數
12:13.207–12:14.849
六十二點八 GB
12:14.849–12:17.193
但每次只啟用五十一億
12:17.413–12:18.288
第三種呢
12:18.288–12:20.696
你對本地大模型有很強的
12:20.696–12:23.103
需求,你要跑那種真正大的
12:23.323–12:25.910
那六十四 GB 夠不夠。不夠
12:25.910–12:28.733
你要看的是二百五十六 GB
12:28.953–12:30.687
甚至五百一十二 GB
12:30.687–12:31.843
的統一記憶體
12:32.063–12:34.781
那個級距只有 Mac Studio
12:34.781–12:36.412
的 M5 Ultra 有
12:36.412–12:38.042
二百五十六 GB 是一
12:38.042–12:39.673
萬零七百九十九美元
12:39.893–12:41.285
為什麼要那麼多
12:41.285–12:43.074
因為真正大的那幾個
12:43.074–12:44.863
開源模型是這個量級
12:45.083–12:46.823
DeepSeek 那個
12:46.823–12:48.911
兩千八百四
12:48.911–12:51.173
十億,四位元要一百五十五 GB
12:51.393–12:52.332
更極端的
12:52.332–12:54.211
Kimi K3 四位
12:54.211–12:56.090
元要一點五一 TB
12:56.090–12:58.203
開源不等於你跑得動
12:58.423–13:01.006
你身邊如果有人也在這幾台之
13:01.006–13:02.993
間猶豫,把這一段轉給他
13:03.213–13:04.712
這三個級距是他要
13:04.712–13:06.023
先搞清楚的東西
13:06.243–13:07.768
五百一十二 GB 那個
13:07.768–13:09.293
版本現在還下不了單
13:09.513–13:12.083
官方說十月下旬才會上市
13:12.303–13:14.307
這一段的價格是跳躍的
13:14.307–13:15.309
不是線性的
13:15.309–13:17.513
從六十四跳到二百五十六
13:17.733–13:20.383
記憶體四倍,價格接近三倍
13:20.603–13:22.461
所以你要先確定你真的
13:22.461–13:24.133
需要跑那麼大的模型
13:24.353–13:25.963
這筆錢才花得下去
13:26.413–13:28.902
前面講的全部是文字模型
13:28.902–13:30.713
那生圖跟生影片呢
13:30.933–13:33.133
這兩件事在 Mac 上是弱的
13:33.133–13:34.783
而且弱的地方不一樣
13:35.003–13:35.778
先講影片
13:35.778–13:37.909
因為想在本地跑 AI 的人
13:37.909–13:39.653
很多是衝著這個來的
13:39.873–13:41.534
而算力,正是前面講的
13:41.534–13:43.563
Apple 這幾代的弱點
13:43.783–13:45.597
而且不只是算力
13:45.597–13:46.633
還有生態
13:46.853–13:49.282
Mac 這邊沒有 TensorRT
13:49.282–13:50.740
那種等級的推論優化
13:50.740–13:52.521
,PyTorch 的編譯加
13:52.521–13:54.303
速跟 Mac 的後端不相容
13:54.523–13:56.501
ComfyUI 在 Mac
13:56.501–13:59.198
上是能跑的,走的是 PyTorch
13:59.198–14:00.636
的 Metal 後端
14:00.636–14:02.074
但有些運算沒實作
14:02.074–14:03.333
會掉回 CPU 跑
14:03.553–14:05.563
在 CUDA 上是裝好就動
14:05.783–14:07.665
M5 的算力是有改善
14:07.665–14:09.964
同一個 app 生同一段五
14:09.964–14:12.264
秒影片,筆電的 M5 Max
14:12.264–14:14.982
四十核兩分鐘,M3 Ultra
14:14.982–14:17.073
八十核要三分二十六秒
14:17.293–14:19.264
但 ComfyUI 不是
14:19.264–14:21.432
直接吃到這個算力,中間隔
14:21.432–14:23.206
著 PyTorch 的
14:23.206–14:25.571
Metal 後端,M5 新加的
14:25.571–14:27.739
矩陣單元它才剛開始支援
14:27.739–14:30.104
算力本來就是 Mac 的弱項
14:30.104–14:31.680
跟 NVIDIA 比
14:31.680–14:32.863
這一代還是輸
14:33.083–14:34.730
如果這台 Mac 你
14:34.730–14:36.788
本來就要買,它同時是你
14:36.788–14:38.640
的日常機,你的剪接機
14:38.860–14:40.150
你寫程式的機器
14:40.370–14:41.638
那半夜掛著跑
14:41.638–14:43.540
基本上只有電費的錢
14:43.760–14:46.389
但是生成的影片速度非常慢
14:46.389–14:48.800
並且還要考量到不是每一
14:48.800–14:51.210
段影片都是可以用的片段
14:51.430–14:54.000
真正能用的秒數,要再打個折
14:54.220–14:56.227
所以如果你的主要目的是
14:56.227–14:57.686
影片生成,那會建議
14:57.686–14:59.510
還是考慮 NVIDIA
14:59.960–15:01.257
最後有一個做法
15:01.257–15:02.740
你不一定用得到它
15:02.960–15:04.587
但我個人認為這解
15:04.587–15:06.010
決方案非常有趣!
15:06.230–15:06.898
有一個團隊
15:06.898–15:08.234
把一台 NVIDIA 的
15:08.234–15:09.703
DGX SPARK和一台
15:09.703–15:11.440
Mac Studio 接在一起
15:11.660–15:14.268
讓算力強的那台負責讀完
15:14.268–15:17.350
整段,讓頻寬高的那台負責吐字
15:17.570–15:20.110
他們自己測的數字是這樣
15:20.110–15:22.420
同一個模型同一段輸入
15:22.640–15:24.860
Mac 那台讀完花五點
15:24.860–15:27.080
五七秒,吐字零點八五秒
15:27.080–15:28.856
NVIDIA 那台
15:28.856–15:30.410
讀完一點四七秒
15:30.630–15:32.480
吐字二點八七秒
15:32.700–15:34.505
你看這四個數字
15:34.505–15:36.310
兩台各自贏一半
15:36.530–15:38.112
兩台各贏一半
15:38.112–15:41.014
接起來取兩邊快的那一段
15:41.014–15:42.860
總共兩點三二秒
15:43.080–15:44.450
快兩點八倍
15:44.670–15:46.435
這剛好證明了前面那
15:46.435–15:48.200
兩件事真的是分開的
15:48.420–15:51.150
沒有一台機器兩邊都贏
15:51.370–15:52.655
不過這是那個團
15:52.655–15:53.940
隊自己測的數字
15:54.160–15:56.205
而且現階段這個解決方案
15:56.205–15:58.250
一定還有很大的改善空間
15:58.470–15:59.235
即便如此
15:59.235–16:01.337
我還是相信未來會有更多
16:01.337–16:03.440
類似這樣的更好解決方案
16:03.660–16:05.585
讓大家可以自己根據需
16:05.585–16:07.510
求組合對應的硬體規格
16:07.960–16:09.530
最後再收一次
16:09.530–16:12.407
記憶體決定你裝不裝得下
16:12.407–16:14.500
頻寬決定吐字多快
16:14.720–16:16.671
按下任
16:16.671–16:18.867
務送出之後要等多久
16:18.867–16:20.330
你卡在哪一件
16:20.550–16:22.955
你要找的不是最強的那一台
16:22.955–16:24.960
是你自己卡在哪一件事
16:25.180–16:27.590
然後規格表上對應的那一行
16:27.810–16:28.521
生圖的話
16:28.521–16:30.477
我上面已經幫你們算過了
16:30.477–16:31.900
專門買一台不划算
16:32.120–16:33.370
順便用很划算
16:33.590–16:35.078
跑文字模型的話
16:35.078–16:36.565
裝得下是第一關
16:36.565–16:37.840
頻寬是第二關
16:38.060–16:38.914
相信這樣你自
16:38.914–16:39.910
己就挑得出來了
16:40.130–16:42.530
這批機器九月二十二號出貨
16:42.750–16:44.148
到時候會有第一批
16:44.148–16:45.720
真正的實測數字出來
16:45.940–16:47.785
我會回來把這支影片裡所
16:47.785–16:49.630
有還沒有數字的地方填滿
16:49.850–16:51.657
你如果不想錯過那一集
16:51.657–16:52.380
訂閱一下
16:52.600–16:55.172
另外,你現在卡在哪兩個規格之間
16:55.172–16:57.010
或者已經下訂了哪一台
16:57.230–16:58.864
留言告訴我你的用途
16:58.864–17:00.680
我看看能不能幫你判斷
17:00.900–17:03.300
我是路可,讓我們一起踹踹看
0:00.000–0:01.580
zh相信大家對於九月這批
相信大家對於九月這批
0:01.580–0:03.161
zh新的 Mac mini 跟
新的 Mac mini 跟
0:03.161–0:04.583
enMac Studio,
Mac Studio,
0:04.583–0:06.480
zh到底要買哪一台,買什麼規格
到底要買哪一台,買什麼規格
0:06.700–0:07.820
zh都有很大的疑問
都有很大的疑問
0:08.040–0:08.965
zh我也一樣
我也一樣
0:08.965–0:11.742
zh我打開購買頁排了一個下午
我打開購買頁排了一個下午
0:11.742–0:13.130
zh越排越不確定
越排越不確定
0:13.350–0:14.894
zh因為官網把記憶體
因為官網把記憶體
0:14.894–0:16.051
zhGPU 核心數
GPU 核心數
0:16.051–0:17.209
zh跟記憶體頻寬
跟記憶體頻寬
0:17.209–0:18.560
zh分成三個地方寫
分成三個地方寫
0:18.780–0:20.636
zh你看得到每一個數字
你看得到每一個數字
0:20.636–0:23.110
zh但看不到它們是連在一起的
但看不到它們是連在一起的
0:23.330–0:24.889
zh我先給你其中一個結論
我先給你其中一個結論
0:24.889–0:26.760
zh你等一下就知道我在說什麼
你等一下就知道我在說什麼
0:26.980–0:28.604
zh如果你跑代理的時候
如果你跑代理的時候
0:28.604–0:30.768
zh每一輪都要讀進很長的內容
每一輪都要讀進很長的內容
0:30.768–0:32.031
zh卻只回你一小段
卻只回你一小段
0:32.031–0:34.196
zh時間就可能主要花在處理輸
時間就可能主要花在處理輸
0:34.196–0:36.180
zh入的運算上,不是花在吐字
入的運算上,不是花在吐字
0:36.400–0:37.913
zh這一段主要看算力
這一段主要看算力
0:37.913–0:39.993
zh所以模型裝得下、吐字很快
所以模型裝得下、吐字很快
0:39.993–0:41.316
zh都不代表你按下
都不代表你按下
0:41.316–0:42.640
zh送出之後不用等
送出之後不用等
0:42.860–0:44.540
zh這支影片就是要幫助你
這支影片就是要幫助你
0:44.540–0:46.220
zh選一台適合自己的規格
選一台適合自己的規格
0:46.440–0:47.874
zh先把買之前必須
先把買之前必須
0:47.874–0:49.717
zh知道的那幾個規格,各
知道的那幾個規格,各
0:49.717–0:51.560
zh自卡住你什麼,講清楚
自卡住你什麼,講清楚
0:51.780–0:52.782
zh然後你拿自己
然後你拿自己
0:52.782–0:53.950
zh的使用情境去對
的使用情境去對
0:54.170–0:55.415
zh你就抓得到最適
你就抓得到最適
0:55.415–0:56.660
zh合你的那個規格
合你的那個規格
0:57.110–0:58.323
zh購買 mac 之前
購買 mac 之前
0:58.323–1:00.230
zh有兩件事情一定要先理解
有兩件事情一定要先理解
1:00.450–1:02.460
zh第一個叫什麼。預填充
第一個叫什麼。預填充
1:02.680–1:04.405
zh它會把你輸入的整段
它會把你輸入的整段
1:04.405–1:06.130
zh提示詞一次全部算完
提示詞一次全部算完
1:06.350–1:07.773
zh這一段算完之後
這一段算完之後
1:07.773–1:09.400
zh它會把每一層算出
它會把每一層算出
1:09.400–1:11.230
zh來的中間結果存下來
來的中間結果存下來
1:11.450–1:13.370
zh就是所謂的 KV cache
就是所謂的 KV cache
1:13.590–1:14.845
zh第二個是解碼
第二個是解碼
1:14.845–1:17.145
zh它開始一個字一個字回你
它開始一個字一個字回你
1:17.145–1:18.400
zh每次吐一個字
每次吐一個字
1:18.620–1:19.530
zh它都要把整份
它都要把整份
1:19.530–1:21.350
zhKV cache 從頭掃一次
KV cache 從頭掃一次
1:21.570–1:22.887
zh這兩件事卡在
這兩件事卡在
1:22.887–1:24.424
zh完全不同的地方
完全不同的地方
1:24.424–1:26.620
zh預填充是一次算一大片
預填充是一次算一大片
1:26.840–1:27.932
zh主要靠算力
主要靠算力
1:27.932–1:30.117
zh解碼是一個字一個字來
解碼是一個字一個字來
1:30.117–1:32.520
zh每次都要把資料整份搬過
每次都要把資料整份搬過
1:32.740–1:34.900
zh靠的是記憶體頻寬
靠的是記憶體頻寬
1:35.120–1:38.011
zh那麼..預填充為什麼會慢呢?
那麼..預填充為什麼會慢呢?
1:38.011–1:39.850
zh因為你輸入越長
因為你輸入越長
1:40.070–1:42.620
zh它要算的量不是等比例增加
它要算的量不是等比例增加
1:42.620–1:44.320
zh是跟長度的平方走
是跟長度的平方走
1:44.540–1:46.316
zh你貼一段程式碼進去
你貼一段程式碼進去
1:46.316–1:47.894
zh那一段要先被讀完
那一段要先被讀完
1:47.894–1:49.670
zh你才會看到第一個字
你才會看到第一個字
1:49.890–1:51.465
zh這裡有一個大家最
這裡有一個大家最
1:51.465–1:52.842
zh容易搞錯的地方
容易搞錯的地方
1:52.842–1:54.220
zh多輪對話的時候
多輪對話的時候
1:54.440–1:55.799
zh前面所有的歷史
前面所有的歷史
1:55.799–1:58.130
zh會不會每一輪都重新算一次
會不會每一輪都重新算一次
1:58.350–1:59.417
zh答案是不一定
答案是不一定
1:59.417–2:01.017
zh如果前面那一段一個
如果前面那一段一個
2:01.017–2:02.973
zh字都沒變,KV cache
字都沒變,KV cache
2:02.973–2:04.040
zh可以直接沿用
可以直接沿用
2:04.260–2:05.425
zhmac只算你這
mac只算你這
2:05.425–2:06.590
zh一輪新加的東西
一輪新加的東西
2:06.810–2:08.917
zh那什麼時候會失效
那什麼時候會失效
2:08.917–2:10.233
zh有三種情況
有三種情況
2:10.233–2:12.340
zh一種就是全部重算
一種就是全部重算
2:12.560–2:13.772
zh第一種是什麼
第一種是什麼
2:13.772–2:15.792
zh你開了一個新的子代理
你開了一個新的子代理
2:15.792–2:17.610
zh那是一個全新的對話
那是一個全新的對話
2:17.830–2:19.760
zh前面的快取一個字都用不到
前面的快取一個字都用不到
2:19.980–2:20.991
zh第二種呢
第二種呢
2:20.991–2:24.023
zh工具回傳的結果被插進中間
工具回傳的結果被插進中間
2:24.023–2:26.550
zh插入點後面的全部失效
插入點後面的全部失效
2:26.770–2:27.783
zh第三種呢
第三種呢
2:27.783–2:30.061
zh你把程式關掉再打開
你把程式關掉再打開
2:30.061–2:31.580
zh本地跑的時候
本地跑的時候
2:31.800–2:33.850
zh通常不會把快取留到下一次
通常不會把快取留到下一次
2:34.070–2:35.510
zh這個差別有多大
這個差別有多大
2:35.510–2:37.360
zh有人拿同一台mac
有人拿同一台mac
2:37.360–2:38.800
zh同一個模型量過
同一個模型量過
2:39.020–2:41.568
zh快取全中的時候,等兩點九秒
快取全中的時候,等兩點九秒
2:41.568–2:43.478
zh快取沒中要全部重算
快取沒中要全部重算
2:43.478–2:44.540
zh等八十二秒
等八十二秒
2:44.760–2:47.313
zh同一台mac,同一個模型
同一台mac,同一個模型
2:47.313–2:48.473
zh差二十八倍
差二十八倍
2:48.473–2:49.866
zh差別只在前面
差別只在前面
2:49.866–2:51.490
zh那段有沒有動過
那段有沒有動過
2:51.710–2:53.841
zh所以你如果覺得同一台mac
所以你如果覺得同一台mac
2:53.841–2:55.480
zh有時候很快有時候很慢
有時候很快有時候很慢
2:55.700–2:56.910
zh那不是你的錯覺
那不是你的錯覺
2:57.130–2:58.875
zh還有一個例子更直接
還有一個例子更直接
2:58.875–3:00.813
zh有人測同一段長提示詞
有人測同一段長提示詞
3:00.813–3:02.170
zh量到兩點九七秒
量到兩點九七秒
3:02.390–3:03.387
zh覺得很快
覺得很快
3:03.387–3:06.128
zh然後他自己發現那是快取
然後他自己發現那是快取
3:06.128–3:08.870
zh命中,關掉重測,變成十七秒
命中,關掉重測,變成十七秒
3:09.320–3:10.220
zh先說一件事
先說一件事
3:10.220–3:12.200
zhMac 跟一般電腦差在哪
Mac 跟一般電腦差在哪
3:12.200–3:14.180
zh差在它的記憶體是統一的
差在它的記憶體是統一的
3:14.400–3:16.650
zhCPU 跟 GPU 共用同一池
CPU 跟 GPU 共用同一池
3:16.870–3:18.795
zh所以規格表上那個記憶體
所以規格表上那個記憶體
3:18.795–3:20.720
zh數字,就是模型可以用的量
數字,就是模型可以用的量
3:20.940–3:22.225
zh這是 Mac 跑大
這是 Mac 跑大
3:22.225–3:23.510
zh模型真正的優勢
模型真正的優勢
3:23.730–3:25.528
zh在 Mac Studio 上
在 Mac Studio 上
3:25.528–3:26.836
zh你只要把記憶體選
你只要把記憶體選
3:26.836–3:27.980
zh超過三十六 GB
超過三十六 GB
3:28.200–3:29.932
zh系統就會自動把你的
系統就會自動把你的
3:29.932–3:32.050
zhGPU 換成貴一階的那顆
GPU 換成貴一階的那顆
3:32.270–3:34.370
zh頻寬從四百六十跳到六
頻寬從四百六十跳到六
3:34.370–3:36.680
zh百一十四,價格多六百美元
百一十四,價格多六百美元
3:36.900–3:39.470
zh這不是加價選配,是你沒得選
這不是加價選配,是你沒得選
3:39.690–3:41.782
zh規格跟價格我整理成一張表
規格跟價格我整理成一張表
3:41.782–3:43.700
zh放在畫面上,你暫停看就好
放在畫面上,你暫停看就好
3:43.920–3:44.410
zh我不念
我不念
3:44.630–3:47.234
zh這一段如果幫你省掉在購買頁上
這一段如果幫你省掉在購買頁上
3:47.234–3:49.280
zh來回猜的時間,順手按個讚
來回猜的時間,順手按個讚
3:49.500–3:50.945
zh讓這支片被更多正
讓這支片被更多正
3:50.945–3:52.390
zh在選機器的人看到
在選機器的人看到
3:52.840–3:54.345
zh那把前面那兩件事套回
那把前面那兩件事套回
3:54.345–3:55.700
zhMac,會是什麼情況
Mac,會是什麼情況
3:55.920–3:57.050
zh預填充吃算力
預填充吃算力
3:57.050–3:58.179
zh而算力一直是
而算力一直是
3:58.179–4:00.250
zhApple 這幾代的弱點
Apple 這幾代的弱點
4:00.470–4:02.687
zhM1 到 M4 這幾代
M1 到 M4 這幾代
4:02.687–4:05.459
zh只要你輸入的東西一多
只要你輸入的東西一多
4:05.459–4:08.230
zh光是讀完就要等。要多久
光是讀完就要等。要多久
4:08.450–4:09.180
zh有數字
有數字
4:09.400–4:11.396
zh有人拿 M3 Ultra 加
有人拿 M3 Ultra 加
4:11.396–4:13.574
zh五百一十二 GB 記憶體用了
五百一十二 GB 記憶體用了
4:13.574–4:15.570
zh六個月,寫下他的實際體感
六個月,寫下他的實際體感
4:15.790–4:17.715
zh簡單對話幾秒鐘就回
簡單對話幾秒鐘就回
4:17.715–4:19.640
zh這一段你不會有感覺
這一段你不會有感覺
4:19.860–4:22.331
zh請它改一篇七千字的文章
請它改一篇七千字的文章
4:22.331–4:23.230
zh等三十秒
等三十秒
4:23.450–4:25.202
zh掛一個系統提示一萬
掛一個系統提示一萬
4:25.202–4:28.121
zh六千字的 coding agent
六千字的 coding agent
4:28.121–4:28.900
zh,等九十秒
,等九十秒
4:29.120–4:31.518
zh九十秒。在那九十秒裡
九十秒。在那九十秒裡
4:31.518–4:33.650
zh畫面上什麼都沒有
畫面上什麼都沒有
4:33.870–4:35.566
zh那台是 M3 Ultra
那台是 M3 Ultra
4:35.566–4:36.923
zh記憶體頻寬已經是
記憶體頻寬已經是
4:36.923–4:38.110
zh當時最高的一批
當時最高的一批
4:38.330–4:40.216
zh頻寬那麼高為什麼
頻寬那麼高為什麼
4:40.216–4:41.867
zh沒有救到這一段
沒有救到這一段
4:41.867–4:44.460
zh因為這一段卡的不是頻寬
因為這一段卡的不是頻寬
4:44.680–4:45.621
zh那 M5 呢
那 M5 呢
4:45.621–4:48.443
zhApple 去年十一月發過
Apple 去年十一月發過
4:48.443–4:51.030
zh一份研究,拿 M5 對比 M4
一份研究,拿 M5 對比 M4
4:51.250–4:53.622
zh等第一個字出現的時間
等第一個字出現的時間
4:53.622–4:55.520
zh快了三點三到四倍
快了三點三到四倍
4:55.520–4:57.180
zh這是很大的改進
這是很大的改進
4:57.400–4:58.777
zh而且方向對
而且方向對
4:58.777–5:01.530
zh他們加強的正好是算力
他們加強的正好是算力
5:01.750–5:03.500
zh那這個改進是哪裡來的
那這個改進是哪裡來的
5:03.720–5:05.510
zhM5 這一代在每一個
M5 這一代在每一個
5:05.510–5:07.500
zhGPU 核心裡面,加了一
GPU 核心裡面,加了一
5:07.500–5:09.290
zh個專門算矩陣的單元
個專門算矩陣的單元
5:09.510–5:11.200
zh叫做神經加速器
叫做神經加速器
5:11.420–5:13.712
zhApple 自己的說法是
Apple 自己的說法是
5:13.712–5:15.171
zh產生第一個字這
產生第一個字這
5:15.171–5:16.630
zh件事被算力綁住
件事被算力綁住
5:16.850–5:18.647
zh而它完全吃得到神
而它完全吃得到神
5:18.647–5:20.220
zh經加速器的好處
經加速器的好處
5:20.440–5:21.414
zh換句話說
換句話說
5:21.414–5:23.850
zh你多花的錢買到的算力
你多花的錢買到的算力
5:24.070–5:25.835
zh全部用在你按下送
全部用在你按下送
5:25.835–5:27.600
zh出之後那段等待上
出之後那段等待上
5:27.820–5:28.823
zh有多明顯
有多明顯
5:28.823–5:30.830
zh有人拿同一台 M5
有人拿同一台 M5
5:30.830–5:33.590
zh同一個模型,只切這個開關
同一個模型,只切這個開關
5:33.810–5:35.759
zh讀取的速度從每秒
讀取的速度從每秒
5:35.759–5:37.708
zh兩百四十七跳到六
兩百四十七跳到六
5:37.708–5:39.900
zh百三十六,兩點五七倍
百三十六,兩點五七倍
5:40.120–5:42.645
zh吐字的速度從二十九點六
吐字的速度從二十九點六
5:42.645–5:45.170
zh到三十一,只有一點零五倍
到三十一,只有一點零五倍
5:45.390–5:46.576
zh你注意一下這
你注意一下這
5:46.576–5:47.960
zh兩個數字的差距
兩個數字的差距
5:48.180–5:50.694
zh同一台機器同一個模型
同一台機器同一個模型
5:50.694–5:53.710
zh只換一個開關,一邊跳兩倍半
只換一個開關,一邊跳兩倍半
5:53.930–5:55.613
zh另一邊幾乎不動
另一邊幾乎不動
5:55.613–5:57.297
zh這就是那兩件事
這就是那兩件事
5:57.297–5:58.980
zh真的分開的證據
真的分開的證據
5:59.200–6:01.282
zh那買之前要注意
那買之前要注意
6:01.282–6:02.770
zh什麼。有兩件
什麼。有兩件
6:02.990–6:06.619
zh第一,這個東西不是只有某一台有
第一,這個東西不是只有某一台有
6:06.619–6:08.952
enM5,M5 Pro,M5
M5,M5 Pro,M5
6:08.952–6:11.544
enMax,M5 Ultra
Max,M5 Ultra
6:11.544–6:12.840
zh連 M6 都有
連 M6 都有
6:13.060–6:15.255
zh所以它不是選型的差別
所以它不是選型的差別
6:15.255–6:17.230
zh你買哪一台都吃得到
你買哪一台都吃得到
6:17.450–6:19.393
zh第二,有這個硬體是
第二,有這個硬體是
6:19.393–6:21.822
zh不是就自動用得到。不是
不是就自動用得到。不是
6:21.822–6:23.280
zh要 macOS
要 macOS
6:23.280–6:24.980
zh二十六點二以上
二十六點二以上
6:25.200–6:27.530
zh而且軟體要支援才會啟用
而且軟體要支援才會啟用
6:27.750–6:28.937
zh但要注意這是
但要注意這是
6:28.937–6:31.113
zhApple 拿自己比自己
Apple 拿自己比自己
6:31.113–6:32.300
zh它沒有回答跟
它沒有回答跟
6:32.300–6:34.080
zhNVIDIA 差多少
NVIDIA 差多少
6:34.300–6:35.995
zh那個差距目前只
那個差距目前只
6:35.995–6:37.689
zh有上一代的數字
有上一代的數字
6:37.689–6:40.110
zh同一個模型同一段輸入
同一個模型同一段輸入
6:40.330–6:42.918
zhM3 Ultra 要五點
M3 Ultra 要五點
6:42.918–6:45.248
zh五七秒,NVIDIA
五七秒,NVIDIA
6:45.248–6:47.836
zh那台小機器一點四七秒
那台小機器一點四七秒
6:47.836–6:49.130
zh差三點八倍
差三點八倍
6:49.350–6:51.371
zh那 Mac Studio
那 Mac Studio
6:51.371–6:52.786
zh上面那顆最大的
上面那顆最大的
6:52.786–6:54.403
zhM5 Ultra 呢
M5 Ultra 呢
6:54.403–6:55.615
zh它九月二十二
它九月二十二
6:55.615–6:57.030
zh號才第一次出貨
號才第一次出貨
6:57.250–6:58.092
zh在那之前
在那之前
6:58.092–7:00.197
zh這顆晶片沒有人拿到過
這顆晶片沒有人拿到過
7:00.197–7:01.250
zh能追上多少
能追上多少
7:01.470–7:02.393
zh要等出貨之後
要等出貨之後
7:02.393–7:03.470
zh才有人測得出來
才有人測得出來
7:03.920–7:05.371
zh那另外一半呢
那另外一半呢
7:05.371–7:06.580
zh解碼跟頻寬
解碼跟頻寬
7:06.800–7:09.084
zh解碼是一個字一個字產生
解碼是一個字一個字產生
7:09.084–7:10.330
zh每產生一個字
每產生一個字
7:10.550–7:12.482
zhmac都要把整份模型
mac都要把整份模型
7:12.482–7:14.800
zh權重從記憶體讀進晶片一次
權重從記憶體讀進晶片一次
7:15.020–7:16.918
zh所以它被什麼綁住
所以它被什麼綁住
7:16.918–7:18.105
zh記憶體頻寬
記憶體頻寬
7:18.105–7:19.054
zh頻寬翻倍
頻寬翻倍
7:19.054–7:21.190
zh吐字速度就接近翻倍
吐字速度就接近翻倍
7:21.410–7:23.415
zh所以跑分表上最常看到的那
所以跑分表上最常看到的那
7:23.415–7:25.420
zh個數字,每秒幾個 token
個數字,每秒幾個 token
7:25.640–7:27.673
zh在 Mac 上為什麼會很好看
在 Mac 上為什麼會很好看
7:27.673–7:28.690
zh就是這個原因
就是這個原因
7:28.910–7:31.322
zhM5 這一代吐字也有進步
M5 這一代吐字也有進步
7:31.322–7:33.076
zh官方的數字是快百
官方的數字是快百
7:33.076–7:34.830
zh分之十九到二十七
分之十九到二十七
7:35.050–7:37.643
zh比起預填充那個三到四倍小
比起預填充那個三到四倍小
7:37.643–7:40.020
zh很多,但你看跑分表的時候
很多,但你看跑分表的時候
7:40.240–7:41.490
zh感覺是很直接的
感覺是很直接的
7:41.710–7:42.767
zh問題在這裡
問題在這裡
7:42.767–7:44.669
zh你日常真正在做的事
你日常真正在做的事
7:44.669–7:46.360
zh決定你有沒有感覺
決定你有沒有感覺
7:46.580–7:48.250
zh你平常是哪一種
你平常是哪一種
7:48.250–7:49.919
zh如果你只是聊天
如果你只是聊天
7:49.919–7:51.350
zh問一句答一句
問一句答一句
7:51.570–7:53.465
zh輸入很短輸出很長
輸入很短輸出很長
7:53.465–7:55.598
zh那頻寬就是你的體感
那頻寬就是你的體感
7:55.598–7:57.730
zh數字好看你就真的爽
數字好看你就真的爽
7:57.950–7:58.115
zh但
但
7:58.115–8:01.080
zh如果你在做 agentic coding
如果你在做 agentic coding
8:01.080–8:02.398
zh,或者同時開好幾個
,或者同時開好幾個
8:02.398–8:03.880
zh代理,情況完全反過來
代理,情況完全反過來
8:04.100–8:06.494
zh那種工作是什麼形狀
那種工作是什麼形狀
8:06.494–8:09.686
zh讀進去一大坨,吐出來一小撮
讀進去一大坨,吐出來一小撮
8:09.686–8:10.750
zh實測下來
實測下來
8:10.970–8:13.435
zh每一輪送進去二十萬 token
每一輪送進去二十萬 token
8:13.435–8:15.020
zh,只吐出不到一千個字
,只吐出不到一千個字
8:15.240–8:16.333
zh這種形狀下
這種形狀下
8:16.333–8:18.082
zh你的時間幾乎全部
你的時間幾乎全部
8:18.082–8:20.050
zh花在預填充,不在吐字
花在預填充,不在吐字
8:20.270–8:21.657
zh頻寬再高也救不了
頻寬再高也救不了
8:21.657–8:23.390
zh這樣的體驗將會非常差
這樣的體驗將會非常差
8:23.610–8:25.380
zh你大概率會想要退貨的
你大概率會想要退貨的
8:25.600–8:28.061
zh那多開幾個代理會怎麼樣
那多開幾個代理會怎麼樣
8:28.061–8:29.850
zh你每開一個子代理
你每開一個子代理
8:30.070–8:32.617
zh就是一次全新的預填充
就是一次全新的預填充
8:32.617–8:34.400
zh開四個就是四次
開四個就是四次
8:34.620–8:36.200
zh所以同一台mac
所以同一台mac
8:36.200–8:38.175
zh你拿它聊天會覺得很快
你拿它聊天會覺得很快
8:38.175–8:40.150
zh拿它跑代理會覺得很慢
拿它跑代理會覺得很慢
8:40.370–8:41.857
zh兩個感覺都是真的
兩個感覺都是真的
8:41.857–8:43.159
zh因為你在用的是
因為你在用的是
8:43.159–8:44.460
zh兩個不同的規格
兩個不同的規格
8:44.910–8:46.524
zh如果你買 Mac 是為
如果你買 Mac 是為
8:46.524–8:48.316
zh了在本地跑語言模型,有
了在本地跑語言模型,有
8:48.316–8:49.930
zh一類模型特別適合你
一類模型特別適合你
8:50.150–8:51.360
zh叫做 MoE
叫做 MoE
8:51.580–8:52.238
zh它的全名是
它的全名是
8:52.238–8:53.422
enMixture of
Mixture of
8:53.422–8:54.870
zhExperts,混合專家
Experts,混合專家
8:55.090–8:56.514
zh一般的模型裡面
一般的模型裡面
8:56.514–8:58.956
zh負責運算的那一層只有一組
負責運算的那一層只有一組
8:58.956–9:00.380
zh你每產生一個字
你每產生一個字
9:00.600–9:02.200
zh這一組全部都要動一次
這一組全部都要動一次
9:02.420–9:05.138
zhMoE 把那一層拆成很多組
MoE 把那一層拆成很多組
9:05.138–9:07.630
zh常見的是幾十組到幾百組
常見的是幾十組到幾百組
9:07.850–9:09.167
zh然後它多了一
然後它多了一
9:09.167–9:10.703
zh個很小的分派器
個很小的分派器
9:10.703–9:12.020
zh每產生一個字
每產生一個字
9:12.240–9:13.920
zh分派器決定這次要叫醒
分派器決定這次要叫醒
9:13.920–9:15.600
zh哪幾組,通常只叫兩三組
哪幾組,通常只叫兩三組
9:15.820–9:17.454
zh沒被叫到的那幾百組
沒被叫到的那幾百組
9:17.454–9:19.270
zh這個字完全不參與運算
這個字完全不參與運算
9:19.490–9:21.415
zh那沒被叫到的那些呢
那沒被叫到的那些呢
9:21.415–9:23.340
zh它們還是佔著記憶體
它們還是佔著記憶體
9:23.560–9:25.810
zh沒被叫到不等於不用放進來
沒被叫到不等於不用放進來
9:26.030–9:27.811
zh那你怎麼看出一個
那你怎麼看出一個
9:27.811–9:30.259
zh模型是不是 MoE。看名字
模型是不是 MoE。看名字
9:30.259–9:32.040
zh你會看到兩個數字
你會看到兩個數字
9:32.260–9:35.380
zh像是三十 B,A 三 B 這種寫法
像是三十 B,A 三 B 這種寫法
9:35.600–9:37.257
zh前面那個是總共多大
前面那個是總共多大
9:37.257–9:38.730
zh決定你裝不裝得下
決定你裝不裝得下
9:38.950–9:41.404
zhA 後面那個是每次啟用多少
A 後面那個是每次啟用多少
9:41.404–9:43.040
zh決定你跑起來多快
決定你跑起來多快
9:43.260–9:44.716
zh那這件事為什麼剛
那這件事為什麼剛
9:44.716–9:45.990
zh好對 Mac 有用
好對 Mac 有用
9:46.210–9:47.764
zh回想一下前面講的
回想一下前面講的
9:47.764–9:49.513
zhMac 的強項是什麼
Mac 的強項是什麼
9:49.513–9:50.290
zh記憶體大
記憶體大
9:50.510–9:52.839
zh因為它是統一記憶體
因為它是統一記憶體
9:52.839–9:54.910
zh整池都能給模型用
整池都能給模型用
9:55.130–9:57.572
zhMac 的弱項是算力比較差
Mac 的弱項是算力比較差
9:57.572–9:58.996
zh讀你貼進去那一
讀你貼進去那一
9:58.996–10:00.420
zh大段的時候會等
大段的時候會等
10:00.640–10:02.205
zh頻寬也不是最頂的
頻寬也不是最頂的
10:02.205–10:03.770
zh吐字速度有天花板
吐字速度有天花板
10:03.990–10:05.237
zhMoE 要的剛
MoE 要的剛
10:05.237–10:06.692
zh好是 Mac 有的
好是 Mac 有的
10:06.692–10:07.731
zh它吃記憶體
它吃記憶體
10:07.731–10:09.393
zh而記憶體是 Mac
而記憶體是 Mac
10:09.393–10:10.640
zh最不缺的東西
最不缺的東西
10:10.860–10:12.134
zhMoE 省的剛
MoE 省的剛
10:12.134–10:13.620
zh好是 Mac 缺的
好是 Mac 缺的
10:13.620–10:15.106
zh每次只算兩三組
每次只算兩三組
10:15.106–10:16.380
zh算力需求變小
算力需求變小
10:16.600–10:18.450
zh要搬的權重也少很多
要搬的權重也少很多
10:18.670–10:20.087
zh所以同一台 Mac
所以同一台 Mac
10:20.087–10:21.503
zh跑一個一千一百七
跑一個一千一百七
10:21.503–10:22.920
zh十億參數的 MoE
十億參數的 MoE
10:23.140–10:24.625
zh可以比跑一個七百
可以比跑一個七百
10:24.625–10:26.110
zh億的一般模型還快
億的一般模型還快
10:26.330–10:27.959
zh這也是為什麼你會看到
這也是為什麼你會看到
10:27.959–10:29.588
zh有人拿 Mac 跑那些名
有人拿 Mac 跑那些名
10:29.588–10:31.380
zh字聽起來很誇張的大模型
字聽起來很誇張的大模型
10:31.600–10:32.810
zh而且真的跑得動
而且真的跑得動
10:33.030–10:35.321
zh你在 Mac 上挑模型的時候
你在 Mac 上挑模型的時候
10:35.321–10:37.040
zh名字裡有沒有那個 A
名字裡有沒有那個 A
10:37.260–10:38.870
zh是你第一個要看的東西
是你第一個要看的東西
10:39.090–10:41.004
zh有一件事不要算過頭
有一件事不要算過頭
10:41.004–10:42.706
zh你不能拿啟用的那
你不能拿啟用的那
10:42.706–10:44.620
zh一小塊直接去除頻寬
一小塊直接去除頻寬
10:44.840–10:46.770
zh然後說速度會變幾倍
然後說速度會變幾倍
10:46.770–10:49.128
zh中間還有挑選專家的成本
中間還有挑選專家的成本
10:49.128–10:50.200
zh那個不是零
那個不是零
10:50.650–10:51.376
zh說到這裡
說到這裡
10:51.376–10:53.556
zh規格對應到什麼已經清楚了
規格對應到什麼已經清楚了
10:53.556–10:55.190
zh那就分成三種人來看
那就分成三種人來看
10:55.410–10:57.462
zh第一種,你的 AI 全部都用雲端的
第一種,你的 AI 全部都用雲端的
10:57.462–11:00.248
enChatGPT,Claude,Gemini
ChatGPT,Claude,Gemini
11:00.248–11:01.274
zh,你不打算在自己
,你不打算在自己
11:01.274–11:02.300
zhmac上跑模型
mac上跑模型
11:02.520–11:04.924
zh那這些頻寬跟核心數的差別
那這些頻寬跟核心數的差別
11:04.924–11:06.527
zh對你幾乎沒有意義
對你幾乎沒有意義
11:06.527–11:08.330
zh十六 GB,二十四 GB
十六 GB,二十四 GB
11:08.550–11:10.400
zh或者三十二 GB 都夠用
或者三十二 GB 都夠用
11:10.620–11:11.587
zh那要花多少
那要花多少
11:11.587–11:13.329
zh八百九十九到一千兩
八百九十九到一千兩
11:13.329–11:15.070
zh百九十九美元這一段
百九十九美元這一段
11:15.290–11:16.583
zhM6 的 Mac mini
M6 的 Mac mini
11:16.583–11:17.100
zh就可以了
就可以了
11:17.320–11:19.619
zh真的要偶爾在本地跑一下
真的要偶爾在本地跑一下
11:19.619–11:22.128
zh三十二 GB 可以放 Qwen
三十二 GB 可以放 Qwen
11:22.128–11:23.800
zh那個三十 B,A 三 B
那個三十 B,A 三 B
11:24.020–11:25.509
zh總共三百零五億
總共三百零五億
11:25.509–11:27.210
zh每次啟用三十三億
每次啟用三十三億
11:27.210–11:29.550
zh四位元之後十八點六 GB
四位元之後十八點六 GB
11:29.770–11:30.645
zh第二種呢
第二種呢
11:30.645–11:31.738
zh你要剪影片
你要剪影片
11:31.738–11:33.050
zh同時想在本地
同時想在本地
11:33.050–11:34.580
zh跑一些語言模型
跑一些語言模型
11:34.800–11:36.322
zh這一種的甜蜜點在哪
這一種的甜蜜點在哪
11:36.322–11:36.999
zh我認為是
我認為是
11:36.999–11:39.029
zhMac Studio 六十四
Mac Studio 六十四
11:39.029–11:40.890
zhGB,三千七百九十九美元
GB,三千七百九十九美元
11:41.110–11:42.803
zh六十四 GB 剛
六十四 GB 剛
11:42.803–11:44.119
zh好讓三百二十億
好讓三百二十億
11:44.119–11:46.000
zh參數這一級跑得很舒服
參數這一級跑得很舒服
11:46.220–11:47.830
zh七百億也塞得進去
七百億也塞得進去
11:48.050–11:49.599
zh六十四 GB 在
六十四 GB 在
11:49.599–11:51.730
zhStudio 上必然是四
Studio 上必然是四
11:51.730–11:53.860
zh十核那顆,頻寬六百一十四
十核那顆,頻寬六百一十四
11:54.080–11:55.898
zh你為了容量付的錢
你為了容量付的錢
11:55.898–11:58.170
zh順便買到了最高的頻寬
順便買到了最高的頻寬
11:58.390–12:00.174
zh這一級你能跑哪些
這一級你能跑哪些
12:00.174–12:01.735
zh選擇一下子變多
選擇一下子變多
12:01.735–12:03.519
zh三十幾 B 的 MoE
三十幾 B 的 MoE
12:03.519–12:05.080
zh跑起來都很輕鬆
跑起來都很輕鬆
12:05.300–12:07.511
zh如果你買到一百二十八 GB
如果你買到一百二十八 GB
12:07.511–12:09.538
zh那 gpt-oss-120b
那 gpt-oss-120b
12:09.538–12:10.643
zh是最好的例子
是最好的例子
12:10.863–12:13.207
zh一千一百七十億總參數
一千一百七十億總參數
12:13.207–12:14.849
zh六十二點八 GB
六十二點八 GB
12:14.849–12:17.193
zh但每次只啟用五十一億
但每次只啟用五十一億
12:17.413–12:18.288
zh第三種呢
第三種呢
12:18.288–12:20.696
zh你對本地大模型有很強的
你對本地大模型有很強的
12:20.696–12:23.103
zh需求,你要跑那種真正大的
需求,你要跑那種真正大的
12:23.323–12:25.910
zh那六十四 GB 夠不夠。不夠
那六十四 GB 夠不夠。不夠
12:25.910–12:28.733
zh你要看的是二百五十六 GB
你要看的是二百五十六 GB
12:28.953–12:30.687
zh甚至五百一十二 GB
甚至五百一十二 GB
12:30.687–12:31.843
zh的統一記憶體
的統一記憶體
12:32.063–12:34.781
zh那個級距只有 Mac Studio
那個級距只有 Mac Studio
12:34.781–12:36.412
zh的 M5 Ultra 有
的 M5 Ultra 有
12:36.412–12:38.042
zh二百五十六 GB 是一
二百五十六 GB 是一
12:38.042–12:39.673
zh萬零七百九十九美元
萬零七百九十九美元
12:39.893–12:41.285
zh為什麼要那麼多
為什麼要那麼多
12:41.285–12:43.074
zh因為真正大的那幾個
因為真正大的那幾個
12:43.074–12:44.863
zh開源模型是這個量級
開源模型是這個量級
12:45.083–12:46.823
zhDeepSeek 那個
DeepSeek 那個
12:46.823–12:48.911
zh兩千八百四
兩千八百四
12:48.911–12:51.173
zh十億,四位元要一百五十五 GB
十億,四位元要一百五十五 GB
12:51.393–12:52.332
zh更極端的
更極端的
12:52.332–12:54.211
zhKimi K3 四位
Kimi K3 四位
12:54.211–12:56.090
zh元要一點五一 TB
元要一點五一 TB
12:56.090–12:58.203
zh開源不等於你跑得動
開源不等於你跑得動
12:58.423–13:01.006
zh你身邊如果有人也在這幾台之
你身邊如果有人也在這幾台之
13:01.006–13:02.993
zh間猶豫,把這一段轉給他
間猶豫,把這一段轉給他
13:03.213–13:04.712
zh這三個級距是他要
這三個級距是他要
13:04.712–13:06.023
zh先搞清楚的東西
先搞清楚的東西
13:06.243–13:07.768
zh五百一十二 GB 那個
五百一十二 GB 那個
13:07.768–13:09.293
zh版本現在還下不了單
版本現在還下不了單
13:09.513–13:12.083
zh官方說十月下旬才會上市
官方說十月下旬才會上市
13:12.303–13:14.307
zh這一段的價格是跳躍的
這一段的價格是跳躍的
13:14.307–13:15.309
zh不是線性的
不是線性的
13:15.309–13:17.513
zh從六十四跳到二百五十六
從六十四跳到二百五十六
13:17.733–13:20.383
zh記憶體四倍,價格接近三倍
記憶體四倍,價格接近三倍
13:20.603–13:22.461
zh所以你要先確定你真的
所以你要先確定你真的
13:22.461–13:24.133
zh需要跑那麼大的模型
需要跑那麼大的模型
13:24.353–13:25.963
zh這筆錢才花得下去
這筆錢才花得下去
13:26.413–13:28.902
zh前面講的全部是文字模型
前面講的全部是文字模型
13:28.902–13:30.713
zh那生圖跟生影片呢
那生圖跟生影片呢
13:30.933–13:33.133
zh這兩件事在 Mac 上是弱的
這兩件事在 Mac 上是弱的
13:33.133–13:34.783
zh而且弱的地方不一樣
而且弱的地方不一樣
13:35.003–13:35.778
zh先講影片
先講影片
13:35.778–13:37.909
zh因為想在本地跑 AI 的人
因為想在本地跑 AI 的人
13:37.909–13:39.653
zh很多是衝著這個來的
很多是衝著這個來的
13:39.873–13:41.534
zh而算力,正是前面講的
而算力,正是前面講的
13:41.534–13:43.563
zhApple 這幾代的弱點
Apple 這幾代的弱點
13:43.783–13:45.597
zh而且不只是算力
而且不只是算力
13:45.597–13:46.633
zh還有生態
還有生態
13:46.853–13:49.282
zhMac 這邊沒有 TensorRT
Mac 這邊沒有 TensorRT
13:49.282–13:50.740
zh那種等級的推論優化
那種等級的推論優化
13:50.740–13:52.521
zh,PyTorch 的編譯加
,PyTorch 的編譯加
13:52.521–13:54.303
zh速跟 Mac 的後端不相容
速跟 Mac 的後端不相容
13:54.523–13:56.501
zhComfyUI 在 Mac
ComfyUI 在 Mac
13:56.501–13:59.198
zh上是能跑的,走的是 PyTorch
上是能跑的,走的是 PyTorch
13:59.198–14:00.636
zh的 Metal 後端
的 Metal 後端
14:00.636–14:02.074
zh但有些運算沒實作
但有些運算沒實作
14:02.074–14:03.333
zh會掉回 CPU 跑
會掉回 CPU 跑
14:03.553–14:05.563
zh在 CUDA 上是裝好就動
在 CUDA 上是裝好就動
14:05.783–14:07.665
zhM5 的算力是有改善
M5 的算力是有改善
14:07.665–14:09.964
zh同一個 app 生同一段五
同一個 app 生同一段五
14:09.964–14:12.264
zh秒影片,筆電的 M5 Max
秒影片,筆電的 M5 Max
14:12.264–14:14.982
zh四十核兩分鐘,M3 Ultra
四十核兩分鐘,M3 Ultra
14:14.982–14:17.073
zh八十核要三分二十六秒
八十核要三分二十六秒
14:17.293–14:19.264
zh但 ComfyUI 不是
但 ComfyUI 不是
14:19.264–14:21.432
zh直接吃到這個算力,中間隔
直接吃到這個算力,中間隔
14:21.432–14:23.206
zh著 PyTorch 的
著 PyTorch 的
14:23.206–14:25.571
zhMetal 後端,M5 新加的
Metal 後端,M5 新加的
14:25.571–14:27.739
zh矩陣單元它才剛開始支援
矩陣單元它才剛開始支援
14:27.739–14:30.104
zh算力本來就是 Mac 的弱項
算力本來就是 Mac 的弱項
14:30.104–14:31.680
zh跟 NVIDIA 比
跟 NVIDIA 比
14:31.680–14:32.863
zh這一代還是輸
這一代還是輸
14:33.083–14:34.730
zh如果這台 Mac 你
如果這台 Mac 你
14:34.730–14:36.788
zh本來就要買,它同時是你
本來就要買,它同時是你
14:36.788–14:38.640
zh的日常機,你的剪接機
的日常機,你的剪接機
14:38.860–14:40.150
zh你寫程式的機器
你寫程式的機器
14:40.370–14:41.638
zh那半夜掛著跑
那半夜掛著跑
14:41.638–14:43.540
zh基本上只有電費的錢
基本上只有電費的錢
14:43.760–14:46.389
zh但是生成的影片速度非常慢
但是生成的影片速度非常慢
14:46.389–14:48.800
zh並且還要考量到不是每一
並且還要考量到不是每一
14:48.800–14:51.210
zh段影片都是可以用的片段
段影片都是可以用的片段
14:51.430–14:54.000
zh真正能用的秒數,要再打個折
真正能用的秒數,要再打個折
14:54.220–14:56.227
zh所以如果你的主要目的是
所以如果你的主要目的是
14:56.227–14:57.686
zh影片生成,那會建議
影片生成,那會建議
14:57.686–14:59.510
zh還是考慮 NVIDIA
還是考慮 NVIDIA
14:59.960–15:01.257
zh最後有一個做法
最後有一個做法
15:01.257–15:02.740
zh你不一定用得到它
你不一定用得到它
15:02.960–15:04.587
zh但我個人認為這解
但我個人認為這解
15:04.587–15:06.010
zh決方案非常有趣!
決方案非常有趣!
15:06.230–15:06.898
zh有一個團隊
有一個團隊
15:06.898–15:08.234
zh把一台 NVIDIA 的
把一台 NVIDIA 的
15:08.234–15:09.703
zhDGX SPARK和一台
DGX SPARK和一台
15:09.703–15:11.440
zhMac Studio 接在一起
Mac Studio 接在一起
15:11.660–15:14.268
zh讓算力強的那台負責讀完
讓算力強的那台負責讀完
15:14.268–15:17.350
zh整段,讓頻寬高的那台負責吐字
整段,讓頻寬高的那台負責吐字
15:17.570–15:20.110
zh他們自己測的數字是這樣
他們自己測的數字是這樣
15:20.110–15:22.420
zh同一個模型同一段輸入
同一個模型同一段輸入
15:22.640–15:24.860
zhMac 那台讀完花五點
Mac 那台讀完花五點
15:24.860–15:27.080
zh五七秒,吐字零點八五秒
五七秒,吐字零點八五秒
15:27.080–15:28.856
zhNVIDIA 那台
NVIDIA 那台
15:28.856–15:30.410
zh讀完一點四七秒
讀完一點四七秒
15:30.630–15:32.480
zh吐字二點八七秒
吐字二點八七秒
15:32.700–15:34.505
zh你看這四個數字
你看這四個數字
15:34.505–15:36.310
zh兩台各自贏一半
兩台各自贏一半
15:36.530–15:38.112
zh兩台各贏一半
兩台各贏一半
15:38.112–15:41.014
zh接起來取兩邊快的那一段
接起來取兩邊快的那一段
15:41.014–15:42.860
zh總共兩點三二秒
總共兩點三二秒
15:43.080–15:44.450
zh快兩點八倍
快兩點八倍
15:44.670–15:46.435
zh這剛好證明了前面那
這剛好證明了前面那
15:46.435–15:48.200
zh兩件事真的是分開的
兩件事真的是分開的
15:48.420–15:51.150
zh沒有一台機器兩邊都贏
沒有一台機器兩邊都贏
15:51.370–15:52.655
zh不過這是那個團
不過這是那個團
15:52.655–15:53.940
zh隊自己測的數字
隊自己測的數字
15:54.160–15:56.205
zh而且現階段這個解決方案
而且現階段這個解決方案
15:56.205–15:58.250
zh一定還有很大的改善空間
一定還有很大的改善空間
15:58.470–15:59.235
zh即便如此
即便如此
15:59.235–16:01.337
zh我還是相信未來會有更多
我還是相信未來會有更多
16:01.337–16:03.440
zh類似這樣的更好解決方案
類似這樣的更好解決方案
16:03.660–16:05.585
zh讓大家可以自己根據需
讓大家可以自己根據需
16:05.585–16:07.510
zh求組合對應的硬體規格
求組合對應的硬體規格
16:07.960–16:09.530
zh最後再收一次
最後再收一次
16:09.530–16:12.407
zh記憶體決定你裝不裝得下
記憶體決定你裝不裝得下
16:12.407–16:14.500
zh頻寬決定吐字多快
頻寬決定吐字多快
16:14.720–16:16.671
zh按下任
按下任
16:16.671–16:18.867
zh務送出之後要等多久
務送出之後要等多久
16:18.867–16:20.330
zh你卡在哪一件
你卡在哪一件
16:20.550–16:22.955
zh你要找的不是最強的那一台
你要找的不是最強的那一台
16:22.955–16:24.960
zh是你自己卡在哪一件事
是你自己卡在哪一件事
16:25.180–16:27.590
zh然後規格表上對應的那一行
然後規格表上對應的那一行
16:27.810–16:28.521
zh生圖的話
生圖的話
16:28.521–16:30.477
zh我上面已經幫你們算過了
我上面已經幫你們算過了
16:30.477–16:31.900
zh專門買一台不划算
專門買一台不划算
16:32.120–16:33.370
zh順便用很划算
順便用很划算
16:33.590–16:35.078
zh跑文字模型的話
跑文字模型的話
16:35.078–16:36.565
zh裝得下是第一關
裝得下是第一關
16:36.565–16:37.840
zh頻寬是第二關
頻寬是第二關
16:38.060–16:38.914
zh相信這樣你自
相信這樣你自
16:38.914–16:39.910
zh己就挑得出來了
己就挑得出來了
16:40.130–16:42.530
zh這批機器九月二十二號出貨
這批機器九月二十二號出貨
16:42.750–16:44.148
zh到時候會有第一批
到時候會有第一批
16:44.148–16:45.720
zh真正的實測數字出來
真正的實測數字出來
16:45.940–16:47.785
zh我會回來把這支影片裡所
我會回來把這支影片裡所
16:47.785–16:49.630
zh有還沒有數字的地方填滿
有還沒有數字的地方填滿
16:49.850–16:51.657
zh你如果不想錯過那一集
你如果不想錯過那一集
16:51.657–16:52.380
zh訂閱一下
訂閱一下
16:52.600–16:55.172
zh另外,你現在卡在哪兩個規格之間
另外,你現在卡在哪兩個規格之間
16:55.172–16:57.010
zh或者已經下訂了哪一台
或者已經下訂了哪一台
16:57.230–16:58.864
zh留言告訴我你的用途
留言告訴我你的用途
16:58.864–17:00.680
zh我看看能不能幫你判斷
我看看能不能幫你判斷
17:00.900–17:03.300
zh我是路可,讓我們一起踹踹看
我是路可,讓我們一起踹踹看

影片筆記：M5、M6 Mac 如何選? Mac 跑本地 AI:模型裝得下,為什麼跑Agent就想退貨?

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 全文快速校讀發現待確認修正

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

  • 待修正：⚠️ 全文快速校讀：已套用暫定修正，請確認（segment=75 已先套用暫定修正：一中就是全部重算 → 一種就是全部重算；segment=382 已先套用暫定修正：理由是六十四 GB 剛 → 六十四 GB 剛）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片解析 Mac 運行本地 AI 的硬體瓶頸，指出「預填充」受限於算力而「解碼」受限於記憶體頻寬，建議根據使用情境（雲端/本地/超大模型）選擇 Mac mini 或 Mac Studio，並推薦使用 MoE 模型以彌補 Mac 算力不足，同時指出 Mac 在生圖/生影片領域仍遜色於 NVIDIA。

核心重點

  • 硬體需求差異：
  • 預填充 (Pre-fill)：處理長提示詞，速度受限於算力。Apple 新晶片（M5 系列）透過神經加速器提升此階段速度，但與 NVIDIA 仍有差距。
  • 解碼 (Decoding)：逐字生成，速度受限於記憶體頻寬。Mac 統一記憶體架構在此階段具優勢，頻寬決定吐字速度。
  • 規格選購建議：
  • 純雲端使用者：Mac mini (M6)，16GB-32GB 記憶體足夠。
  • 本地中等模型/剪片：Mac Studio 64GB 為甜蜜點（對應 40 核 GPU，頻寬 614 GB/s）。
  • 超大參數量模型：需 Mac Studio M5 Ultra，256GB 或 512GB 統一記憶體。
  • 模型選擇策略：推薦使用 MoE (混合專家) 模型，因其僅啟用少量參數運算，能彌補 Mac 算力不足，同時利用大記憶體優勢。
  • 生圖/生影片表現：Mac 在此領域表現較弱，若主要需求為生影片建議 NVIDIA；若為日常兼用，Mac 可作為低成本掛機方案。
  • 混合架構：結合 NVIDIA (強算力負責預填充) 與 Mac Studio (高頻寬負責解碼) 可提升整體效率。

詳細大綱

一、 核心概念：預填充 vs. 解碼

  • 預填充 (Pre-fill)：
  • 一次性計算整段輸入提示詞，儲存中間結果為 KV cache。
  • 速度受限於算力。
  • 輸入越長，運算量呈平方級增加。
  • 解碼 (Decoding)：
  • 逐字生成回應，每次吐字需掃描整份 KV cache。
  • 速度受限於記憶體頻寬。
  • KV Cache 失效情況：
  1. 開啟全新子代理（對話）。
  2. 工具回傳結果插入對話中間（導致插入點後失效）。
  3. 關閉程式再打開（本地運行通常不留快取）。
  • *數據對比*：快取命中等待 2.9 秒 vs. 全重算等待 82 秒（差 28 倍）。

二、 Mac 硬體架構與規格解析

  • 統一記憶體架構：
  • CPU 與 GPU 共用記憶體池。
  • 規格表上的記憶體數字即為模型可用上限。
  • Mac Studio 的自動升級機制：
  • 記憶體超過 36 GB 時，系統自動升級 GPU 至更高階，頻寬從 460 跳至 614 GB/s，價格增加 600 美元（非選配，為強制綁定）。
  • 算力與頻寬的體感差異：
  • 算力影響：決定「按下送出後到第一個字出現」的等待時間。
  • 頻寬影響：決定「吐字速度」（每秒 token 數）。
  • *M5 數據對比*：開啟神經加速器後，讀取速度提升 2.57 倍，吐字速度僅提升 1.05 倍。

三、 不同使用情境的規格建議

  • 情境一：純雲端使用者
  • 需求：ChatGPT, Claude, Gemini 等。
  • 建議：Mac mini (M6)，16GB-32GB 記憶體。
  • 價格區間：$899 - $1,299。
  • 情境二：本地運行中等模型 + 剪片
  • 建議：Mac Studio 64GB ($3,799)。
  • 優勢：64GB 對應 40 核 GPU，頻寬 614 GB/s。
  • 可運行：30B+ 參數的 MoE 模型，或 70B 一般模型。
  • 情境三：本地運行超大模型
  • 建議：Mac Studio M5 Ultra，256GB 或 512GB 統一記憶體。
  • 價格：256GB 為 $10,799；512GB 尚未上市（預計 10 月下旬）。
  • 適用模型：DeepSeek 2.84T 參數（需 155GB）、Kimi K3 4-bit（需 1.51TB）。
  • *注意*：記憶體從 64GB 跳至 256GB，價格非線性增長（近 3 倍）。

四、 模型類型：MoE (Mixture of Experts)

  • 原理：將運算層拆分為多組專家，每次僅啟用少數幾組（如 2-3 組），其餘不參與運算但佔用記憶體。
  • 命名規則：
  • 總參數（如 30B）：決定能否裝入記憶體。
  • 啟用參數（如 A 3B）：決定運算速度。
  • 與 Mac 的契合度：
  • Mac 缺算力、頻寬非頂尖，但記憶體大。
  • MoE 節省算力需求，適合 Mac 硬體特性。
  • *範例*：117B 參數的 MoE 可能比 70B 一般模型還快。

五、 生圖與生影片表現

  • Mac 的弱點：
  • 算力較弱，且缺乏 TensorRT 等優化。
  • PyTorch 編譯加速與 Mac 後端相容性問題。
  • ComfyUI 在 Mac 上走 Metal 後端，部分運算會回退至 CPU。
  • 實測對比：
  • M5 Max (40核) 生 5 秒影片：約 2 分鐘。
  • M3 Ultra (80核) 生 5 秒影片：約 3 分 26 秒。
  • 與 NVIDIA 相比，Mac 仍處劣勢。
  • 建議：若主要需求為生影片，建議 NVIDIA；若為日常兼用，Mac 可低成本掛機。

六、 混合架構解決方案

  • 概念：結合 NVIDIA (強算力) 與 Mac Studio (高頻寬)。
  • 分工：NVIDIA 負責預填充（讀完），Mac 負責解碼（吐字）。
  • 測試數據：
  • Mac 單獨：讀 5.57s + 吐 0.85s。
  • NVIDIA 單獨：讀 1.47s + 吐 2.87s。
  • 混合架構：總計 2.32s（比單一機器快 2.8 倍）。
  • *註*：此為團隊自測數據，現階段仍有改善空間。

工具 / 模型 / 名詞整理

硬體產品

  • Mac mini (提及 M6 規格)
  • Mac Studio (提及 M5 Ultra 規格)
  • MacBook / 筆電 (提及 M5 Max 40核)
  • NVIDIA DGX SPARK (提及與 Mac 連接的解決方案)
  • Apple 晶片系列：
  • M1, M2 (隱含), M3, M4
  • M3 Ultra
  • M5, M5 Pro, M5 Max, M5 Ultra
  • M6 (提及於 Mac mini)

軟體、框架與技術

  • macOS (提及版本 26.2 以上支援神經加速器)
  • PyTorch (提及 Metal 後端相容性問題)
  • TensorRT (提及 Mac 缺乏此等級推論優化)
  • ComfyUI (提及生影片工具，走 PyTorch Metal 後端)
  • KV cache (鍵值快取)
  • 神經加速器 (Neural Accelerator，M5 系列新增硬體單元)
  • MoE (Mixture of Experts，混合專家模型)
  • CUDA (提及 NVIDIA 生態)

模型與 AI 服務

  • 雲端服務：
  • ChatGPT
  • Claude
  • Gemini
  • 本地/開源模型範例：
  • Qwen (提及 30B A 3B 規格，總參數 305 億，啟用 33 億，4-bit 後需 18.6 GB)
  • gpt-oss-120b (提及 1170 億總參數，62.8 GB 記憶體，啟用 51 億)
  • DeepSeek (提及 2840 億參數，4-bit 需 155 GB)
  • Kimi K3 (提及 4-bit 需 1.51 TB)

操作流程整理

*(註：影片主要為規格分析與原理講解，無明確單一軟體操作步驟，以下整理硬體選購與架構組裝邏輯)*

  1. 評估使用情境：
  • 若僅使用雲端服務 (ChatGPT/Claude/Gemini)：選擇 Mac mini (M6)，配置 16GB-32GB 記憶體。
  • 若需本地運行中等模型 (30B+ MoE 或 70B 一般模型) 並兼顧剪片：選擇 Mac Studio 64GB。
  • 若需運行超大參數量模型 (如 DeepSeek 2.84T 或 Kimi K3)：選擇 Mac Studio M5 Ultra，配置 256GB 或 512GB 統一記憶體。
  1. 理解硬體限制：
  • 認知「預填充」依賴算力，「解碼」依賴頻寬。
  • 認知 Mac 在生圖/生影片領域算力較弱，若為此主要需求建議 NVIDIA。
  1. 模型選擇與配置：
  • 優先選擇 MoE (混合專家) 模型以節省算力。
  • 確認模型總參數是否小於記憶體容量，確認啟用參數是否適合硬體算力。
  1. 進階架構組裝 (可選)：
  • 若需極致效能，可嘗試結合 NVIDIA 設備 (負責預填充) 與 Mac Studio (負責解碼) 的混合架構。

值得注意的限制或風險

  • Mac Studio 記憶體綁定機制：記憶體超過 36 GB 時，系統強制升級 GPU 至更高階並增加頻寬，導致價格非線性增長（如從 64GB 跳至 256GB，價格增加近 3 倍）。
  • Mac 生圖/生影片效能：由於算力較弱、缺乏 TensorRT 優化及 PyTorch Metal 後端相容性問題，Mac 在生影片方面表現遜色於 NVIDIA，部分運算會回退至 CPU。
  • KV Cache 失效風險：在 Agent 運行中，若開啟新子代理、工具回傳結果插入對話中間，或關閉程式，KV Cache 會失效，導致需重新進行耗時的預填充計算，顯著增加等待時間。
  • 硬體規格辨識風險：影片中提及的「M5/M6 晶片」、「macOS 26.2」、「DGX SPARK」等名稱與當前公開資訊可能有出入，購買或配置時需特別確認實際硬體規格。

逐字稿辨識疑點

  • 「M5」晶片名稱：逐字稿中多次提及「M5」、「M5 Pro」、「M5 Max」、「M5 Ultra」以及「M6」。
  • *註*：截至當前公開資訊，Apple 最新為 M4 系列，M5 系列尚未正式發布或普及。此處可能為影片預言、內部代號、聽寫錯誤，或指涉未來規格。依規則標記為需查證，不更名為 M4 或其他。
  • 「macOS 二十六點二」：逐字稿提及「macOS 二十六點二以上」才會啟用神經加速器。
  • *註*：目前 macOS 版本號約為 14.x 或 15.x，「26.2」可能為口誤、未來版本預測或聽寫錯誤。依規則標記為需查證。
  • 「NVIDIA 那台小機器」：對比數據中提及「NVIDIA 那台小機器」僅需 1.47 秒讀取。
  • *註*：未明確指出具體型號（如 RTX 4090 等），僅以「小機器」稱呼，可能指代特定測試環境的顯卡。
  • 「DGX SPARK」：提及團隊將「NVIDIA 的 DGX SPARK」與 Mac Studio 連接。
  • *註*：NVIDIA 常見產品線為 DGX 系列（如 DGX A100/H100）或 Jetson 系列，「DGX SPARK」並非常見公開產品名稱，可能為特定專案名稱、聽寫錯誤或內部代號。
  • 「Qwen 那個三十 B,A 三 B」：
  • *註*：格式描述為「總共三百零五億，每次啟用三十三億」。通常 MoE 模型命名如「30B-A3B」意指總參數 30B，激活參數 3B。此處數字對應關係需查證是否為特定量化版本或口誤。
  • 「gpt-oss-120b」：
  • *註*：模型名稱「gpt-oss-120b」非標準常見名稱（常見為 Llama, Qwen, DeepSeek 等），可能為特定開源模型代號或聽寫錯誤。
  • 「Kimi K3 四位元要一點五一 TB」：
  • *註*：Kimi 通常指 Moonshot AI 的產品，「K3」及「1.51 TB」記憶體需求極高，需查證是否為極端量化下的準確數據或口誤。
  • 「M3 Ultra 加五百一十二 GB 記憶體」：
  • *註*：M3 Ultra 最高記憶體配置通常為 192GB 或 256GB（取決於具體型號與配置），「512 GB」可能為未來規格預測或聽寫錯誤。
  • 「頻寬從四百六十跳到六百一十四」：
  • *註*：單位未明確，但根據上下文推測為 GB/s。此數值對應 Mac Studio 高階配置的記憶體頻寬，需查證是否為準確規格數字。

可延伸追問

  • 影片中提到的「M5」與「M6」晶片具體規格為何？是否為影片發布時的內部測試版或未來預測？
  • 「DGX SPARK」具體是指 NVIDIA 的哪款產品？是否為客製化或特定專案名稱？
  • 混合架構中，NVIDIA 與 Mac Studio 之間的資料傳輸延遲如何影響整體效能？
  • 對於一般消費者，Mac Studio 64GB 與 256GB 之間的價格差異是否值得為超大模型需求而升級？
  • 在 Mac 上運行 MoE 模型時，如何具體配置以最大化效能並避免 CPU 回退？

尚未產生學習筆記

請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習