WEBVTT
Kind: captions
Language: zh-TW

00:00:00.040 --> 00:00:05.400
啊，就開始錄了，OK，呃， 聲音斷斷續續嗎? 這樣聽得清楚嗎?

00:00:10.370 --> 00:00:13.690
好，可啊，不好意思，可能我就那我離麥克風近一點呢，

00:00:13.690 --> 00:00:16.330
近一點。OK，那所以呢，

00:00:16.330 --> 00:00:21.770
我們從今年1月開始一直被這些 Frontier 模型廠商封號，

00:00:22.250 --> 00:00:26.730
封號之後呢，然後我們就開始探討其他的模型選項了，

00:00:26.730 --> 00:00:29.330
那這時候再加上呃

00:00:30.330 --> 00:00:32.920
地端模型的慢慢的出現了

00:00:32.920 --> 00:00:38.160
所以我們就開始考慮在我們的 agent 來使用地端模型啊，

00:00:38.160 --> 00:00:42.440
那也沒想到這半年地端模型的發展已經變得有點有點可怕了，

00:00:42.440 --> 00:00:47.800
有點誇張啊好，那今天呢，我的主今的這個分享的主題

00:00:48.030 --> 00:00:53.630
就是在談我們用一台 DGX Spark 來跑一個 agent 啊，

00:00:53.630 --> 00:00:56.710
那這個 agent 呢，我們會跑地端模型，

00:00:56.710 --> 00:00:59.710
我們會跑開源的 harness 啊，那我就會，

00:00:59.710 --> 00:01:05.270
那今天的分享時間呢可能會很長，因為保哥的場子都是無限制的啊，

00:01:05.270 --> 00:01:10.710
不限時啊，所以呢，我我這個場這個分享我會呃可能會帶一點，

00:01:10.830 --> 00:01:17.630
同時我在講我有一個準備一個投影片，
那這個投影片我在講時候會會有時候會離開一下去示範嘛

00:01:17.950 --> 00:01:21.070
好，所以呢，我們就開始吧哈，

00:01:21.230 --> 00:01:25.030
那我先說，如果說我們今天的時間超過了我超過1小時，

00:01:25.030 --> 00:01:29.750
我會先休息10分鐘，讓大家去喝個水上個廁所，

00:01:29.750 --> 00:01:33.630
然後呢，我就繼續，我儘量把投影片講完嘛，

00:01:33.630 --> 00:01:39.470
那就希望大家不要太累，然後我們就順利把這件事情走完了哈好，

00:01:39.630 --> 00:01:42.870
那我先自我介紹一下啊，自我介紹

00:01:44.080 --> 00:01:47.040
啊，我是胡嘉璽，其實我很多年前照片的時候還年輕啊，

00:01:47.200 --> 00:01:51.640
那我目前是嗯嘉崎人智的技術長，

00:01:51.640 --> 00:01:56.000
然後呢，我做過很多事情啊，然後呢，我因為我在這個行業很久了，

00:01:56.000 --> 00:02:00.880
所以做過很多事情，那剛好最近就這其實我投入 a，

00:02:00.880 --> 00:02:06.080
大概是2014年投入 AI，那那個時候其實就是我們就是玩玩 YOLO 啊，

00:02:06.320 --> 00:02:09.840
玩玩 LSTM 這一類東西，玩玩一些 CNN 的東西啊，

00:02:10.080 --> 00:02:12.280
那2017年開始就比較有

00:02:12.440 --> 00:02:15.280
有 GPU 可以用，那時候用1080好，

00:02:15.280 --> 00:02:18.080
所以我就一直在這個行業裡面待著了啊，

00:02:18.080 --> 00:02:22.520
那我希望大家能同時加入我的 Facebook 的粉專，

00:02:22.520 --> 00:02:25.840
跟我們這個粉絲這個這個社群，

00:02:25.840 --> 00:02:30.000
因為我我前剛好休假到呃上禮拜哦，

00:02:30.000 --> 00:02:32.040
所以就比較比較沒有那麼多

00:02:32.230 --> 00:02:35.870
呃更新，我平常一天更新三到5篇 Facebook 文吶，

00:02:35.870 --> 00:02:38.830
都是我，我敢說是跟矽谷同步啊，

00:02:38.830 --> 00:02:41.430
因為我我很喜歡看他們那邊的消息好，

00:02:41.470 --> 00:02:48.470
所以我希望大家加入我的粉絲團，
然後也同時加入 Vibe Coding Taiwan 這個社群來獲得最新

00:02:48.470 --> 00:02:51.270
新的 AI 消息，當然我常常會翻車啦，

00:02:51.270 --> 00:02:54.630
最近有有常常寫錯東西，但是希望大家體諒，

00:02:54.630 --> 00:03:01.510
那我當然儘量就儘我的所知來跟大家分享我知道的東西啊好那我

00:03:01.510 --> 00:03:07.310
們在這個今天的分享會最後呢會開放一個 Slido 的問答啊，

00:03:07.310 --> 00:03:10.310
那當然這個問答各位可以盡情的提問啊，

00:03:10.310 --> 00:03:13.870
當然有些問題我不會，但是我會去問 AI 啊，

00:03:13.870 --> 00:03:16.750
那或是我自己去實驗，我會的，我就儘量簡答，

00:03:16.750 --> 00:03:23.710
那大家儘量提短的問題，
因為有時候因為問題太大就來不及答啊好那大家別忘記加

00:03:23.710 --> 00:03:26.950
入我的粉專跟 Vibe Coding Taiwan OK，

00:03:27.270 --> 00:03:30.750
那今天我們講八個部分，我每個地方都會儘量去示範哦

00:03:31.840 --> 00:03:38.720
那我們會談談什麼是 agent，
因為大家因為我呃上四天呃禮拜兩天前我去參加呃 GenAI

00:03:38.720 --> 00:03:43.320
小聚的年會，其實我覺得大家對 agent 的了解可能還沒有那麼清楚，

00:03:43.320 --> 00:03:45.880
就是因為它有點亂啊，我們會講 model，

00:03:45.880 --> 00:03:51.920
然後我們會聊一聊最近最紅的 DeepSeek-V4 呃8月13號出了 Pro，

00:03:51.920 --> 00:03:57.520
然後7月31號出了 Flash 好，但是其實後來又出一個更更棒的模型啊，

00:03:57.520 --> 00:04:00.920
一個 Dense 的小模型，會大概聊一下它的技術技術

00:04:00.920 --> 00:04:05.160
但是不聊技術的名詞，聊一下它大概做什麼事情，

00:04:05.440 --> 00:04:09.120
然後呢，我們會談一談地端模型的重要性必要性啊，

00:04:09.120 --> 00:04:14.560
因為為什麼?因為我的客戶，嗯，常常碰到就是安全邊界的問題，

00:04:14.720 --> 00:04:18.160
那所以呢，地端模型部分解決他們的問題啊，

00:04:18.160 --> 00:04:21.880
好，然後我們會看看怎麼認識一個 model，如果你要用地端模型，

00:04:22.080 --> 00:04:25.800
你勢必要去 Hugging Face 下載 model，你怎麼認識這個 model，

00:04:25.800 --> 00:04:28.490
它講了什麼東西，它的名字代表什麼?

00:04:28.790 --> 00:04:31.590
好，然後當你有了一個地端模型的機器，

00:04:31.590 --> 00:04:35.790
你有了第一個 model，你就要知道怎麼樣讓它來幫你做事，

00:04:35.990 --> 00:04:39.870
我們會講一下 Inference Engine 有哪些好用的 Inference Engine 呢，

00:04:40.070 --> 00:04:42.750
然後呢，我們會談一談 harness 啊，

00:04:42.750 --> 00:04:44.960
那這個東西就很重要，為什麼?

00:04:45.030 --> 00:04:49.030
因為不同的 harness 代表了不同的安全邊界啊，

00:04:49.030 --> 00:04:54.190
代表不同的呃，當出現問題時你你你會受到多大的影響，

00:04:54.190 --> 00:04:56.670
然後最後呢，我們會做示範就是

00:04:56.830 --> 00:05:00.190
我用不同的 harness 不同的 model 組成的 agent，

00:05:00.190 --> 00:05:04.830
讓它跑一些簡單，從簡單到一些安全性比較高的東西，

00:05:04.830 --> 00:05:09.270
然後會跑一跑，然後我中間可能就會示範好那

00:05:10.230 --> 00:05:14.430
OK，那我們就開始吧，第一個我們先談談 agent 是什麼東西

00:05:15.860 --> 00:05:19.180
其實 agent 很簡單哦，那麼其實大家還一直在一

00:05:19.180 --> 00:05:22.580
直在想說 agent 什麼是 AI 什麼是 agent 什麼是

00:05:22.580 --> 00:05:23.310
LM 嗎?

00:05:23.620 --> 00:05:26.940
其實很簡單哦，就是 agent 它是一個幫你做事的東西，

00:05:27.140 --> 00:05:31.300
它可以幫你做任何事情在你的電腦上啊，

00:05:31.300 --> 00:05:34.460
所以它有安全的問題，那麼它要做電腦的事情，

00:05:34.460 --> 00:05:40.980
它就必須控制你的電腦，
所以呢你的 agent 大部分是裝在你的電腦裡面的啊好，

00:05:40.980 --> 00:05:45.420
那麼 agent 它主要分成兩部分，第一部分叫做 llm

00:05:45.660 --> 00:05:47.220
LLM 啊，那

00:05:47.860 --> 00:05:51.020
麼第二部分呢，就是除了 LLM 之外，

00:05:51.020 --> 00:05:55.300
agent 其他東西都叫做 harness 好，

00:05:55.300 --> 00:05:58.500
我舉一個最簡單的例子的話啊，一個 NBA 球員，

00:05:58.500 --> 00:06:01.940
他的身高體重，他的呃

00:06:02.730 --> 00:06:06.330
百米衝刺速度，他的彈跳高度就是 model，

00:06:06.410 --> 00:06:09.210
這個變不了啊，這個他改變不了他，

00:06:09.370 --> 00:06:13.610
他這是他的天分啊，那他去這個他的身高體重，

00:06:13.610 --> 00:06:16.530
百米衝刺速度，他的呃彈跳高度之外，

00:06:16.530 --> 00:06:21.370
他去訓練的技能，例如說運球技能三分線技能跟團隊配合的技能，

00:06:21.530 --> 00:06:26.970
這叫做 harness 啊，
所以這個 model 加 harness 造就一個 agent 是否多強大，

00:06:27.010 --> 00:06:29.450
就想說一個 NBA 球員，他除了身高體重

00:06:29.810 --> 00:06:33.090
彈彈跳高度的百米衝刺速度之外，

00:06:33.210 --> 00:06:35.850
它有命中率啊，還有什麼助攻阻攻啊，

00:06:35.850 --> 00:06:38.410
那這些都會影響它的能力的啊好，

00:06:38.410 --> 00:06:41.210
所以呢，我們在談一個 agent 的時候呢，

00:06:41.210 --> 00:06:46.490
我們一定會談 lm，它的大腦跟它的其他部分叫做 harness 啊，

00:06:46.730 --> 00:06:49.530
我不知道 harness 怎麼翻譯，那我就講 harness，

00:06:49.530 --> 00:06:54.890
因為大家都講 harness 啊好，那麼這就是一個 agent 的組成，

00:06:54.890 --> 00:06:58.050
那麼我剛才也講過，agent 一定是裝在你的電腦裡面

00:06:58.170 --> 00:07:01.250
啊，如果它在瀏覽器上，它就是瀏覽器上的 agent，

00:07:01.250 --> 00:07:02.530
它只能處理瀏覽器

00:07:02.680 --> 00:07:05.720
之類的事情啊，它控制不了你的電腦，

00:07:05.760 --> 00:07:08.720
它不能幫你把 excel pdf 寫進你的電腦中，

00:07:08.720 --> 00:07:15.480
它不能 Computer Use 去控制你的電腦來做什麼截圖啊什麼事情不行啊好

00:07:15.840 --> 00:07:20.560
，那麼我們就把 agent 分成 model 跟 harness 兩部分之後呢，

00:07:20.560 --> 00:07:22.840
我們就來先來看 model 篇啊 model，

00:07:23.480 --> 00:07:27.320
那麼 model 是什麼好，其實 model 呢就是一個檔案，

00:07:27.320 --> 00:07:31.680
它就是一個壓縮檔啊，它把全世界它看過的資料

00:07:31.920 --> 00:07:34.560
壓縮成一個小小的檔案好，

00:07:34.760 --> 00:07:37.400
那麼全世界資料有多少呢?

00:07:37.400 --> 00:07:40.400
啊，那可能幾千 T 幾萬 TB，

00:07:40.400 --> 00:07:44.440
他們其實有數字是就是說幾幾萬億個 token 啊好，

00:07:44.440 --> 00:07:47.120
那麼他把全世界資料拿過來，他看過一遍，

00:07:47.400 --> 00:07:52.520
他把它大概樣子壓縮成一個大概幾百 G 到幾 TB 的檔案好，

00:07:52.840 --> 00:07:57.200
你們會不會用說全世界資料去哪裡找，來這邊找啊，有啊，

00:07:57.200 --> 00:08:01.160
有沒有這個東西，有叫做 Common Crawl 啊，Common Crawl

00:08:04.770 --> 00:08:05.570
想不想下載?

00:08:05.570 --> 00:08:08.250
可以下載，沒問題啊，沒問題啊，沒問題

00:08:08.610 --> 00:08:12.730
呃，先準備個 3000 台，第 3000 TB 的硬碟試試看啊

00:08:13.010 --> 00:08:16.290
呃，那是壓縮的，壓縮，我不知道啊，它可以下載啊

00:08:16.610 --> 00:08:21.250
好，那這就是全世界所有資料，那麼它會經過一個壓縮的演算法啊，

00:08:21.250 --> 00:08:24.290
那你們可以去看一看啊，它一直在更新，

00:08:24.290 --> 00:08:26.250
每幾個月更新一次啊

00:08:26.250 --> 00:08:30.210
好，那麼壓縮的演算法呢， 是什麼?那

00:08:30.490 --> 00:08:31.690
其實已經沒有變了

00:08:31.690 --> 00:08:38.530
2017 年我們全部都用 self-attention
或叫做 Transformer 來做壓縮演算法啊

00:08:38.770 --> 00:08:42.050
好，那麼自從你找到全世界資料，

00:08:42.050 --> 00:08:48.290
你找到演算法，把壓縮成一個幾百 G 到幾 TB 的檔案之後呢，

00:08:48.290 --> 00:08:53.250
那這個裡面就存了這個全世界資料它的一個副本，

00:08:53.250 --> 00:08:59.330
好，那當你在問他問題時，他就會從這個壓縮檔裡面去找出最適合你

00:08:59.860 --> 00:09:04.980
問的問題的機率最高的那幾個答案好

00:09:05.940 --> 00:09:10.020
那麼 2024 年它出現一個新功能叫做 reason，就是什麼，

00:09:10.020 --> 00:09:15.820
它在找答案之前，它其實會自己自問自答去想一下哦，好，

00:09:15.820 --> 00:09:19.180
2025 年出現 Toolformer，什麼意思，它開始能生成，

00:09:19.300 --> 00:09:22.500
它還是只能生成文章，這是 token 啊，

00:09:22.500 --> 00:09:26.500
但它 token 裡面可以帶有程式碼或是函數名稱好

00:09:27.020 --> 00:09:29.940
啊，那麼這時候只要我們準備一個什麼?

00:09:29.940 --> 00:09:32.620
準備一個 agent loop，我這樣講比較比較，

00:09:32.620 --> 00:09:35.340
我不講那麼那麼硬的東西，我準備一個監看者啊，

00:09:35.620 --> 00:09:42.100
我在這個 AI 模型生成的這台電腦上面裝一個

00:09:42.340 --> 00:09:49.180
監看器，當我監視它出現程式碼或是我所規定的函數的

00:09:49.330 --> 00:09:54.450
名稱加參數時，我就把這段程式碼或這個函數拿去執行，

00:09:54.450 --> 00:09:58.210
我就開一個 sandbox，開一個沙箱去執行了，好，

00:09:58.210 --> 00:10:03.010
執行完的結果呢，可能是一段文字或是一個錯誤訊息，

00:10:03.010 --> 00:10:06.450
我把這個訊息再丟回這個 LLM 去接龍，

00:10:06.450 --> 00:10:10.970
好，這時候呢，我們就稱為這個 LLM 具備了工具使用能力，

00:10:10.970 --> 00:10:16.490
為什麼?因為我們有個 orchestrator
在找一個 sandbox 幫他執行東西好，

00:10:16.490 --> 00:10:18.410
那當然現在我們的

00:10:18.570 --> 00:10:25.570
LLM 它必須看懂圖，
所以呢我們在這個 LLM 裡面我們會可能會放一些圖的 token，

00:10:25.570 --> 00:10:28.290
就我們叫 patch，叫 pixel patch，

00:10:28.370 --> 00:10:31.250
那它就能讀懂圖啊，那它不能產生圖，

00:10:31.250 --> 00:10:36.250
但是它看得懂圖，
所以 Anthropic Claude 系列是看得懂圖， 但它生不了圖

00:10:36.700 --> 00:10:37.700
看得懂圖很重要

00:10:37.700 --> 00:10:41.580
為什麼？因為當我們要用 Computer Use 操作電腦畫面時，

00:10:41.580 --> 00:10:44.420
我們需要大家看得懂螢幕上面東西啊，好，

00:10:44.420 --> 00:10:47.220
那有些做法是外掛一個 VLM，

00:10:47.220 --> 00:10:52.580
例如說我們在做地端模型時，
我們可能用的模型是一個單純的文字的 LLM，

00:10:52.580 --> 00:10:58.460
這時候呢，我們需要再外掛一個小一，
可能 20bit 的 VLM，VLM 沒有多大，

00:10:58.460 --> 00:11:05.460
那他看懂文字圖裡面的，呃，看懂圖可以產生文字就好了啊，好那麼

00:11:06.020 --> 00:11:08.900
模型呢，大概就是這樣子啊，那麼一個模型，

00:11:08.900 --> 00:11:11.660
目前模型分成兩個兩大類，

00:11:11.660 --> 00:11:14.740
第一大類叫做 frontier 閉源的商用模型，

00:11:14.860 --> 00:11:21.660
大家都知道就哪幾家啊，
就是那就是那三四家 OpenAI 的 GPT 系列，Anthropic 的 Claude

00:11:21.660 --> 00:11:24.380
系列有，有四個，有 4 個強度，

00:11:24.380 --> 00:11:26.860
沒有 Haiku、Sonnet、Opus、Fable

00:11:27.130 --> 00:11:33.290
好，那麼 Google 有 Gemini Flash、Pro，
那 xAI 有 Grok，先到 4.4.6，非常強哦，好，

00:11:33.290 --> 00:11:36.090
那麼另外一家就是搞笑的我就不講，就是 Meta，

00:11:36.410 --> 00:11:40.610
那它它到底要幹嘛，我也不知道，它之前說要做開源，

00:11:40.850 --> 00:11:44.250
他媽做了一半老跑，然後現在做一個 Muse Spark，

00:11:44.250 --> 00:11:50.970
又說要把它開源啊，所以我我就不把 Meta 放進來啊，
好那這個這這個這一個派系呢，

00:11:50.970 --> 00:11:54.290
就是它是一個閉源模型，它的權重沒有開放，

00:11:54.290 --> 00:11:55.490
所以呢你只能用

00:11:55.650 --> 00:12:00.970
你只能用 API 端點的方式呢，或是你用訂閱方式去用它，

00:12:00.970 --> 00:12:04.330
那當然各位其實可以知道，就是嗯，

00:12:04.650 --> 00:12:08.010
我在前天的小聚呢，那聽了 YC 的演講，

00:12:08.010 --> 00:12:10.930
那其實我當時有個疑問，我在我 Facebook 上也會寫，

00:12:10.930 --> 00:12:14.970
就是現在這些模型廠商，這些美國啊，

00:12:14.970 --> 00:12:18.770
美國之外，我另外我再等一下再講，這些美國的模型廠商，

00:12:18.890 --> 00:12:21.490
他們的模型價格合不合理，

00:12:21.490 --> 00:12:24.090
我想我們各位可以問問自己自己問問看啊

00:12:24.370 --> 00:12:26.050
我是有訂閱 200 美金的

00:12:26.240 --> 00:12:32.160
跟 200，我有訂閱 200 美金的跟 GPT Pro 都有訂閱啊， 那我需要啊

00:12:32.440 --> 00:12:35.000
好，那其實你們都知道，

00:12:35.000 --> 00:12:38.040
當你隨便寫一個專案時，你都會發現你下面的

00:12:38.680 --> 00:12:42.440
那個那個那個用的多少錢，那一個月早就超過 200 美金了

00:12:42.440 --> 00:12:49.440
其實我大概算一下，
就是我常常聽到人吹噓說我這個月已經用了二三十萬台幣的
token 費用了

00:12:49.440 --> 00:12:52.680
其實你隨便寫一個專案大概就一兩百美金的差不多了啊，

00:12:52.680 --> 00:12:55.880
好，但是就是它的定價怎麼定的

00:12:56.000 --> 00:12:59.080
有沒有想過，第一個他美國的電費啊，

00:12:59.080 --> 00:13:02.640
我就不講，美國電費很貴啊，那美國的能源都很貴，

00:13:02.760 --> 00:13:09.560
所以美國電費就是第一個，第二個他們的工程師的科學家的薪資是

00:13:10.120 --> 00:13:14.880
NBA 球員的薪水啊，是百萬千萬美金等級的，

00:13:14.880 --> 00:13:20.160
這第二個成本，
第三個成本他們只能只能用 NV 跟 AMD 或者是 Google TPU，

00:13:20.280 --> 00:13:23.240
他們的硬體成本比較貴，NV 很貴嘛，

00:13:23.240 --> 00:13:27.270
所以呢，這個成本反映在我們身上你們覺得合不合理啊?

00:13:27.270 --> 00:13:31.590
本來我們都覺得很合理，因為軟體公司做一個軟體做一個模型出來，

00:13:31.910 --> 00:13:34.710
它不斷的讓那模型被重複使用，它去收錢啊，

00:13:34.710 --> 00:13:39.430
這是很合理的事情啊，
就像 Office 就像 Windows 一樣一直一直拿出來賣錢呢

00:13:40.390 --> 00:13:42.350
好，那這個東西什麼時候被打破?

00:13:42.350 --> 00:13:45.310
等一下講啊，就是這個成本到底合不合理啊好，

00:13:45.310 --> 00:13:48.270
那這就是閉源模型了，閉源模型你只能這樣用啊，

00:13:48.270 --> 00:13:52.470
那 API 加上它定價我就不多講了，第二個陣營啊，

00:13:52.630 --> 00:13:54.320
叫做那閉源模型呢?

00:13:54.750 --> 00:13:58.030
它其實有一個大問題就是它服務全世界幾十億人，

00:13:58.030 --> 00:14:02.710
所以呢它必須每方面都很全面啊，那它消耗到巨量的參數，

00:14:02.710 --> 00:14:06.150
閉源模型呢，幾乎都是很大的參數啊好，

00:14:06.150 --> 00:14:12.710
我先講右邊這個女生是誰啊，
右邊這個女生是小米的天才少女叫做羅福莉啊羅福莉，

00:14:12.710 --> 00:14:15.750
那她在今年 3 月講過，她說啊，

00:14:15.910 --> 00:14:20.590
現在你要進入模型這個市場，不管是開放權重或是閉源模型

00:14:20.940 --> 00:14:24.420
你的入場券是 1TB 啊，這是 3 月的事情啊，

00:14:24.420 --> 00:14:28.100
但各位記得記不記得去年上，就是上個月發生了什麼事，

00:14:28.100 --> 00:14:33.700
就是 Kimi K3 2.8T，然後千問 3 是 2.4T 啊，

00:14:33.700 --> 00:14:36.700
所以呢現在看起來就是要玩，

00:14:36.700 --> 00:14:40.260
你要你要進入這個戰場，你要開始提供模型，

00:14:40.260 --> 00:14:43.740
這種大量模型服務呢，你的成你的機，

00:14:43.740 --> 00:14:46.260
你的模型入場券是 2T 以上啊，

00:14:46.260 --> 00:14:49.820
那其實像 GPtextra 應該是 5T 啊

00:14:50.060 --> 00:14:53.460
那那信託下一代的 Opus6 也是 5T 或 10T 啊，

00:14:53.460 --> 00:14:59.060
那像八一代的字節跳動，他們也一直說要開開開放權重一個模型，

00:14:59.060 --> 00:15:02.420
號稱是 10T，不知道，反正就是這樣的模型，

00:15:02.420 --> 00:15:05.420
其實閉源模型它其實是很難經營的，

00:15:05.420 --> 00:15:12.420
它的成本太高，
所以還是小小君那天的話題就是很多很多年輕人都都執著在 Trend 模

00:15:12.420 --> 00:15:15.620
型上面啊，其實他們講錯，他們在 finetune 啊，

00:15:15.620 --> 00:15:20.700
我們已經沒有人了，這個全世界能 retrain SFT

00:15:21.370 --> 00:15:24.970
的公司或團體已經沒幾個了，

00:15:25.050 --> 00:15:28.290
我數都數得出來，已經沒幾個，可能就 20 個了啊，

00:15:28.290 --> 00:15:30.930
那大部分集中在中國啊好，

00:15:30.970 --> 00:15:34.290
那麼這是閉源模型的問題了啊好，

00:15:34.290 --> 00:15:38.090
那麼第二個第二個陣營叫做開放權重模型，

00:15:38.090 --> 00:15:42.450
它不是開源，它的程式碼沒有開源，但它的權重開放下載，

00:15:42.450 --> 00:15:46.490
它在 Hugging Face 你可以下載啊，那它的權重長什麼樣子，

00:15:46.490 --> 00:15:49.050
下載回來你就可以自己進去看 ok 啊當然

00:15:49.130 --> 00:15:52.930
它的價格就是它只有幾層 attention 啊，那它的嗯，

00:15:53.970 --> 00:15:57.490
它的 tokenizer 它的字彙數有多少啦，

00:15:57.650 --> 00:16:01.650
這些它其實都知道，因為這模型必須要使用這些資料啊好，

00:16:01.650 --> 00:16:04.530
那麼開源模型到開放權重這種模型呢，

00:16:04.530 --> 00:16:10.010
其實嗯有幾個啊，那第一個就是 NB 的 name 系列啊好，

00:16:10.010 --> 00:16:12.090
這邊要解釋一個大家常常的

00:16:12.580 --> 00:16:18.740
呃都市傳說說啊，Nemotron 也是在蒸餾或是魔改中國的千問啊，

00:16:18.740 --> 00:16:23.660
那Nemotron 3不是的啊，其實不是啊，Nemotron 3自己寫重新做的啊，

00:16:23.860 --> 00:16:30.300
那因為Nemotron 3是 Mamba 架構，
那Nemotron 2是他當時只有參考千問啊，

00:16:30.420 --> 00:16:37.060
Nemotron 3自己寫就不講了，
Google 有 Gemma 好那 OpenAI 有 GPT-OS 啊這個都很老，

00:16:37.060 --> 00:16:41.580
Gemma 4好像好幾個月之前了，那麼其實90%的

00:16:41.980 --> 00:16:48.740
開放權重模型都收斂到中國，
隨便講就 56 加 GLM、DeepSeek 有 0813 Pro、0731

00:16:48.820 --> 00:16:51.380
Flash 千問更不用講，

00:16:51.380 --> 00:16:56.140
就是我們今天的主題 MiMo 小米的模式，Kimi K3 超強 MiniMax，

00:16:56.140 --> 00:16:59.140
你看網上大家玩 H3 產生影像

00:16:59.490 --> 00:17:05.610
影片已經玩玩爛了啊，
那還有他還有他之前還出一個 Music 模型啊渾源啊，

00:17:05.610 --> 00:17:09.170
那麼很很中國有上百家模型廠商，

00:17:09.170 --> 00:17:11.530
而且他們幾乎都開放權重啊，所以

00:17:12.170 --> 00:17:14.810
這件事情是一個很大的事情，為什麼? 因

00:17:16.330 --> 00:17:22.210
為開放權重模型，它目前已經不再是玩玩玩耍而已了，

00:17:22.210 --> 00:17:26.090
它已經是正式進入使用階段了啊好，

00:17:26.090 --> 00:17:28.570
那我給各位看一個資料，看一個資料

00:17:29.010 --> 00:17:32.970
那其實我最常看，大家會比較很多很多資料，

00:17:32.970 --> 00:17:35.850
我最會看的就是 arena.ai 這個網站哦

00:17:36.250 --> 00:17:39.140
arena.ai 很簡單哦，他怎麼做呢?

00:17:39.210 --> 00:17:41.890
他其實是讓你讓你啊，

00:17:41.890 --> 00:17:44.730
讓你問問他一個問題

00:17:45.220 --> 00:17:48.260
他會去挑選兩個模型幫你解答，

00:17:48.740 --> 00:17:53.020
解答之後呢，他就讓你選一個好的好的模型，

00:17:53.020 --> 00:17:57.420
你就去選，就是盲測就 AB test 啊盲測之後他去做統計，

00:17:57.620 --> 00:18:01.500
看哪一個模型的分數比較高啊好，這是 arena.ai 啊，

00:18:01.500 --> 00:18:04.580
我覺得大家可以進去看啊，他分成很多項目，

00:18:04.580 --> 00:18:06.980
很多項目去比較了啊 ok，那

00:18:07.700 --> 00:18:14.180
麼我們就看他 leaderboard 啊，
那最近大概就上個月他加入了 agent 的執行了啊

00:18:14.620 --> 00:18:18.420
它其實我們看前面 agent 的執行的前10名

00:18:19.940 --> 00:18:25.100
哦，前10名，它出現了一個大概在一年前從來不可能看到的事情，

00:18:25.100 --> 00:18:27.780
就是出現了開放權重的模式，

00:18:27.780 --> 00:18:31.100
Kimi K3，它是開放權重哦，它是自己有它，

00:18:31.100 --> 00:18:37.260
它雖然是 Kimi K3 license，
但它的權重你開放了在 Hugging Face 啦好以前啊，

00:18:37.260 --> 00:18:40.340
那 agent 的能力，它是新的項目

00:18:40.590 --> 00:18:44.030
我就不多講啊，那當然你看到都是熟面孔，

00:18:44.030 --> 00:18:50.150
都熟面孔啊好，那其實我們看會看另外就是他的 coding 能力，

00:18:50.150 --> 00:18:52.710
coding 能力有一塊非常重要，它叫 WebDev，

00:18:52.710 --> 00:18:56.070
它其實就是 coding JavaScript HTML 這種 coding 啊，

00:18:56.070 --> 00:18:58.710
那我們就想說程式語言都差不多了啊，

00:18:58.710 --> 00:19:01.510
所以就他其他例如說 Python 的 coding

00:19:01.510 --> 00:19:02.790
能力或是 Rust 的

00:19:02.950 --> 00:19:07.670
能力，Java 也不會太差啊，那我們在看 coding 能力的時候呢，

00:19:07.670 --> 00:19:10.030
我們竟然發現一件事情

00:19:10.270 --> 00:19:12.870
就是你看前10名啊，

00:19:14.150 --> 00:19:16.870
第二名 Kimi K3哦好，

00:19:16.870 --> 00:19:18.950
那其實我我要講的是啊，

00:19:20.790 --> 00:19:27.190
登上榜首，
為什麼 Opus 出來沒多久耶 Opus 就就這幾個禮拜的事情耶 Opus 出

00:19:27.190 --> 00:19:30.430
來之前 Fable 出來之後

00:19:31.200 --> 00:19:32.960
在是第一名很久哦

00:19:33.360 --> 00:19:36.600
那 Anthropic 的 CEO 叫 Dario Amodei，

00:19:36.720 --> 00:19:43.520
他說過一句話，他說開放權重的模型要追上前端模型要6到18個

00:19:43.520 --> 00:19:47.200
月，這句話是他今年3月講的啊，

00:19:47.200 --> 00:19:50.240
6到18個月啊，我們看今年3月的時候啊，

00:19:50.240 --> 00:19:53.160
我們就講6到18個月，我不想6個月吧，

00:19:53.160 --> 00:19:59.080
6個月前是今年2月，各位2月的時候開放權重模型的

00:19:59.800 --> 00:20:06.240
我們現在8月的開放權重模型被他講的是等於今年2月的閉源模型是什麼?

00:20:06.240 --> 00:20:12.800
Opus 4.6，所以呢，他講的開放權重模型現在8月應該是 Opus 4.6

00:20:12.960 --> 00:20:15.640
等級哦啊，我們樂觀講說6個月，

00:20:15.760 --> 00:20:19.400
那18個月那就更早了，可是我們現在看起來不是唉，

00:20:19.400 --> 00:20:22.400
開放權重模型已經在第一名了，

00:20:22.400 --> 00:20:24.960
Opus 沒出來之前，Kimi K3 算是第一名哦，

00:20:24.960 --> 00:20:28.360
第一名很久哦，然後呢， 更不用說

00:20:29.190 --> 00:20:31.750
好，噹 Opus 出來了就就我就不講了啊，

00:20:31.750 --> 00:20:35.270
但他們已經是同一個領先群了啊， 再來就是什麼?

00:20:35.270 --> 00:20:42.270
再來就是千問 3.8 剛出來啊，然後再看到什麼 GL 2.3 就是前10名啊

00:20:42.270 --> 00:20:44.270
，我們講前12名啊，123前12

00:20:45.070 --> 00:20:48.630
名這三個都開放權

00:20:50.510 --> 00:20:54.750
重456前12名有一半是開放權重模型，

00:20:54.870 --> 00:20:57.750
前三名有2名是開放權重模型

00:20:58.030 --> 00:21:01.590
所以很可怕啊，就開放權重模型已經可以使用了，

00:21:01.590 --> 00:21:05.390
這沒有問題了好那所以呢，

00:21:05.390 --> 00:21:09.590
地端模型就保哥跟我商量，我就覺得地端模型我們一定得講，

00:21:09.590 --> 00:21:13.630
為什麼?因為它已經可以取代很多工作了好，

00:21:13.910 --> 00:21:17.670
那麼開放權重模型就是除了地端之外啊，

00:21:17.670 --> 00:21:20.710
那其實很多雲端廠商都有部署啊，

00:21:20.870 --> 00:21:26.670
那你這些那些大的前瞻家 AWS、Azure 跟 Google 的呃他叫的呃

00:21:26.910 --> 00:21:27.990
Google 的那個他們的

00:21:28.380 --> 00:21:31.420
的那個雲端服務都有提供開放權重模型，

00:21:31.420 --> 00:21:33.980
那可以選了，那 NV 的 NIM

00:21:34.860 --> 00:21:37.420
也提供了一堆開放權重模型哦，

00:21:37.420 --> 00:21:43.540
如果你有訂購訂閱，你可以用哦 OpenRouter 今天剛被剛被那個收購哦，

00:21:43.540 --> 00:21:44.900
被那個 Stripe 收購啊，

00:21:45.820 --> 00:21:51.100
它也提供一堆開放權重模型哦，
所以呢開放權重模型它其實是有雲端服務的好，

00:21:51.100 --> 00:21:57.340
那當它的選擇很多，它從 10B、23B、1B 開始到 3TB 都有選擇

00:21:58.100 --> 00:22:03.300
它可以部署在一台電腦上，大致雲端廠商這這一堆啊，

00:22:03.300 --> 00:22:06.620
雲端廠商啊，那如果是你可以把它，

00:22:06.780 --> 00:22:09.820
你可以使用雲端的開放權重模型，在公有雲啊，

00:22:09.820 --> 00:22:12.700
就像右邊這個圖，這些廠商都有提供，

00:22:12.700 --> 00:22:16.340
你也可以把它部署在私有雲，公司有私有雲放進來啊，

00:22:16.340 --> 00:22:19.220
你也可以把它放在什麼區域網區域網路啊，

00:22:19.220 --> 00:22:24.060
你可以把它放在單台的 DGX Spark 或者好一點的 GP 三版啊，

00:22:24.060 --> 00:22:26.100
換句話說，它的這個

00:22:26.330 --> 00:22:29.770
它的邊界是非常可控的，它不像雲端模型，

00:22:29.770 --> 00:22:32.330
只能放在 Spark 可以給它到處放啊，

00:22:32.330 --> 00:22:35.890
它放在馬斯克的雲端，它放在微軟微軟的雲端，

00:22:35.890 --> 00:22:38.730
放在自己的雲端，那它的東西到處放，

00:22:38.730 --> 00:22:41.450
但是如果我們用開放權重，我們有好的硬體，

00:22:41.530 --> 00:22:47.930
我們可以放到自己的安全邊界裡面啊，
所以開放權重模型是一個非常好管理的模型呢 OK

00:22:48.650 --> 00:22:52.810
好，那麼我們現在呢就開始講一些今天的重點，

00:22:52.810 --> 00:22:56.170
我們就要講兩個模型，其實本來只是要講 V4 啊

00:22:56.570 --> 00:22:59.130
但是呢，我們因為千問太紅了，

00:22:59.130 --> 00:23:02.730
因為這兩天都在玩千問哦，所以呢就加進來了哈

00:23:03.810 --> 00:23:07.650
我先說了，我先說，就是如果你對中國模型有疑問的話，

00:23:07.650 --> 00:23:13.450
你就不要用，你就不要用，
如果你是公家機關或是你們政府單位或是學校不准用中國模型，

00:23:13.450 --> 00:23:17.050
那你就聽聽看，就當聽故事就好了，那如果你想使用的話，

00:23:17.050 --> 00:23:22.170
我們就我再多講一點啊，沒關係，
因為每個人對中國模型的看法都不太一樣啊，

00:23:22.170 --> 00:23:25.780
所以就大家就想用就用，不想用就就就不要用就好了啊

00:23:26.120 --> 00:23:28.080
好，那我為什麼要挑這兩個?

00:23:28.080 --> 00:23:32.200
因為它一個叫做 MoE 模型，一個叫做 Dense 模型啊好，

00:23:32.440 --> 00:23:38.440
我大概我我不講技術，我就講一些簡單的東西就好了啊好， 那麼

00:23:40.040 --> 00:23:44.040
先講 DeepSeek 啊 DeepSeek DeepSeek 是一個是一個 MoE 模型，

00:23:44.040 --> 00:23:48.440
等一下講啊好，那麼它的它有很多種啊，

00:23:48.680 --> 00:23:51.320
它有呃 Flash 有 Pro，

00:23:51.320 --> 00:23:54.160
那 Flash 的參數就少一點

00:23:54.600 --> 00:23:59.120
的參數多一點啊，好，那麼他們他這叫做 MoE 模型，

00:23:59.120 --> 00:24:03.240
所以呢，他 MoE 叫做等下會講啊，

00:24:03.320 --> 00:24:06.480
那他就我就我就舉個例子就好了啊，

00:24:07.160 --> 00:24:11.560
各位，你們常常在開車啊，你們在開車的時候突然

00:24:11.730 --> 00:24:15.570
交通狀況變得很很很不好，摩托車到處衝出來，

00:24:15.730 --> 00:24:21.250
呃呃人行人到處衝出來，這時候你腦袋是會專注到注意路況，

00:24:21.490 --> 00:24:25.330
對不對?你會去想到古典樂或是想到莎士比亞的文章嗎?

00:24:25.330 --> 00:24:30.970
你不會好，你的大腦會騰出要用的那些神經元去注意啊好，

00:24:30.970 --> 00:24:33.770
那你在聽古典樂的時候，你會忽然想到啊，

00:24:33.770 --> 00:24:36.370
我現在要緊張去面對賽車的問題，不會嗎，

00:24:36.370 --> 00:24:39.330
你就會去欣賞古典樂啊，這就是 MoE 模型，

00:24:39.330 --> 00:24:41.530
你大腦只取出一部分的

00:24:41.650 --> 00:24:43.410
東的的神經元來

00:24:44.490 --> 00:24:48.850
應付你現在目前遇到的狀況好，這是 MoE 模型的的特色了，

00:24:48.850 --> 00:24:51.610
那相對 MoE 模型叫 Dense 模型，

00:24:51.610 --> 00:24:55.330
就是你的大腦在開車的時候呢，不但要注意路況，

00:24:55.330 --> 00:24:58.450
還要去想古典，因為還要去想莎士比亞的文章啊好，

00:24:58.450 --> 00:25:00.930
那就是 Dense 模型了好，那麼我

00:25:02.210 --> 00:25:04.010
只要講一些概念就好了就是

00:25:04.760 --> 00:25:08.800
你看到什麼 CSA 啊，什麼什麼什麼 SparseAttention 啊，

00:25:08.800 --> 00:25:11.800
什麼 Hyper 什麼什麼 Attention 啊，

00:25:11.800 --> 00:25:16.200
那我我這全部我只用一件事情帶過就是

00:25:17.040 --> 00:25:22.680
Attention 啊，我們都知道為什麼 Transformer 會變得這麼紅，

00:25:22.680 --> 00:25:26.680
為什麼2017年的八個人推出論文到現在十年了啊，

00:25:27.080 --> 00:25:31.840
我們到我們 AI 發展的十年，NVIDIA 的 GPU 都要進入到第几

00:25:31.920 --> 00:25:37.960
這第几代了，
從什麼什麼什麼 Grace Hopper 什麼
Vera Rubin 什麼 Rubin Ultra 一直在進步，

00:25:37.960 --> 00:25:41.040
我們用的 AI 的架構還是 Self-Attention，

00:25:41.040 --> 00:25:43.800
你不要跟我說 Mamba Mamba 沒有進入主流啊，

00:25:43.800 --> 00:25:48.360
而且 Mamba 還要去混 Attention 啊好， 為什麼? 因為

00:25:49.560 --> 00:25:53.800
它有兩件事情，第一件事情它能做非常棒的查詢啊，

00:25:53.800 --> 00:25:56.760
叫做 QKV 叫做 KV 啊那

00:25:57.730 --> 00:26:01.970
kv 值其實我我簡單講就是大家都不覺得這東西好新奇哇，

00:26:01.970 --> 00:26:05.090
為什麼叫 qkv 啊，這個東西根本都不新奇，

00:26:05.090 --> 00:26:09.210
它就是資料庫查詢啊，你給資料庫一個 query 給它一個，

00:26:09.210 --> 00:26:13.530
它就跟這個 key 去找到 value 不就 qkv 嗎啊好，

00:26:13.650 --> 00:26:18.290
那麼 attention 就是這樣子啊，它把自己這個這個向量啊，

00:26:18.290 --> 00:26:19.610
這個這個張量啊，

00:26:20.370 --> 00:26:24.370
特別又生出三個 qkv 來啊，讓讓模型可以訓練啊，

00:26:24.450 --> 00:26:28.730
然後呢?他去看每個 token 的 QKV 就是做資料庫查詢，

00:26:28.730 --> 00:26:31.890
但他因為資料庫查詢只有查到跟查不到，

00:26:31.890 --> 00:26:37.610
但是 QKV 是是做模糊查詢，他是查到查到一點點就說，

00:26:37.610 --> 00:26:42.170
哎，我這個資料有多符合啊，多符合就是有個幾率來表示啊好，

00:26:42.170 --> 00:26:44.700
所以呢，他需要做 KV 相乘啊

00:26:44.860 --> 00:26:47.700
QKV 就就這個意思啊，那麼所以呢，

00:26:47.700 --> 00:26:50.460
我們為了讓查詢例如我一句話啊，

00:26:50.460 --> 00:26:54.220
我要一句話我要查詢它跟我現在這個 token 的相關性，

00:26:54.220 --> 00:27:01.100
我要跟根據我這個 token 的外面的每一個
token 去做 QKV 的資料庫查詢運

00:27:01.100 --> 00:27:06.940
算，就這樣子啊，所以呢 KV 值這個值呢會變得很大很大，

00:27:06.940 --> 00:27:10.100
因為 QKV 是 KV 相乘啊，在做 softmax 啊，

00:27:10.100 --> 00:27:11.860
換句話說呢

00:27:11.940 --> 00:27:13.140
那為什麼我們要這麼做?

00:27:13.140 --> 00:27:16.060
因為我們可以真正知道一個 token 跟其他 token 的

00:27:17.100 --> 00:27:21.020
關聯性有多大啊，但是這這需要非常大量計算，

00:27:21.020 --> 00:27:23.260
那麼 NV 發財的原因就是囙

00:27:24.020 --> 00:27:28.700
為它 attention 這個機構這個機制能做平行預算運算，

00:27:28.700 --> 00:27:31.700
它在沒有加入 position encoding 之前，

00:27:31.700 --> 00:27:34.460
它是沒有位置的，它可以同時一起算，

00:27:34.460 --> 00:27:37.540
算的時候再加入 position encoding，但最近這種 ROPE 啊，

00:27:37.660 --> 00:27:39.940
那我就不多講，那所以呢

00:27:40.230 --> 00:27:42.790
kv 值它就會相乘，然後去做運算，

00:27:42.790 --> 00:27:47.670
發現這個這個 token 跟我其他 token 的相關性有多高啊好，

00:27:47.670 --> 00:27:52.670
那麼 kv 值相乘這件事情呢，就造成 attention 非常大的負擔啊，

00:27:52.870 --> 00:27:57.350
所以你看到 CSA、HCA 什麼 mHC 這些東西啊，

00:27:57.350 --> 00:28:00.870
全部是為了讓 kv 值的運算變小啊，

00:28:00.870 --> 00:28:03.670
我就我就不講這些細節啊，細節都在旁邊，

00:28:03.670 --> 00:28:06.830
各位可以去，你可以自己去問什麼叫 CSA，

00:28:06.830 --> 00:28:09.070
什麼叫 HCA，你就問

00:28:09.230 --> 00:28:12.550
他都會告訴你的一清二楚，

00:28:12.550 --> 00:28:13.910
他會畫圖給你看哦

00:28:14.150 --> 00:28:18.230
我我只告訴各位一個原則就是為了讓 KV cache 省下來好，

00:28:18.230 --> 00:28:21.910
因為它運算量太大哦，那目前為止明年就第10年

00:28:22.550 --> 00:28:28.510
2027年我們還沒看到能取代 attention 的架構還沒有了好

00:28:29.540 --> 00:28:30.260
那麼

00:28:31.180 --> 00:28:37.140
呢，它的特色就是它在中國它的運算資源很少，

00:28:37.140 --> 00:28:40.980
它只有少量的 H100 跟可能是更爛的 H80，

00:28:40.980 --> 00:28:45.100
最近 H200 才開始開放，我們這邊都用都用 GB300、

00:28:45.100 --> 00:28:49.380
G300、B300了，它還在用 H100啊，還有華為的昇騰 910C

00:28:49.980 --> 00:28:54.500
那他們為了讓這麼爛的硬體能做到一樣的效能，

00:28:54.500 --> 00:28:58.540
他們就會在架構上做非常大的精進了

00:28:58.780 --> 00:29:04.420
啊，這就回到我剛才最前面講的模型成本到底合不合理哦

00:29:04.420 --> 00:29:06.500
我剛剛講過美國模型是用

00:29:07.620 --> 00:29:10.180
美國的工程師的薪水，是 NBA 球員薪水，

00:29:10.500 --> 00:29:15.860
然後呢?他們需要很大量的 GPU 還有美國的電費， 中國電費呢?

00:29:15.860 --> 00:29:19.420
中國的電的發電數量，他們核電廠是不需要

00:29:19.830 --> 00:29:21.470
什麼真正的環評呢?

00:29:21.470 --> 00:29:24.950
他們要蓋核電廠都隨便蓋啊，那他們的電非常便宜，

00:29:24.950 --> 00:29:27.710
中國的發電量是美國跟印度加起來總額還要多了啊，

00:29:27.910 --> 00:29:30.830
那他們的工程師的薪水當然是很高，

00:29:31.190 --> 00:29:33.990
那那時候因為川普的簽證的問題，

00:29:33.990 --> 00:29:36.990
工程師他們不敢去美國落地生根，

00:29:36.990 --> 00:29:40.550
成為美國人，他們就選擇進入中國的 AI 公司啊，

00:29:40.550 --> 00:29:47.510
叫第二代 AI 公司啊，
那麼他們的薪水當然不會像 NV 或或是 OpenAI 或者是高

00:29:47.510 --> 00:29:49.150
到跟 NBA 的球員一樣

00:29:49.390 --> 00:29:53.430
但他們大概就 1/10 的薪水，再加上中國幾乎不要錢的電，

00:29:53.430 --> 00:29:56.070
加上雖然比較爛的爛的 GPU，

00:29:56.070 --> 00:30:00.990
那他們推出跟頂級模型同一領先群這麼好的模型，

00:30:01.110 --> 00:30:04.470
他們成本低很多很多，這時候我再問你，

00:30:04.470 --> 00:30:09.390
你認為 Anthropic OpenAI 收你一個月 200 塊或是一個 token 多少錢，

00:30:09.390 --> 00:30:10.240
合不合理?

00:30:10.700 --> 00:30:15.460
啊，當中國模型同一個 token 攜帶的資訊量跟你美國模型一樣多，

00:30:15.460 --> 00:30:19.540
它的價格是你的成本是你 1/10 % 或 1/50 的時候，

00:30:19.740 --> 00:30:22.540
這個市場會不會重新再定價，

00:30:22.540 --> 00:30:25.740
我不知道啊，我不知道，但是我覺得一定會的啊好，

00:30:25.740 --> 00:30:27.500
所以呢，那 DeepSeek 就

00:30:28.380 --> 00:30:31.540
充滿了這種優化模型的技術啊，

00:30:31.540 --> 00:30:36.820
什麼 CSA、HCA 啊、mHC，那 MoE 剛剛講過 MTV 點在講啊好，

00:30:36.820 --> 00:30:39.940
所以呢大概是這個樣子，那現在又有千問啊那

00:30:40.540 --> 00:30:43.180
x 模型也有了，就更不一樣啊好

00:30:44.620 --> 00:30:50.260
那這個我就不多講，反正我告訴過就是 KV cache 的解決問題啊，

00:30:50.260 --> 00:30:54.580
例如說把它有些是把 KV cache 什麼壓小一點啊，

00:30:54.580 --> 00:30:56.020
或者說把它嗯

00:30:56.790 --> 00:31:00.670
降維啊，就是把它變成像 MLA 把它降維啊，

00:31:01.030 --> 00:31:06.030
CSA 把它索引起來啊，HCA 把它分組再從裡面挑啊，

00:31:06.390 --> 00:31:09.510
都是為了讓 KV cache 的壓力變小啊，

00:31:09.510 --> 00:31:13.790
就是就為了就這個，因為相乘起來那個量太大了，

00:31:13.790 --> 00:31:19.230
但你不相乘又不行，因為你要對每個 token 做檢索了啊哈 OK，

00:31:19.230 --> 00:31:22.470
那麼這就是我講的中國模型開放權的模型，

00:31:22.470 --> 00:31:24.790
他們在架構上做非常

00:31:25.510 --> 00:31:27.270
非常誇張的調整啊

00:31:27.350 --> 00:31:29.910
那如果你想知道這些東西的真正做法，

00:31:30.310 --> 00:31:33.790
就去問 ChatGPT，我只是放上讓你知道一下而已了啊，

00:31:33.790 --> 00:31:37.830
知道一下而已了好，那麼 MoE 其實剛才講過，

00:31:37.830 --> 00:31:44.750
就是你的大腦只需要一部分的神經元去針對你現在遇到的事情來做反

00:31:44.750 --> 00:31:46.830
應，好那嗯

00:31:47.780 --> 00:31:52.060
另外就是說 mHC 是剛剛我剛剛講的也是也是一個優化的東西啊，

00:31:52.060 --> 00:31:58.820
那 MTP 我要另外講就是它也是我們在做模型訓練時的一個

00:31:58.820 --> 00:32:01.620
方法，就是我們一般來說啊，

00:32:01.620 --> 00:32:05.580
我們在訓練一個嗯 Transformer 模型的時候呢，

00:32:05.580 --> 00:32:09.980
我們是這樣子啊，他找到人類講過所有的話就是 Common Crawl，

00:32:10.100 --> 00:32:14.340
然後呢，他把這句話呢往右移一個做一個移位啊，

00:32:14.420 --> 00:32:19.140
然後呢?要美你，例如說我今天說呃台北今天有下雨，

00:32:19.140 --> 00:32:23.020
那我輸入台，它的標準答案是北，

00:32:23.140 --> 00:32:29.260
我輸入北，它的標準答案是京，
就是把那句話往右移一個就標準答案的啊好那所以呢，

00:32:29.260 --> 00:32:34.220
他最後會吐出一個他覺得是標準答案的字是這樣訓練的，

00:32:34.220 --> 00:32:37.540
那我們就看過全世界文字把它做一個 shift，

00:32:37.540 --> 00:32:40.340
然後訓練模型啊，那 MTP 不是這樣子，

00:32:40.340 --> 00:32:45.100
MTP 是啊 MTP 啊，它是讓它一次就一三個讓它去

00:32:45.510 --> 00:32:49.990
看后三個 token，然後能讓他去能預測后三個 token 出來啊，

00:32:49.990 --> 00:32:52.830
所以呢他呢一次就丟三個 token 出來啊，

00:32:52.830 --> 00:32:55.750
那這個三個 token 呢有沒有命中不知道，

00:32:55.750 --> 00:32:59.670
那他其實有一些方法讓你說能讓你多命中幾個，

00:32:59.670 --> 00:33:03.350
比如說一次丟 4 個 token 出來，那你運氣好全部都命中，

00:33:03.350 --> 00:33:06.470
那你的模型的輸出是不是就快了 4 倍啊，

00:33:06.470 --> 00:33:11.110
這是 MTP 啊，那麼現在流行的模型訓練都會有 MTP 啊，

00:33:11.230 --> 00:33:15.110
叫做 Multi-Token Prediction 啊，當然你的模型

00:33:15.230 --> 00:33:17.750
要支援你的 Inference Engine 也要支援了哈，

00:33:17.750 --> 00:33:21.670
那所以呢，我們最近常常看到千問放上 MTP 之後呢，

00:33:21.670 --> 00:33:27.030
發現它速度快好多好多嘛，那目前等一下講千問我們再講了啊好， 那

00:33:28.070 --> 00:33:33.670
再加上量化，等一下講量化啊好，
那麼量化就會讓你模型變小變小啊 ok，

00:33:33.670 --> 00:33:37.630
所以呢，這就是我們最近看到模型不斷進步，

00:33:37.630 --> 00:33:41.270
而且這些進步呢，其實我相信美國模型都有這些進步，

00:33:41.270 --> 00:33:44.640
但是中國模型它把這些進步的方式

00:33:44.780 --> 00:33:47.020
開放出來在論文裡面都可以看到啊

00:33:47.020 --> 00:33:50.260
好 ok，這是我自己寫的一個程式啊，

00:33:50.260 --> 00:33:54.100
當時我在 NV 的場子上，為了示範 Dense 跟 MoE 呢，

00:33:54.100 --> 00:33:56.740
我找了兩個模型，一個千問 2.5 7B，

00:33:56.740 --> 00:33:58.740
一個是 OLMoE

00:33:59.580 --> 00:34:02.260
，這是很早期的 MoE 引擎啊，嗯，

00:34:02.260 --> 00:34:05.900
14GB 我就挑了兩個大小差不多的模型啊，

00:34:05.900 --> 00:34:12.900
然後呢去對比看，
讓你看一看 MoE 跟 Dense 模型就是一次要去掃過全部參

00:34:12.900 --> 00:34:14.100
數，左邊是 Dense

00:34:14.340 --> 00:34:17.900
右邊就是 MoE，它其實真正在跑 token 的長相啊，

00:34:17.900 --> 00:34:20.780
我們看一下，看一下它其實長這個樣子

00:34:21.420 --> 00:34:25.020
啊，MoE 指亮的地方就是它只看的只看過的部分啊，

00:34:25.020 --> 00:34:30.260
下面就是 token 的產生啊，token 產生，
因為這個模型對中文中文不好，

00:34:30.260 --> 00:34:34.740
所以表現不好，所以它產生會產生出一些呃 UTF-8 的碼，

00:34:34.740 --> 00:34:37.580
我們看這是它的產生方法啊，產生方法，

00:34:37.580 --> 00:34:42.020
你會發現其實 MoE 它跑過的參數是同樣的大小

00:34:42.630 --> 00:34:46.070
它跑過的參數是它的大概 1/4 啊，1/4 啊好， 這個這

00:34:47.310 --> 00:34:51.870
個程式我開源在 GitHub，你可以自己下載下載玩一玩啊，

00:34:51.870 --> 00:34:55.910
就看看大家長什麼樣子啊好 ok， 那麼

00:34:57.510 --> 00:35:00.350
那當然就是一個 agent 的評測了，

00:35:00.350 --> 00:35:01.750
那 DeepSeek 呢，它就是把

00:35:03.190 --> 00:35:04.230
自己的表現

00:35:04.870 --> 00:35:07.950
已經拉到這個等級啊，這個等級的，

00:35:07.950 --> 00:35:10.790
你看這個等級就 42.7

00:35:10.830 --> 00:35:13.950
50 這這 60 啊，就是這個很多評測就不斷，

00:35:13.950 --> 00:35:18.510
就是說我很愛看 Terminal Bench，
就是在讓它在一個終端機中去做很多事情，

00:35:18.510 --> 00:35:25.030
它的完成度了啊，那我們看到開放權重模型已經接近到

00:35:25.030 --> 00:35:28.790
Fable 當時被講成什麼樣子啊，

00:35:28.790 --> 00:35:35.230
什麼 AGI
什麼人類什麼最聰明什麼攻破什麼還被什麼國防部什麼禁用啊，

00:35:35.230 --> 00:35:38.350
我現在開放權重模型都已經接近你了耶，

00:35:38.350 --> 00:35:40.390
有沒有都接近了啊，所以

00:35:41.740 --> 00:35:45.300
很可怕哈，就是說真的很可怕哈，就開放這個模型已經追上來了啊

00:35:45.300 --> 00:35:50.380
好好 ok，那第二個我們要講的是千問模型，

00:35:50.660 --> 00:35:53.940
千問它是一個 Dense 模型，但它很小很小，

00:35:53.940 --> 00:35:56.500
那它的 hidden size 才5120啊，

00:35:56.500 --> 00:35:59.780
那就它的，那這我就不多講，就是我們常常把嗯，

00:35:59.780 --> 00:36:02.100
我們常常把一個一個字一個 token

00:36:02.820 --> 00:36:06.260
變成5120個向量啊向量

00:36:06.460 --> 00:36:11.740
每個現象代表一個意思，比如代表大小輕重軟硬度是男是女是好是壞啊，

00:36:11.740 --> 00:36:14.980
那這個不是我們認定出來的，這個是一個 latent 的，

00:36:14.980 --> 00:36:20.260
latent 就是一開始隱變數啊，那它有24萬個字 token 啊，

00:36:20.260 --> 00:36:24.900
那它的 tokenizer 24萬好，這個就很接近主流模型，

00:36:24.900 --> 00:36:26.260
那我記得 GPT 好像

00:36:26.860 --> 00:36:30.980
也是20到30萬之間的啊，好，那它就這個主流模型長相啊，

00:36:31.060 --> 00:36:34.220
然後它的架構呢也是一樣，它就是嗯

00:36:34.780 --> 00:36:37.940
想辦法讓 KV cache 變少，讓它速度快一點的啊

00:36:38.100 --> 00:36:41.580
然後呢，它是一個能看得懂文字跟圖片的

00:36:41.890 --> 00:36:48.210
模型，
所以大家可能做 computer use
啊我我其實昨天有丟一個臉書的文章叫他去幫我，

00:36:48.530 --> 00:36:51.130
我用一個破解模型叫他去幫我下載，但我沒有，

00:36:51.130 --> 00:36:57.410
我真的沒有真的做了啊，我沒有真的做，
就是幫我下載一個最最近的電影的 torrent，

00:36:57.410 --> 00:37:00.490
他真的開始幫我做，那有時候破解模型了啊好，

00:37:00.490 --> 00:37:03.250
那他的 context window 260000差不多了，

00:37:03.250 --> 00:37:07.170
其實不見得每個模型的 context 都需要到 email，

00:37:07.170 --> 00:37:11.170
為什麼？因為 email 之後呢，其實中間那那一段 context window

00:37:11.530 --> 00:37:14.050
會爛掉會，其實模型會不去讀啊好，

00:37:14.050 --> 00:37:18.010
它可以開思考模式，它可以開不同強度思考模式，

00:37:18.210 --> 00:37:22.690
它可商用可微調可再訓練，它是一個完全開源的模型，

00:37:22.930 --> 00:37:26.610
它已經不是開放權重了，它它是一個開源模型，

00:37:26.610 --> 00:37:29.930
很誇張了好，所以呢，最近就大家在每千問

00:37:31.380 --> 00:37:36.340
2.3.8 27B 啊好，那基本本來說要出3.8 35B MoE，

00:37:36.340 --> 00:37:39.900
但是我也把這個畫面抓到，結果好像因為曝光他

00:37:40.500 --> 00:37:42.820
就把它取消掉了好，這

00:37:43.700 --> 00:37:46.340
個我就不多講了，我就不多講這些技術的東西啊，

00:37:46.340 --> 00:37:48.500
因為我覺得時間很不夠了啊，我只剩下

00:37:49.460 --> 00:37:51.060
二十幾分鐘了啊好

00:37:51.980 --> 00:37:53.380
，那當然了，就是

00:37:53.980 --> 00:37:58.500
說嗯，他能看得懂文字，他也能跑 workflow 沒有問題啊，

00:37:58.500 --> 00:38:03.340
那。它在跑這些 agentic workflow 時候呢是非常非常棒的啊好，

00:38:03.340 --> 00:38:06.260
等一下我會示範，我會示範啊 ok，

00:38:06.260 --> 00:38:08.980
那所以呢，所以呢，

00:38:08.980 --> 00:38:14.180
如果你今天你有一台呃128GB 的硬體啊，

00:38:14.340 --> 00:38:19.060
那我不講，就是說你有一台呃5090啊5090那片5090啊，

00:38:19.460 --> 00:38:26.180
那它32GB 啊，那你就可以輕鬆的跑上 FP8 的版本的千問 27B / 3.8 了

00:38:26.180 --> 00:38:28.300
沒有問題啊，因為

00:38:28.490 --> 00:38:32.410
嗯，呃，就剛好塞進去啊，那4090可能就吃力一點，

00:38:32.530 --> 00:38:35.890
但如果你不好 NVFP4可以就可以完全塞進去啊，

00:38:35.890 --> 00:38:41.730
那它其實 FP8降到 NVFP4的精度掉了大概兩個百分點而已，

00:38:41.730 --> 00:38:45.730
所以很不錯，非常不錯哦，進203080GB，

00:38:45.730 --> 00:38:48.970
然後呢，當然如果你有 DGX Spark，

00:38:48.970 --> 00:38:51.650
你有 Mac128G，你跑起來太輕鬆了，

00:38:51.650 --> 00:38:56.290
太輕鬆了，甚至你可以再去掛一個其他的模型再做其他事情了好，

00:38:56.290 --> 00:38:58.410
那麼但是它的重點就是說

00:38:58.690 --> 00:39:03.850
它已經可以讓你不需要使用雲端模型去做事了，

00:39:03.970 --> 00:39:07.930
你可以把你的模型放在地端，不出雲端好，

00:39:07.930 --> 00:39:12.690
這對資安很強調的公司機構來說非常重要啊，

00:39:12.690 --> 00:39:16.290
非常重要好好，我繼續往下講啊， 往下講

00:39:17.780 --> 00:39:20.540
OK，那地端模型的存在必要性哦

00:39:20.540 --> 00:39:25.660
其實我我我最近在強調這件事情是大家都覺得可能有些人還留下舊的觀念
，

00:39:25.660 --> 00:39:28.460
就是說地端模型就是玩具啊，只能用，

00:39:28.460 --> 00:39:32.740
只能做一些問答啊，不不是這樣子啊好啊

00:39:33.660 --> 00:39:38.100
，我等下去示範我，我已經在做的事情了啊，我已經在做的事情啊好，

00:39:38.420 --> 00:39:43.180
那麼地端模型有特色，第一個它的它只要跑一小羣人的目標，

00:39:43.180 --> 00:39:46.660
例如說公司几百個人的 agentic workflow

00:39:47.180 --> 00:39:50.100
它不用像閉源模型一樣，什麼都好，回來不用

00:39:50.100 --> 00:39:52.740
第二個它的 LLM 本身哦，

00:39:52.900 --> 00:39:56.820
就放在私有雲區域網路本機上，

00:39:57.020 --> 00:40:00.100
根本不會出到你公司以外的地方，非常安全

00:40:00.100 --> 00:40:02.820
第三個呢，就是如果你搭配好的

00:40:03.780 --> 00:40:04.460
harness

00:40:05.490 --> 00:40:07.650
它執行的地方那就更安全了

00:40:07.650 --> 00:40:12.850
那等一下就講 harness 啊，
那例如說我們嗯用 Claude Cowork 的時候呢，

00:40:12.850 --> 00:40:16.290
其實你的你執行 Claude Cowork 的東西就不是本機，

00:40:16.290 --> 00:40:20.850
不像 Claude Code 在本機執行啊，
Claude Cowork 它可以執行在本機的 VM 中，

00:40:21.330 --> 00:40:24.490
它也可以執行在 cloud 雲端的 VM 中啊好，

00:40:24.490 --> 00:40:29.250
怎麼證明其實很簡單，你在你的本機上裝一個虛擬機，

00:40:29.250 --> 00:40:33.610
例如說我在我的 Mac 上裝了一個 VirtualBox 虛擬機啊

00:40:33.770 --> 00:40:37.570
我在 VirtualBox 裡面呢，它是一個 Mac 的 Mac 的虛擬機，

00:40:37.570 --> 00:40:40.570
再裝一個 Claude Cowork 就不能用，為什麼?

00:40:40.570 --> 00:40:45.330
因為我虛擬機中開不了虛擬機啊，
就我 Mac 不支援巢狀虛擬機架構嘛啊，

00:40:45.410 --> 00:40:48.659
那也許 Windows 可以，我沒試過啊，但是我在我的

00:40:48.659 --> 00:40:51.455
Mac 上的 VirtualBox 開一個 Claude Code

00:40:51.455 --> 00:40:52.060
就不能用

00:40:52.180 --> 00:40:54.740
啊，那就是因為它虛擬機開它的

00:40:55.540 --> 00:40:58.340
它的 sandbox 開在本機的虛擬機上啊好，

00:40:58.340 --> 00:41:03.660
所以呢，如果我只要服務固定數量的團隊几十個人几百個人，

00:41:03.860 --> 00:41:06.820
那其實我大可以使用地端模型，

00:41:06.820 --> 00:41:10.700
因為它已經夠強了啊好，那你怎麼開始怎麼開始，

00:41:10.700 --> 00:41:13.620
那其實我的開始就是 DGX Spark 啊好，

00:41:13.620 --> 00:41:16.620
我現在最後悔就是我只買了一台啊，

00:41:16.620 --> 00:41:21.100
那現在叫我買第二台有點貴了啊，那一台當時我買

00:41:21.340 --> 00:41:25.140
我我買已經買貴，我買13萬5了啊，那我就是買這個版本啊，

00:41:25.140 --> 00:41:28.340
就是這個這個顏色，我不是買其他牌，我就是買 NV 的啊，

00:41:28.580 --> 00:41:32.060
好，那它發發熱比較比較高，

00:41:32.060 --> 00:41:35.300
它做的它的冷卻比較明顯，好像有限速了啊，

00:41:35.620 --> 00:41:38.660
好，那大家詬病的是啊，

00:41:38.660 --> 00:41:42.380
它好慢，它的是頻寬很慢，它才 EPFlop 有什麼好用的，

00:41:42.500 --> 00:41:47.420
各位我們要的不是快，我們要的是可用啊， 128GB Unified Memory

00:41:48.330 --> 00:41:51.370
塞 128GB 模型這件事情非常棒啊，

00:41:51.370 --> 00:41:54.570
我可以跟各位說啊，在買 DGX Spark之前啊，

00:41:54.730 --> 00:41:58.770
這個世界地端模型跟我的生活是生命是完全沒有關係的

00:41:58.770 --> 00:42:01.610
Hugging Face 什麼新模型我看都不看，跟我無關呢，

00:42:01.690 --> 00:42:06.490
我只有一片4090，24GB 呢，我只能跑這些20B 左右的模型呢，

00:42:06.650 --> 00:42:09.930
那根本就就幾乎沒有嘛，很奇怪啊，模型20B、

00:42:09.930 --> 00:42:12.970
30B 有了啊，這下就直接跳120B 了，

00:42:12.970 --> 00:42:15.570
中間30B 的、50B 的，呃，

00:42:15.570 --> 00:42:18.010
40B 的、80B 的，那麼幾乎沒看到啊

00:42:18.090 --> 00:42:22.610
好，但是有這個之後呢，Hugging Face 的模型就變成我的生活重心

00:42:22.610 --> 00:42:25.130
為什麼?因為它可以幫我做事啊，ok，

00:42:25.130 --> 00:42:30.010
那其實它可以跑出大概30token 每小每每秒鐘哦，

00:42:30.010 --> 00:42:32.650
那如果你是併發或平行哦，

00:42:32.650 --> 00:42:36.490
更快可以到八十九十啊，那如果你模型再小一點，

00:42:36.490 --> 00:42:41.090
像這次用千問27B，哇，那跑到八十九十都沒有問題啊好， 所以呢

00:42:41.680 --> 00:42:46.640
這對很多公司行業來說呢，或是你要幫人家部署地端模型的

00:42:47.440 --> 00:42:49.800
團隊來說呢，你可以做什麼?

00:42:49.800 --> 00:42:51.130
可以做 POC 啊，為什麼?

00:42:51.360 --> 00:42:54.160
當客戶問你說我能不能做這件事情的時候，

00:42:54.160 --> 00:42:58.480
你買一台十幾二十萬 DJspark，你先試試看能做，

00:42:58.480 --> 00:43:05.360
再幫他去部署更好的硬體 GB300 的 cluster 或是或他的私有雲上面啊

00:43:05.600 --> 00:43:08.240
好，那當然你想跑大模型就多買幾台啊，

00:43:08.240 --> 00:43:10.480
那現在已經貴起來，當然

00:43:10.520 --> 00:43:14.520
其實我記得上個月 DGX Spark都要到二十幾萬了，
這個這個這個月掉回200000了啊，

00:43:14.520 --> 00:43:17.880
那沒辦法，因為記憶體跟 SDD 漲太兇了啊啊，

00:43:17.880 --> 00:43:22.120
那所以你就可以做 POC，你能做 POC 再去部署就好了啊，

00:43:22.120 --> 00:43:25.320
那當然你就說你有很多選擇了，

00:43:25.320 --> 00:43:26.520
你有很多選擇

00:43:27.370 --> 00:43:30.010
你想跑地端模型其實有四個選擇，

00:43:30.490 --> 00:43:33.410
左上角 DGX Spark，右上角 Mac3，我有一台啊，

00:43:33.410 --> 00:43:36.410
我現在是用 Mac 在跑啊，另外地端模型，

00:43:36.410 --> 00:43:40.330
那左下角是嗯 AMD 的 AI395或495，

00:43:40.330 --> 00:43:46.730
那它也是128G，但是因為那右下角是大概沒再過一兩個月出來的

00:43:46.970 --> 00:43:52.250
RTX Spark，它是 Windows on ARM，再加上 DGX Spark裡面的 GPU 啊，

00:43:52.250 --> 00:43:55.850
也是 EPFlops 啊，好那你都可以選擇啊

00:43:55.850 --> 00:44:00.850
其實你不一定要 DJspark，但是呢，左上跟右下的好處是 CUDA，

00:44:01.290 --> 00:44:06.690
你有 CUDA 你就省掉很多麻煩啊，那左下的好處是 x86，

00:44:06.690 --> 00:44:10.010
為什麼很多 Docker engine 多 inference engine，

00:44:10.010 --> 00:44:13.690
它只有 x86 的架構，那右上角 Mac 呢，

00:44:13.690 --> 00:44:15.490
本來是比較

00:44:16.200 --> 00:44:19.080
少資源，但是現 mlx 的模型一大堆啊，

00:44:19.080 --> 00:44:22.120
所以如果你有一個128GB 以上 Mac，你也可以用，

00:44:22.120 --> 00:44:28.200
但是如果你是很依賴 CUDA 生態，
你就選擇 DJspark 或是 RTX Spark 快要出來了啊好

00:44:29.160 --> 00:44:36.040
那當你做完 POC 之後，你大可把你的成果部署到真正的應

00:44:36.040 --> 00:44:41.960
用上，例如說你去買一台這個 desktop 的 GB300啊好那很好玩，

00:44:41.960 --> 00:44:45.600
這個這個當時我用這個圖片啊，我在回答的場子講

00:44:45.680 --> 00:44:48.720
講這張圖片的時候呢，沒想到我就用到技嘉的，

00:44:48.720 --> 00:44:52.440
這是技嘉的機器啊，技嘉業務之後我就抱一台機器在現場，

00:44:52.440 --> 00:44:55.440
他說你在用我們家機器當圖片啊，我說不好意思，

00:44:55.440 --> 00:44:58.720
我拿掉他不要拿掉，不要拿掉，幫我們打廣告啊好，

00:44:58.720 --> 00:45:05.640
這台呢700多768GB 吧，大概有400多 GB 的 RAM 跟300、200、272GB

00:45:05.640 --> 00:45:09.560
的 VRAM 啊好，那麼這台是99000美金

00:45:09.790 --> 00:45:12.830
那如果你不你買四台就是四十萬美金，

00:45:12.830 --> 00:45:15.550
它也不用再去買什麼冷卻，你就插上電就好了，

00:45:15.830 --> 00:45:21.630
它就可以把真正很大，真正接近像 KimiK3 就可以部署上去了，

00:45:21.750 --> 00:45:27.430
你就可以跑一個現在全世界第二名的開放權重模型給你的公司用

00:45:28.350 --> 00:45:32.230
四十萬美金對我們老百姓來說很多錢，

00:45:32.230 --> 00:45:36.310
但對注重公司安全，金融行業，證券行業， 銀行保險行業，

00:45:37.030 --> 00:45:39.710
這個東西，這個太便宜了，非常便宜了啊

00:45:39.830 --> 00:45:44.550
好，那它不但可以把我們的 model 關進私有雲中，

00:45:44.550 --> 00:45:47.910
那如果我們配合好的 harness 關進沙箱中，

00:45:47.910 --> 00:45:50.670
你的資料就會非常安全啊好，

00:45:50.790 --> 00:45:55.710
那目前我自己已經上線的私就是用這樣子的架構，

00:45:55.710 --> 00:45:59.070
私有雲加上私有的 harness 架構呢，

00:45:59.070 --> 00:46:02.640
那太多了，我自己工作就什麼呃翻譯啊

00:46:02.780 --> 00:46:09.660
摘要啊，影片轉轉檔啊，什麼什麼呃 Word 什麼 Excel 的去識別化啊，

00:46:09.820 --> 00:46:12.340
我早就用地端模型，因為它速度很快，

00:46:12.340 --> 00:46:16.340
加比較安全的啊好，那我本來常駐的是 Nemotron，

00:46:16.340 --> 00:46:22.540
它換成 DeepSeek，這禮拜換成的千問 2.5 27B / 3.8 27B 啊就換掉了啊

00:46:22.940 --> 00:46:24.140
好那

00:46:25.660 --> 00:46:26.820
OK，那如

00:46:27.420 --> 00:46:30.300
果你已經有了一個一個機器，你也知道，

00:46:30.300 --> 00:46:31.940
然後你可以用地端模型

00:46:32.260 --> 00:46:34.790
那我們怎麼認識一個 model，我們怎麼認識它啊?

00:46:34.940 --> 00:46:38.940
好，那我們就來看看我們去 model 的大本營就 Hugging Face，

00:46:38.940 --> 00:46:41.100
大家應該都知道 Hugging Face 我就不多講了啊，

00:46:43.100 --> 00:46:46.020
Hugging Face，那這就是我們去找模型的大本營了啊，

00:46:46.220 --> 00:46:50.620
它就有 model 啊，就一堆 model 就一堆 model 了啊好， 那

00:46:51.900 --> 00:46:54.940
怎麼看一個 model 就它的名字，你怎麼去認識一個 model，

00:46:54.940 --> 00:46:57.620
它到底代表什麼意思啊，我們就來講一下啊，

00:46:57.620 --> 00:47:01.340
就來講一下，好像 model 一大堆啊，就講不完， 它好像有

00:47:01.830 --> 00:47:04.870
三百萬個 model 就就用不完了啊，

00:47:04.870 --> 00:47:09.750
找不完了啊好，那麼各大公司都在這邊有放他的 model 都可以下載啊，

00:47:09.750 --> 00:47:12.310
例如說 Kimi K3嗯，

00:47:12.510 --> 00:47:15.510
可不可以下載啊，沒有問題啊，Kimi K3呢，

00:47:15.510 --> 00:47:18.590
那只是很大啊，這邊呢，2.8T 了啊，

00:47:18.590 --> 00:47:21.590
你要先準備一個 2.8T 的硬碟了啊好，

00:47:21.590 --> 00:47:23.840
那麼怎樣這個 model 呢?

00:47:24.070 --> 00:47:27.270
那我們看到 model 其實有我就舉一個例子啊，

00:47:27.270 --> 00:47:29.110
例如說我舉這個例子啊

00:47:29.230 --> 00:47:33.390
NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 啊好，

00:47:33.390 --> 00:47:36.670
它大概有幾個東西，第一個就公就是我們也可以這邊看啊，

00:47:36.790 --> 00:47:39.710
這邊看啊，第一個就是說公司名稱就不用講，

00:47:39.710 --> 00:47:43.510
大家都知道公司名稱啊，公司名稱公司名稱啊，

00:47:45.350 --> 00:47:48.630
如果模型名稱啊，模型版本都不用講了啊好，

00:47:48.790 --> 00:47:52.670
那麼再來就是什麼參數大小， 就是說 550B

00:47:53.320 --> 00:47:58.400
參數大小，它如果後面沒東西，它就是一個 550B 的 Dense 模型，

00:47:58.400 --> 00:48:02.720
它不用自己強調自己是 Dense，它只要後面 550B 沒有數字了，

00:48:02.720 --> 00:48:07.960
它就是一個 Dense 模型，
就是一個你每次使用時候跑過全參數的模型啊好，

00:48:07.960 --> 00:48:10.720
那麼如果它出現 A 多少 B 什麼意思，

00:48:10.720 --> 00:48:14.560
它是一個 MoE 模型，它每次只啟動 55B，

00:48:14.560 --> 00:48:21.480
像這個這個為例子就是啟動 55B 啊好 NVFP4 是什麼意思，
量化啊，量化等一下講 ok

00:48:21.480 --> 00:48:22.840
那麼當然你會看到什麼 QAT 啊，

00:48:23.080 --> 00:48:26.160
QAT 這邊什麼 E4B 什麼 IT 啊，

00:48:26.160 --> 00:48:29.920
MTP 啊，我都我就慢慢講啊，

00:48:29.920 --> 00:48:32.840
第一個 QAT 就是什麼叫量化啊，

00:48:32.840 --> 00:48:35.960
我們都知道現在的電腦

00:48:36.240 --> 00:48:38.800
代表一個數字啊，例如說我們用整數，

00:48:39.870 --> 00:48:42.750
那就是用，呃，比如說 64 位元，64 位，64 位啊，

00:48:42.750 --> 00:48:47.830
64 位就是四位元啊，八位元啊的的整數，

00:48:47.830 --> 00:48:52.030
那它就是 2 的 64 次方，從 2 的呃，

00:48:52.030 --> 00:48:55.350
從 2 就它就它有 2 的 32 次方的可以表示，

00:48:55.350 --> 00:48:59.190
就從正正到負的整數啊，那浮點數不能這樣子定啊，

00:48:59.190 --> 00:49:02.750
浮點數它有一個叫 mantissa 啊，
跟那個跟那個 exponent，就它有一個嗯

00:49:02.750 --> 00:49:08.710
的 mantissa 跟這個位數啊，那這個位數呢，

00:49:09.070 --> 00:49:11.910
其實我們就發現它有限制很多了啊，

00:49:11.910 --> 00:49:14.750
好，那麼我們一般來說我們會用例如說 16 位位元的

00:49:15.070 --> 00:49:20.030
大小來記一個浮點數，問題是呢，

00:49:20.830 --> 00:49:23.670
在模型的參數中，0.12 跟 0.123456 它的意思差不多，

00:49:23.950 --> 00:49:29.790
我們不需要去記到 0.123456，我們只需要記到 0.12 就好，

00:49:30.110 --> 00:49:33.910
所以說我們花，呃

00:49:33.910 --> 00:49:36.430
看起來只有三位哦，其實就不用記到六七位了，

00:49:36.780 --> 00:49:41.220
它它帶的一直差不多哦，這是我們就把模型用的這個位數減少，

00:49:41.220 --> 00:49:46.740
這就叫做量化啊，量化很多方式啊，就是它有很多很多方式了啊好，

00:49:46.860 --> 00:49:51.260
那麼量化呢，

00:49:51.340 --> 00:49:52.900
它有個重點，就是說大部分你先看到模型是模型先訓練出來，

00:49:54.300 --> 00:49:58.900
這就把裡面的參數量化啊，把它變小啊好，

00:49:59.100 --> 00:50:02.500
那其實也有，就在訓練時候呢

00:50:02.500 --> 00:50:04.820
就把它量化，它發現有些地方可以就直接用比較少的位數來代表啊，

00:50:04.980 --> 00:50:09.860
這叫做 QAT 啊，所以你會看到有些叫做 QAT 模型，

00:50:09.980 --> 00:50:13.500
就是它是量化感知訓練模型，它在訓練的時候就知道要量化，

00:50:13.500 --> 00:50:18.180
那大部分你看到量化模型都是之後才量化的啊好，

00:50:18.540 --> 00:50:22.220
你會看到什麼 Q4_K_M 啊，那這是某一種 GGV 量專門用的量化方式，

00:50:22.220 --> 00:50:27.900
Q4就是四位元 K 是它叫 k-quant，它的量化方式啊 M 就是

00:50:27.980 --> 00:50:32.820
大中小 M 是中，有 large 有 small 啊就大小啊好，
14B 是一個新的東西，

00:50:33.030 --> 00:50:38.710
就是它其實真正能代表的 effective 4B，就是這個模型呢，

00:50:38.710 --> 00:50:44.230
它也許說它是一個嗯 10B 14B 啊，

00:50:44.230 --> 00:50:48.390
那其實它只能在進機體大小大概就就 67B 啊，

00:50:48.390 --> 00:50:52.550
為什麼? 因為它用 effective 啊好，我這邊補充一下啊，

00:50:52.550 --> 00:50:56.230
因為它用 effective 啊好，我這邊補充一下啊，

00:50:56.230 --> 00:50:59.350
就是嗯，像剛剛這邊的嗯

00:51:01.910 --> 00:51:07.590
這個 550B，A55B 哦，它在載入時還是要把 550B 全部載入哦，

00:51:07.590 --> 00:51:11.390
它不是只載 A55B 哦，550B 要全部載入，

00:51:11.390 --> 00:51:15.430
但它在 inference 時候它的 token 只會使用這 55B，

00:51:15.430 --> 00:51:20.870
所以比較快，但是你還是要準備 550B 的 550G 的記憶體哦，

00:51:20.870 --> 00:51:25.910
好，那再來就是 MTP 我剛講過，就是它可以一次預測多個 token，

00:51:25.910 --> 00:51:29.390
那 MTP 你必須在訓練時照做， 那你

00:51:29.640 --> 00:51:33.280
訓練時沒做這模型就不支援 MTP，會快很多很多啊好，

00:51:33.360 --> 00:51:36.960
那麼你會看到最近流行就是流行兩個格式，一個叫 dspark，

00:51:36.960 --> 00:51:40.360
一個叫做 eagle 啊，那麼他們方式不一樣，

00:51:40.360 --> 00:51:46.960
但是他們都可以支援 MTP 啊好，
it 就是 instruction tune，就是這個模型經過

00:51:46.960 --> 00:51:48.320
instruction tune，就是它

00:51:49.080 --> 00:51:53.880
會遵循人類指定啊，這個一般在預訓練的第二段做，叫做 SFT 啊，

00:51:53.880 --> 00:51:57.440
所以有些模型叫做 base model，它只會做文字接龍，

00:51:57.440 --> 00:51:59.480
它看不懂呃指令

00:51:59.600 --> 00:52:01.400
舉個例子來說，例如說

00:52:02.320 --> 00:52:06.760
我把一句話丟進模型，這句話叫做巴黎，

00:52:06.760 --> 00:52:12.080
呃，法國的首都是哪裡啊，如果經過的模型，

00:52:12.080 --> 00:52:15.040
他會知道這是一個問句，他會回答巴黎，

00:52:15.600 --> 00:52:19.280
如果你丟進一個 base model 說法國的首都是哪裡，

00:52:19.280 --> 00:52:21.800
他會接出來美國的首都是哪裡，

00:52:21.800 --> 00:52:25.080
英國首都是哪裡，法國最大城市什麼，還亂接啊，

00:52:25.200 --> 00:52:26.520
但經過 IT 之後呢，他就

00:52:26.890 --> 00:52:31.970
就知道要回答問題了啊，那在經過 RL 之後就知道回答正確的問題啊

00:52:31.970 --> 00:52:35.410
好，那這就是 IT 啊，那麼另外就是你最近看很多

00:52:36.450 --> 00:52:41.530
啊，這個就是不知道能不能講啊，
你看這邊有一堆 uncensored 啊，uncensored 一堆啊，

00:52:41.930 --> 00:52:45.170
什麼意思有一堆啊，abliterated 的太多了，

00:52:45.170 --> 00:52:49.650
我就不講了啊，就不講什麼意思，就是被破解的模型啊，

00:52:49.650 --> 00:52:55.930
還有 NSFW 啊，叫做 Not Safe For Work，這些會輸出

00:52:56.170 --> 00:52:58.770
非法內容，我昨天有丟出一篇 Facebook，

00:52:58.770 --> 00:53:03.730
我試一個模型，他真的會去破解別人的網路啊，

00:53:03.810 --> 00:53:08.170
他之前他就是他，他之後跟我說你想破解哪一個網站，

00:53:08.170 --> 00:53:11.250
你把網站貼給我，我幫你破解啊，大家不要用，

00:53:11.250 --> 00:53:14.690
是犯法的，不要用啊好，所以你要了解模型的參數啊，

00:53:14.690 --> 00:53:17.050
OK，那我們就往下看啊

00:53:19.220 --> 00:53:21.940
好，那我看今天可能快延長時間了，

00:53:21.940 --> 00:53:26.820
所以呢，等一下如果講到 9 點沒講完，
我們就休息好不好? 就休息10分鐘

00:53:27.460 --> 00:53:33.900
好，保哥說今天上線晚上12點 OK 的，按讚沒有我

00:53:37.300 --> 00:53:40.820
們沒有什麼時間限制啦 OK 啦，好，那就是說如果沒有時間，

00:53:40.820 --> 00:53:46.100
我們倆就休息一下，我怕各位大概上洗手間了，
好，有人你看有人嫌太早了

00:53:46.980 --> 00:53:49.780
就怕講不完了啊，不會了，

00:53:49.780 --> 00:53:51.540
不會了，不會了，對，好啊，你

00:53:52.140 --> 00:53:54.860
講到一個段落我們就休息一下也 OK 啊，哦，

00:53:54.860 --> 00:53:57.540
講完這些我們就休息啊，可以啊，好好，

00:53:57.540 --> 00:54:04.430
那我們現在關心就是你要問我說我的4090 24GB 裝得下整個模型嗎?

00:54:04.820 --> 00:54:07.700
那5090裝得下這個模型嗎，哈 OK 啊，哈，

00:54:07.860 --> 00:54:11.220
其實我們要算很多東西啊，一般來說了，

00:54:11.220 --> 00:54:14.180
一般來說啊，就是說我們會從

00:54:15.690 --> 00:54:20.970
FP8就是8位元量化的模型來當做一比一的基礎啊，

00:54:20.970 --> 00:54:25.450
就是什麼?例如說這個模型，它說它是5550B 啊，

00:54:25.450 --> 00:54:29.290
那麼如果你是 FP8的話呢，

00:54:29.290 --> 00:54:33.010
它就是550B，550GB 剛好裝得下啊，

00:54:33.010 --> 00:54:36.130
就是說 Qwen 27B，

00:54:36.330 --> 00:54:39.050
那它量化是 FP8，你只需要27B 的記憶體，

00:54:39.290 --> 00:54:43.170
如果你用 BF16，它是一個，它是一個精度啊，

00:54:43.290 --> 00:54:44.610
那你就要多一倍

00:54:44.690 --> 00:54:51.690
多一倍的記憶體，所以呢，你就這樣算啊，
FP8剛好就等於我的記憶體的數量跟模型的參數數量就

00:54:51.690 --> 00:54:55.490
是 GB 跟 B 的差別啊，那麼 NVFP4呢，

00:54:55.490 --> 00:54:59.770
它不會是剛好除一半，不會，它會比一半多一點點啊，

00:54:59.770 --> 00:55:03.970
多一點點啊，所以就說我的呃 Qwen 27B

00:55:04.380 --> 00:55:08.620
你如果是 FP8就是27G，你的5090裝一下，

00:55:08.620 --> 00:55:13.900
如果你是 FP4，你可能就是差不多十二、十 GB 左右啊，

00:55:13.900 --> 00:55:17.660
但是呢你不能這樣算，為什麼，你要占 KV Cache 啊，

00:55:17.660 --> 00:55:19.580
那 KV Cache 占多少呢?

00:55:19.580 --> 00:55:24.380
其實看你要準，你看你這個模型的 attention 有幾層，

00:55:24.620 --> 00:55:27.700
如果你層數很多，你要占多一點，還有用的人多不多啊，

00:55:27.700 --> 00:55:34.100
那你用的人多，你要多占一點呢，
那另外你模型的平行輸入數量多少也要多占啊，好， 所以就是

00:55:34.260 --> 00:55:37.020
為什麼我們大家那麼喜歡 Qwen 27B，

00:55:37.020 --> 00:55:41.340
因為它一個32GB 的5090 就可以 跑得非常棒，

00:55:41.340 --> 00:55:45.100
占的 KV Cache 也夠多，context window 也可以夠大啊，

00:55:45.180 --> 00:55:47.300
那麼另外就是呃

00:55:48.220 --> 00:55:51.300
我們在下載模型，其實我們不只下載權重啊

00:55:51.390 --> 00:55:54.710
我們下載很多東西，我們下載 tokenizer 定義檔，

00:55:54.710 --> 00:56:00.070
我們下載 config.json，我們下載 toolparser 的一些規則檔嘛，

00:56:00.150 --> 00:56:03.070
好，那只要你忘記下載或弄錯就跑不出來啊，

00:56:03.270 --> 00:56:07.030
那所以就有人把這些東西全部變成一個檔案叫做 GGUF，

00:56:07.030 --> 00:56:11.270
那麼 GGUF 就是我們常常看到的 Ollama、llama.cpp 啊，

00:56:11.270 --> 00:56:15.350
他們就是用 GGUF 把剛剛我講這些檔案全部變成一個，

00:56:15.350 --> 00:56:18.910
那你只要下載這個檔案就可以跑起來了， 你只要用 Ollama

00:56:19.070 --> 00:56:22.390
就那麼點 CPP 啊，等一下我們會講這個東西就可以跑起來啊，

00:56:22.390 --> 00:56:26.790
就比較方便啊好，但是它的參數設定一定不會比其他的好，

00:56:26.790 --> 00:56:32.790
等一下我們就講到這一段啊好，那我們現在先休息個10分鐘， 我們9點

00:56:33.630 --> 00:56:36.390
07分回來好不好，9點07分回來啊

00:56:36.990 --> 00:56:39.950
OK 好那我們就休息聽歌

00:56:41.640 --> 00:56:43.000
那我就來

00:56:43.640 --> 00:56:44.840
分享音樂囉

00:56:45.640 --> 00:56:46.920
謝謝保哥，保哥唱歌我

00:56:48.920 --> 00:56:51.080
我都我都放我的音樂創作

00:56:55.080 --> 00:56:56.240
好，我看一下啊，

00:56:57.000 --> 00:56:59.720
分享我的電腦音訊

00:57:00.560 --> 00:57:02.120
OK，立體聲

00:57:03.160 --> 00:57:04.920
分享聲音 OK

00:57:08.400 --> 00:57:10.160
OK，好，那我可能要把

00:57:11.240 --> 00:57:13.000
畫面切過來

00:57:57.390 --> 00:57:58.590
電腦音訊

00:58:00.590 --> 00:58:01.470
OK，可以了

00:58:12.660 --> 00:58:16.180
好，大家趕快去上廁所哦，我就來播歌就好了

00:58:54.580 --> 00:58:58.020
聲音，聲音還可以嗎? 各位微

00:59:06.460 --> 00:59:08.180
微風吹過街角

00:59:10.250 --> 00:59:12.930
陽光剛剛好，

00:59:12.930 --> 00:59:16.450
看著你的微笑，

00:59:17.190 --> 00:59:19.650
心跳在狂飆，

00:59:21.050 --> 00:59:23.530
手心裡的溫度，

00:59:24.450 --> 00:59:26.990
偷偷在昇高，

00:59:26.990 --> 00:59:32.650
這感覺多奇妙，像霧從裡飄飄

00:59:33.810 --> 00:59:37.530
I love you baby 聽我的心跳，

00:59:37.530 --> 00:59:41.270
為你設計的歌，每分一秒，

00:59:41.370 --> 00:59:43.830
播放著音樂，

00:59:45.030 --> 00:59:47.010
幸福在環繞

00:59:48.250 --> 00:59:51.950
I love you baby 跟我一起跳，

00:59:51.950 --> 00:59:56.170
兩顆心緊緊貼著剛剛好，

00:59:56.170 --> 00:59:59.961
這份甜蜜永遠不退潮

01:00:02.880 --> 01:00:06.820
手牽手走過斑馬線的街口，

01:00:06.820 --> 01:00:10.380
看夕陽染紅了整個宇宙，

01:00:10.380 --> 01:00:14.020
不需要太多複雜的嘗試，

01:00:14.040 --> 01:00:17.580
只要看著你就是最美的事，

01:00:17.580 --> 01:00:21.140
就算世界再大我也不會迷路，

01:00:21.260 --> 01:00:25.040
你的眼神就是我的專屬地圖，

01:00:25.040 --> 01:00:28.840
重複播著我們的專屬情歌，

01:00:28.860 --> 01:00:35.500
這一刻幸福已經定格 I love you baby 聽我的心跳，

01:00:35.500 --> 01:00:39.220
為你設計的歌，每一分一秒，

01:00:39.440 --> 01:00:41.681
播放著音樂，

01:00:43.060 --> 01:00:45.020
幸福在環繞

01:00:46.320 --> 01:00:50.060
I love you baby 跟我一起跳，

01:00:50.060 --> 01:00:54.000
兩顆心緊緊貼著剛剛好，

01:00:54.000 --> 01:00:57.660
這份甜蜜永遠

01:00:57.950 --> 01:01:06.830
不退場 Oh baby I love you

01:01:07.430 --> 01:01:10.530
最甜蜜的節奏，

01:01:10.530 --> 01:01:14.590
永遠不放手

01:01:34.680 --> 01:01:37.950
深夜兩點的辦公室裡，

01:01:38.470 --> 01:01:42.050
鍵盤敲擊像是一首交響曲，

01:01:42.050 --> 01:01:44.910
你打開 Claude 開始分析

01:01:46.000 --> 01:01:48.920
指引著我們突破無數困局，

01:01:49.880 --> 01:01:52.621
用 JS 寫下奇蹟，

01:01:53.240 --> 01:01:56.440
你手把手地教著同學，

01:01:57.080 --> 01:02:00.420
每一個行號都仔細地校正，

01:02:01.040 --> 01:02:04.200
不管是 Python 的邏輯，

01:02:04.800 --> 01:02:07.860
還是複雜的系統設計，

01:02:08.440 --> 01:02:12.100
有你在，程式碼都變得美麗，

01:02:12.100 --> 01:02:16.120
保哥好帥，終端機裡的光芒，

01:02:16.260 --> 01:02:20.040
指尖下閃耀著無限的想像，

01:02:20.120 --> 01:02:22.940
問問 Copilot 尋找方向，

01:02:22.940 --> 01:02:26.860
每一次 debug 都是實力的碰撞，

01:02:27.260 --> 01:02:31.340
保哥好帥，寫下無數的輝煌，

01:02:31.420 --> 01:02:38.471
微軟的 MVP 散發著光芒

01:02:42.570 --> 01:02:45.710
你帶著智慧走向新時代，

01:02:45.790 --> 01:02:50.330
用可靠的探索未知的未來，

01:02:50.330 --> 01:02:53.590
臨邁的技術隨手連來，

01:02:53.790 --> 01:02:57.370
每次優雅的解決方案，

01:02:57.830 --> 01:03:00.850
都證明了你的無可替代，

01:03:01.030 --> 01:03:04.590
不畏艱難追求機制的完美，

01:03:04.590 --> 01:03:09.190
在技術的世界裡你是絕對，

01:03:09.190 --> 01:03:12.390
帶領著我們一起高飛，

01:03:12.710 --> 01:03:16.650
你就是我們最崇拜的地位，

01:03:16.650 --> 01:03:20.490
保哥好帥終端機裡的光芒，

01:03:20.490 --> 01:03:24.270
指尖下閃耀著無限的想象，

01:03:24.290 --> 01:03:27.130
問問 Copilot 尋找方向，

01:03:27.130 --> 01:03:30.790
每一次 debug 都是實力的碰撞

01:03:31.500 --> 01:03:35.440
保哥好帥，卸下無數的輝煌，

01:03:35.440 --> 01:03:42.280
微軟的 MVP 散發著光芒，

01:03:42.900 --> 01:03:44.400
代碼在運行，

01:03:45.180 --> 01:03:47.373
系統在歌唱，

01:03:47.373 --> 01:03:52.360
保哥的帥氣永遠在我們心上，

01:04:24.150 --> 01:04:29.170
古月的風帶走最後的人行，

01:04:29.210 --> 01:04:34.370
那一葉長丹驚醒了深夜的寧靜，

01:04:34.430 --> 01:04:39.670
我們在無邊的夜裡盲目地前行，

01:04:39.670 --> 01:04:45.470
堆疊的字句燒光了所有的星辰，

01:04:45.470 --> 01:04:51.390
忘記了可這才是最美的風景，

01:04:55.170 --> 01:05:00.730
對話過多模糊了清澈的眼睛，

01:05:00.730 --> 01:05:05.730
時空的代理在黑夜裡獨自刻印，

01:05:05.730 --> 01:05:11.090
不如在分岔路口按下分支的腳印

01:05:11.900 --> 01:05:16.200
把那些紛擾關在隔離的夢境，

01:05:16.200 --> 01:05:21.800
把沉重的負擔拆成微笑的願望，

01:05:21.900 --> 01:05:26.880
安穩的潛墜命中那一抹日光，

01:05:26.880 --> 01:05:29.880
不需要重複尋找，

01:05:29.880 --> 01:05:32.480
不再盲目迷惘，

01:05:32.480 --> 01:05:35.380
保持著初心感情，

01:05:35.720 --> 01:05:38.300
沿途才有花香，

01:05:42.280 --> 01:05:47.920
有了一張望，記錄下每一步的光，

01:05:48.020 --> 01:05:53.180
安全的隧道守護著最初的期盼，

01:05:53.180 --> 01:05:58.380
從破萬的驚慌到十分之一的平淡，

01:05:58.380 --> 01:06:00.021
這份勵志的努力

01:06:00.050 --> 01:06:03.370
指引讓每個人都心安，

01:06:03.370 --> 01:06:08.810
把沉重的負擔拆成微笑的願望，

01:06:08.810 --> 01:06:13.830
安穩的潛墜命中那一抹餘光，

01:06:13.830 --> 01:06:16.950
不需要重複尋找，

01:06:16.950 --> 01:06:19.450
不再盲目迷惘，

01:06:19.450 --> 01:06:21.230
保持著初心，

01:06:22.310 --> 01:06:25.330
趕緊沿途才有花香，

01:06:28.870 --> 01:06:32.170
思緒沉澱了，

01:06:32.210 --> 01:06:35.130
預算安詳了，

01:06:35.130 --> 01:06:37.390
這首歌的終局，

01:06:38.030 --> 01:06:44.610
遇見久違的快樂，每一行號都是安心

01:06:44.610 --> 01:06:46.410
的模樣

01:07:03.200 --> 01:07:04.120
好 ok

01:07:05.120 --> 01:07:07.840
，那我把對分享切回去哈

01:07:08.880 --> 01:07:12.000
，我捨不得繼續聽，捨不得切回來

01:07:14.160 --> 01:07:16.200
嗎？繼續聽行不行？

01:07:16.320 --> 01:07:19.840
好聽還不錯吧哈，全部都是 AI 創作的哦，

01:07:19.840 --> 01:07:21.520
好聽好輕快啊

01:07:22.120 --> 01:07:25.040
是是還不錯好了好，我們回到無聊的地方吧

01:07:28.400 --> 01:07:29.560
好，我繼續講啊

01:07:29.840 --> 01:07:33.200
好好，你謝謝熒幕，你還沒謝，還沒謝很好，繼

01:07:38.320 --> 01:07:43.800
續講好， 我每次休息時間都要擔任 DJ 這樣子，

01:07:44.880 --> 01:07:46.360
謝謝保哥

01:07:47.850 --> 01:07:50.250
有了嗎?有，OK，好

01:07:52.050 --> 01:07:56.290
啊哈，那我們就開始講吧，哈，那其實講完就是說我們了解量化，

01:07:56.290 --> 01:08:02.810
所以各位知道你 FP8啊，就是剛好等於你記憶體跟那個模型就呈現

01:08:03.130 --> 01:08:05.930
一比一的狀態啊，但是我剛剛講你要留 KV Cache，

01:08:05.930 --> 01:08:09.970
你要留 Context Window，你要留點留點餘餘地的，

01:08:10.050 --> 01:08:11.930
因為就是說我們現在用的如果是

01:08:12.690 --> 01:08:16.250
啊，就是統一記憶體架構的話，你你電腦本身

01:08:16.770 --> 01:08:20.046
還會需要一些記憶體啊，那我自己經驗是因為像我們

01:08:20.046 --> 01:08:23.250
用 DJspark DJspark 因為它本身是一個 Linux 啊

01:08:23.250 --> 01:08:25.610
，所以比較小，那所以它能

01:08:26.250 --> 01:08:32.530
它系統佔掉記憶體比較少，
那如果你是用 Mac Mac 也佔的也不會太多啊，

01:08:32.530 --> 01:08:37.810
但如果你是用 AMD 那一台啊，那台因為它其實是 Windows 系統啊

01:08:37.940 --> 01:08:43.980
啊，但你可以把它裝成電子沒問題啊，
噹 Windows 系統它其實呃我我是沒有那個機器啊，

01:08:43.980 --> 01:08:47.500
但我一直在等，那本來大陸有個極摩客我沒有買到，

01:08:47.820 --> 01:08:51.540
那我聽分享的網友說它大概是96GB 就滿了啊，

01:08:51.540 --> 01:08:54.260
所以你自己大概大概算一下，要算一下啊，

01:08:54.260 --> 01:08:59.220
那當然因為我們現在用這些 UMA 架構的記憶體頻寬都很小，

01:08:59.340 --> 01:09:02.116
它是沒辦法跟 5090、4090 比的，

01:09:02.116 --> 01:09:04.991
但它的優勢就是它的記憶體很大，

01:09:04.991 --> 01:09:06.380
但它速度比較慢

01:09:06.740 --> 01:09:10.700
所以就你要自己要做取捨，那如果說你已經找到一個你要模型了，

01:09:10.940 --> 01:09:14.780
那你也覺得這個模型大小放得進 5090，

01:09:15.020 --> 01:09:19.740
那你就可以把它拿來做你很多，比如你一個公司小團隊系統服務啊，

01:09:19.980 --> 01:09:23.940
那前天在小聚就遇到最後一個講者

01:09:25.290 --> 01:09:30.650
他們只需要用很小的一個 VM 跟一個 OCR 模型啊，

01:09:30.650 --> 01:09:36.930
所以他們就把它 compile 成他們要的大小塞進 4090 服務圈公司啊，

01:09:36.930 --> 01:09:39.970
非常好用啊，這就是可以這麼做啊，

01:09:39.970 --> 01:09:45.210
這找到你的模型，然後你覺得大小夠可以剛好夠用就可以選擇硬體啊好

01:09:46.410 --> 01:09:50.410
那接下來看就是 inference engines，那其實等一下我會示範啊，

01:09:50.410 --> 01:09:53.210
會示範，那 inference engine 很多啊，那其實我

01:09:53.850 --> 01:09:57.730
我。對，因為我這這個分享會是主要介紹 DGX Spark，

01:09:57.730 --> 01:10:04.330
所以我們就以 DGX Spark 為主，那如果你是例如說你是 Mac，
最近最瘋的就是 Dflash 啊 Dflash

01:10:04.490 --> 01:10:07.930
那 MLX 架構啊，那我的 Mac 也有跑啊，

01:10:07.930 --> 01:10:09.850
但是那今天就分享，因為

01:10:10.100 --> 01:10:15.380
就就太多東西了啊好，那麼 inference engine 大概就這幾個了啊好，

01:10:15.380 --> 01:10:19.060
那第一個就是 llama.cpp 就是老字號元老級的東西啊，

01:10:19.260 --> 01:10:23.780
那它出來之後呢，我們就發現它對它是用 C++ 寫的，

01:10:23.780 --> 01:10:27.820
而且它用 GGUF 這種打包型的形態的格式啊，

01:10:27.820 --> 01:10:33.740
所以它很方便啊，那你可以直接跑 llama.cpp 就 llama-server 啊，

01:10:33.980 --> 01:10:39.220
或是你直接用 Ollama 也是用支援這個格式的啊好就可以跑啊好

01:10:39.380 --> 01:10:42.420
那但是他們的問題也是他們優點，

01:10:42.420 --> 01:10:45.020
是他們缺點，就是他們模型格式很專一，

01:10:45.020 --> 01:10:50.900
所以呢他可能不太會讓你能跑各式各樣的模型啊，

01:10:50.900 --> 01:10:54.380
就就是說可能他不支援 NVFP4 他沒出這個模型，

01:10:54.380 --> 01:10:57.020
你就不能用，你就不能用啊好，

01:10:57.020 --> 01:10:59.460
那麼 Ollama 很多人用，因為 llama 很方便

01:11:00.550 --> 01:11:03.790
好，那它它也幾乎是可以支援所有的啊，

01:11:03.790 --> 01:11:06.710
就是 llama 的 cpp 格式，但是也是一樣，

01:11:06.710 --> 01:11:12.910
就是它還是呃不是真正你在做事實的主力啊，

01:11:12.910 --> 01:11:16.830
你可以來做測試做實驗啊好，那我是從開始的，

01:11:16.830 --> 01:11:23.670
後來慢慢就轉到其他引擎去了啊，
那 LM Studio 這一類或是最近出於 Unsloth Desktop 都一樣啊，

01:11:23.670 --> 01:11:26.790
就是如果你呃用 DJspark，

01:11:26.950 --> 01:11:29.470
你不介意進去它的界面裡面用

01:11:29.550 --> 01:11:33.750
啊，就是像我是把 DGX Spark 放在我的伺服器的房間啊，

01:11:33.750 --> 01:11:36.950
那就都是 SSH 連線， 都是用

01:11:37.910 --> 01:11:40.510
VNC 連線的啊，所以就不在我前面，

01:11:40.510 --> 01:11:44.550
所以就不太能用了啊好，但如果你你把你像很多公司，

01:11:44.550 --> 01:11:46.670
我就是看真的看看很多公司

01:11:47.280 --> 01:11:49.960
為了怕 S8 被人家幹走啊，

01:11:49.960 --> 01:11:53.280
就必須放在那個使用者的桌面上，然後他怕把保護啊，

01:11:53.280 --> 01:11:57.840
因為下班沒他幹走怎麼辦啊，所以他就他就會用那個桌面來用啊，

01:11:57.840 --> 01:12:01.720
就可以用 LM Studio，很好用，它可以調 MTP，

01:12:01.720 --> 01:12:04.440
可以調 twousing 都可以調，很方便，

01:12:04.440 --> 01:12:11.440
也很好用哦好，那麼 TRT-LLM 是 NV 親娘出的推論引擎啊,

01:12:11.640 --> 01:12:15.520
那只要是 NV 的模型或是 NV 的 NVFP4 的模型

01:12:15.800 --> 01:12:19.720
它都非常非常好用啊，其實它的參數比較麻煩哦，

01:12:19.720 --> 01:12:23.960
就是你要去調它參數哦好，但是論速度論相容性，

01:12:24.120 --> 01:12:28.560
CUDA 相容性它是最好的好，那麼我最推薦就是 VLM，

01:12:28.560 --> 01:12:33.320
為什麼？因為它的參數設定太太就太完整了哦，

01:12:33.320 --> 01:12:37.160
就是你每個參數可以設定非常非常細哦好，

01:12:37.160 --> 01:12:39.280
然後呢，而且它可以嗯

01:12:39.490 --> 01:12:43.010
也可以變成一個 OpenAI 的相容端點啊，

01:12:43.010 --> 01:12:45.770
我都是這麼用，就是我跑 VLM 跑起來，

01:12:45.770 --> 01:12:50.050
然後呢，就讓我其他的區域網路上的電腦就去使用它，

01:12:50.050 --> 01:12:53.450
就讓大家一起跑，而且速度也很快啊，

01:12:53.450 --> 01:12:56.170
好，那麼 SGLang 也是一個很好用的東西，

01:12:56.170 --> 01:12:59.930
它跟 VLM 很像啊，那其實你們看到 xAI，

01:12:59.930 --> 01:13:05.250
他們那几十萬個 GPU 的那個 Colossal 就是用 SGLang 架起來的，

01:13:05.250 --> 01:13:09.090
架起來的好，那麼是呃

01:13:09.170 --> 01:13:13.290
這一類就是呃專門給某一個引擎用的，

01:13:13.290 --> 01:13:20.210
某一個模型用的引擎也很多啊，
網上找一大堆 DFlash 啊 DwarfStar 一大堆的啊

01:13:20.290 --> 01:13:23.930
，所以你都可以挑，那如果你真的要呃做事啊，

01:13:23.930 --> 01:13:27.690
因為你呃是一個公司的團隊或者是某某一個部門，

01:13:27.690 --> 01:13:30.210
那我是極度推薦 VLM 跟 SG 的啊，

01:13:30.210 --> 01:13:33.170
它非常非常好用，你調它參數啊，

01:13:33.170 --> 01:13:37.090
等一下我會示範給各位看啊好那麼

01:13:37.540 --> 01:13:41.220
我講到這面呢，我就要講一件事，就是說你們會覺得說那哇，

01:13:41.220 --> 01:13:43.860
這麼多推動引擎，它的參數的設計那麼複雜啊，

01:13:44.140 --> 01:13:46.310
怎麼我怎麼設定，你要怎麼找啊?

01:13:46.620 --> 01:13:52.020
好，那我就是用最偷懶的方法，我就在這台電腦上裝個 Claude Code，

01:13:52.300 --> 01:13:57.420
然後把這個，然後把這個模型的 model card 那一頁，

01:13:57.420 --> 01:14:00.300
比如說我 Hugging Face model card 這一頁啊，這一頁

01:14:01.180 --> 01:14:01.820
這一頁

01:14:02.860 --> 01:14:05.420
啊 model card 這一頁啊，把這個複製下來

01:14:06.700 --> 01:14:10.780
。啊，然後呢，你大概就看一下啊，然後就會告訴你怎麼跑了啊，

01:14:11.220 --> 01:14:14.260
這邊有各種跑法啊，各種跑法好，

01:14:14.540 --> 01:14:17.660
你就把這個網址複製下來，然後呢，

01:14:17.820 --> 01:14:20.300
就直接把這個網址貼給

01:14:22.460 --> 01:14:24.780
說幫我照這個網址

01:14:25.210 --> 01:14:28.010
的內容架用什麼什麼，

01:14:28.010 --> 01:14:30.690
它就是架起這個模型就好了就可以，

01:14:30.690 --> 01:14:35.090
它就幫你做，那當然我的 Claude Code 有寫得很清楚的 CLAUDE.md，

01:14:35.290 --> 01:14:38.890
它就不會亂做，例如說我的 CLAUDE.md 有規定，

01:14:38.890 --> 01:14:40.090
我可以讓你看一下我

01:14:40.770 --> 01:14:46.240
的 CLAUDE.md 有規定得非常清楚啊， 非常非常清楚好，例如

01:14:50.540 --> 01:14:51.780
說我的 CLAUDE.md 呢

01:14:54.100 --> 01:14:58.460
規定你架什麼服務都要用 Docker 我就講清楚了啊， 就是

01:14:58.610 --> 01:15:01.450
如果是這種一次性的服務啊，不不不，

01:15:01.530 --> 01:15:04.690
你不准安裝任何東西，比如說我不准你安裝，

01:15:04.690 --> 01:15:07.450
你只能你只能用 Docker 啊，

01:15:07.530 --> 01:15:10.170
那他就會幫你用 Docker 把它跑起來啊，

01:15:10.170 --> 01:15:14.250
那所以呢，比如說像我的，比如說我要看我的我的 DJspark 啊

01:15:21.660 --> 01:15:24.460
哦，先嗯，看我的那那一台呢

01:15:25.660 --> 01:15:28.220
，就是固定啊，就是我就

01:15:29.660 --> 01:15:32.700
我像我的 VLM 什麼全部用 Docker 跑了啊，

01:15:32.700 --> 01:15:36.580
看我的 VLM 啊，我的 SGLang 啊，都是用 Docker 跑起來的了啊，

01:15:36.580 --> 01:15:40.740
全部了全部啊全部，所以呢，你不用去下什麼參數，

01:15:40.740 --> 01:15:43.620
你只要把你的 model card 那個網頁貼給他，

01:15:43.620 --> 01:15:46.580
或者是 GitHub 網頁貼給他，只要 Claude Code 幫你加，

01:15:46.580 --> 01:15:50.180
用 Docker 加起來就加起來，然後你告訴他說啊

01:15:50.780 --> 01:15:54.500
什麼什麼，就是我要開放哪一個 port 到區網上，

01:15:54.500 --> 01:15:57.940
它就會幫你把區網開放，然後那個 port 就開放出去，

01:15:57.940 --> 01:16:02.740
例如說我我這個 toolparser，我要用千問的 toolparser， 我要用

01:16:03.030 --> 01:16:05.670
呃 Hermes 的他就把你做好啊，

01:16:05.670 --> 01:16:08.550
你就不用你就不用擔心了啊好，這是我的做法哦，

01:16:08.550 --> 01:16:13.590
所以比較比較比較簡單，我就不用去記這些參數了啊好那所以呢，

01:16:13.590 --> 01:16:18.670
就不管你裝什麼哪一個推論引擎呢，
其實你都可以用 Claude Code 加把你做好，

01:16:18.670 --> 01:16:21.190
很簡單的啊，非常非常簡單 ok，

01:16:21.510 --> 01:16:25.230
那我其實我這邊就我就跳過，因為我其實都講過了，

01:16:25.230 --> 01:16:29.070
就是我就是剛才全部講完了啊，就是它每一個的特色啊，

01:16:29.070 --> 01:16:32.310
我都把它講過一次啊，那其實我覺得這些

01:16:32.590 --> 01:16:39.590
這些 Inference Engine
對我來說最重要就是第一個它必須要能隨時讓我啟動

01:16:39.990 --> 01:16:44.110
啊，就是說我我不需，我不要去打它大堆參數，

01:16:44.110 --> 01:16:47.310
我要能隨時啟動，那我就是用用 docker 是最方便，

01:16:47.310 --> 01:16:50.310
為什麼？因為 docker 可以隨時 docker start 把它停下來，

01:16:50.310 --> 01:16:53.830
docker start 它就起來了，那我切換模型就比較快，

01:16:54.070 --> 01:16:56.560
不像那時候我用 Ollama，它切換模型就很慢

01:16:56.680 --> 01:16:59.680
啊，那種大可能比較快，大可能一次就可以把它放光光啊，

01:16:59.680 --> 01:17:03.120
然後再 stack 新模型就就像27B，等了個十分鐘，

01:17:03.120 --> 01:17:07.720
他就把它載入了好，再就是我一定要開放 OpenAI endpoint，

01:17:07.720 --> 01:17:11.080
因為我我的區網很多台機器都要用啊，

01:17:11.080 --> 01:17:13.760
這兩個抓住，再再就是我的 toolparser，

01:17:13.760 --> 01:17:16.760
就是我這個 tooluse 的 parser 我就要指定好，

01:17:16.760 --> 01:17:20.920
因為我常常需要用 tooluse 嘛，就是我用 PiAgent，

01:17:20.920 --> 01:17:22.800
我就需要用嗯

01:17:23.480 --> 01:17:26.080
操作我的瀏覽器或電腦，那他去幫我弄

01:17:26.240 --> 01:17:32.920
所以就是這幾個原則抓好就好了，
那那我自己試過就是這些東西最好用的就是 vLLM 哦，

01:17:33.000 --> 01:17:36.680
那你們如果你真的想拿來做正式就是 vLLM，

01:17:36.680 --> 01:17:39.680
我覺得這沒有沒有疑問啊，沒有疑問，很多人都在用，

01:17:39.680 --> 01:17:45.880
當然你追求速度啊，
就是說你就得去找這個模型專用的 Inference Engine 啊，

01:17:45.880 --> 01:17:48.960
像 D 像什麼 DFlash 啊，這些東西他覺得特別快

01:17:49.290 --> 01:17:52.810
那可能它能它能就它的 MTP 也支援更多的，

01:17:52.810 --> 01:17:58.410
它可以支援更多的 token 的預測，
它可以支援345個 token 的預測就更快，

01:17:58.410 --> 01:18:04.010
當然呢你要命中了啊，
你沒有命中就好就會慢下來啊好那 SGLang 我也我也推薦，

01:18:04.010 --> 01:18:06.930
因為 SGLang 有些模型它只支援 SGLang，

01:18:06.930 --> 01:18:10.210
它沒有 vLLM 啊好，我這邊要提一點，

01:18:10.210 --> 01:18:15.890
就是說當你用 docker 去用 vLLM 或是 SGLang 的時候呢，

01:18:15.890 --> 01:18:18.490
你要記得就是它有一個缺點

01:18:18.650 --> 01:18:22.210
就是它必須要找到支援這個模型的 docker image 啊，

01:18:22.290 --> 01:18:25.890
有就沒有啊，例如像像 DGX Spark，它是 ARM 架構，

01:18:25.890 --> 01:18:30.490
它可能就沒有，這時候你只能乖乖去回去用它的參數，

01:18:30.490 --> 01:18:36.130
因為它可能沒有出，但是95%的場景我是不會找不到 docker image 的，

01:18:36.130 --> 01:18:37.930
你會叫 Claude Code 會幫你找

01:18:38.140 --> 01:18:43.900
一定會找到了，不用擔心了哈哈，
那實在不行就也叫 Claude Code 幫你用採取部署一次，

01:18:43.900 --> 01:18:47.140
只是它會弄得很很臟，就是你的環境會很臟，

01:18:47.140 --> 01:18:50.820
因為你要知道就算 DGX Spark 有4TB，

01:18:51.140 --> 01:18:56.100
那其實你東下載西下載 Ollama 也下載 LM Studio 也下載，

01:18:56.100 --> 01:18:59.900
一下就只剩下1TB 都不到，一下就你的模型就佔光光了，

01:18:59.900 --> 01:19:03.780
所以如果我固定用 docker，我只要我一殺就知道去殺哪邊

01:19:04.500 --> 01:19:07.820
或者它跟 Face 的 cache 可以直接把它殺掉好

01:19:08.180 --> 01:19:13.220
那 OK，那最後呢，其實我們就講到了安全邊界啊，

01:19:13.220 --> 01:19:16.140
安全邊界，那其實安全邊界呢，

01:19:16.140 --> 01:19:18.100
我剛剛講過，我們分成兩樣東西，第

01:19:18.900 --> 01:19:20.340
一樣東西就是

01:19:21.140 --> 01:19:25.700
model，那 model 已經講完了，就是最危險的公有雲

01:19:26.340 --> 01:19:29.260
安全的或第二第二危險的

01:19:30.030 --> 01:19:33.390
model 雲端廠商像 name 啊，它也在公有雲上，

01:19:33.390 --> 01:19:36.390
但是它是由廠商背書的啊背書的，

01:19:36.670 --> 01:19:39.750
那最棒就是進入私有雲那範圍啊，

01:19:39.950 --> 01:19:43.030
那你的 model 進入私有雲，進入你的區網，

01:19:43.030 --> 01:19:46.310
進入你的地端，你的本機端，那就不會出問題了，

01:19:46.310 --> 01:19:48.830
就不會出問題啊好，這是這是你的 model 的

01:19:49.470 --> 01:19:54.190
放的地方啊，第二個就是你的 harness 啊，
你的 harness 要放哪邊呢好，

01:19:54.350 --> 01:19:59.910
那麼我們就來看不同的 harness 啊，
剛講過 ag 就是 model 加 harness 啊

01:20:00.190 --> 01:20:03.390
那麼呢，其實也分成兩種啊，

01:20:03.390 --> 01:20:06.030
好，那麼就是開源的跟

01:20:06.670 --> 01:20:10.150
閉源的啊，那麼現在看到的呢，

01:20:10.150 --> 01:20:13.310
其實大部分就分成幾類啊，

01:20:13.310 --> 01:20:16.830
不管開源閉源分成幾類啊，那麼第一種叫做通用啊，

01:20:16.830 --> 01:20:20.350
比如說你看到龍蝦，它是通用，

01:20:20.350 --> 01:20:22.200
什麼意思它什麼都能做

01:20:22.560 --> 01:20:25.160
什麼都能做，那它能開發軟體，

01:20:25.160 --> 01:20:29.800
它也能寫程式，它也能操作電腦，它也支援呃跨平台通訊，

01:20:29.800 --> 01:20:33.840
AFK 叫做 away from keyboard，那就是離開你的你的鍵盤，

01:20:33.840 --> 01:20:36.400
像比如說 Cloud 就有 RC 功能，

01:20:36.400 --> 01:20:40.520
OpenClaw 早就有 Telegram 功能跟 Discord，Slack 都可以用啊，

01:20:40.520 --> 01:20:43.640
哈，那麼它能不能使用 Agent，這很重要，

01:20:43.640 --> 01:20:46.160
這個 harness 是不是是不是 Agent 最佳化，

01:20:46.160 --> 01:20:48.080
它是不是針對

01:20:48.240 --> 01:20:52.640
agent 這件事情來做的 harness 啊好，那麼這個產品界面是不是好用，

01:20:52.640 --> 01:20:57.960
例如說我們以前是用 codexcli，
後來 ChatGPT 改成 ChatGPT Work 之後呢，

01:20:57.960 --> 01:21:02.120
你就開始用 ChatGPT Work / Codex 的 app 啊，那在它的安全機器，

01:21:02.120 --> 01:21:05.560
這個 harness 到底是不是透明的啊好

01:21:06.520 --> 01:21:11.920
那麼其實一個 agent 它危它危險的地方絕對不會是模型，

01:21:12.040 --> 01:21:15.090
為什麼模型它本身就是文字接龍嗎?

01:21:15.530 --> 01:21:17.730
那最危險的地方一定是 harness

01:21:17.730 --> 01:21:20.570
為什麼 harness 其實佔了整個 agent 的

01:21:21.610 --> 01:21:25.130
90%的操作模型，只是一只文字接龍，

01:21:25.130 --> 01:21:28.490
例如說你建立一個 OpenAI 的 API endpoint 啊，

01:21:28.490 --> 01:21:32.130
它就是一只文字接龍，一直吐一直吐，那它有時候吐出文字，

01:21:32.130 --> 01:21:35.650
有時候吐出函數吐出 JS 吐出什麼東西來，

01:21:35.850 --> 01:21:40.410
這時候你接受到的 harness 就會開始做處理啊， 那所以你的 harness

01:21:41.290 --> 01:21:44.930
會操作你的電腦會寫你寫入檔案

01:21:45.090 --> 01:21:48.010
這時候才是危險的，它東西回傳到某個伺服器，

01:21:48.010 --> 01:21:52.250
把你的東西傳到某個伺服器，模型是活在 GPU 中啊，

01:21:52.410 --> 01:21:55.090
模型離開 GPU 就什麼都不會做啊，

01:21:55.090 --> 01:22:00.130
所以 harness 比較危險，
那你這個 harness 能不能被我們 review， 比如說

01:22:01.080 --> 01:22:03.570
Claude Code，你從來沒看過它的原始程式嗎?

01:22:03.720 --> 01:22:06.320
它做什麼你都不知道好對不對啊，

01:22:06.320 --> 01:22:09.600
那那這是個安全精神可控，例如說我用 PiAgent，

01:22:09.720 --> 01:22:12.960
你用 Gemini CLI，它都是開源的，

01:22:13.160 --> 01:22:18.680
你可以叫 Claude Code 或叫 codex 去看它的原始程式嗎，

01:22:18.680 --> 01:22:21.216
看完之後你決定安不安全要不要用啊好，

01:22:21.216 --> 01:22:23.970
再來是不是供應商綁定是不是這個 harness

01:22:23.970 --> 01:22:24.840
一定要用某個

01:22:24.840 --> 01:22:29.280
供應商的產品，
那目前其實例如說 Claude Code 也可以用其他供應商啊，

01:22:29.480 --> 01:22:30.680
那但就是說

01:22:30.880 --> 01:22:36.280
我們還是希望這個自由性，就是說我這個 Harness 能自由選擇模型啊，

01:22:36.280 --> 01:22:40.760
我可以一下用地端一下雲端一下用私有雲一下公有雲都可以啊，

01:22:40.840 --> 01:22:45.480
這個就是說減成本控管，就是說如果我這個 Harness 呢，

01:22:45.480 --> 01:22:48.320
它會不會消耗掉很多 token，

01:22:48.320 --> 01:22:50.920
它能在我的預算範圍內完成我的工作哦，

01:22:51.080 --> 01:22:53.680
好，那它的它的他監控啊，

01:22:53.680 --> 01:22:55.320
就是說我的嗯

01:22:55.730 --> 01:22:59.530
嗯，當我傳上一個內容時，它如果說出錯了，

01:22:59.890 --> 01:23:03.970
它能幫我 retry 幾次好，那它的內容合不合我公司的規範，

01:23:03.970 --> 01:23:08.090
它能不能讓我變得很多雲端是它能跟著一起縮放，

01:23:08.210 --> 01:23:14.770
它能管理權限啊，這都是我們在考慮 harness 的時候會想到的東西啊好

01:23:15.370 --> 01:23:19.530
，那這是一個哈哈，這是一個 agent 的真正的架構了啊，

01:23:19.530 --> 01:23:22.930
那這個其實你你要你這個我是用 deepagent 做出來的啊，

01:23:22.930 --> 01:23:25.370
那如果你這樣真正看，其實哈真正

01:23:25.530 --> 01:23:28.330
模型只佔了這一部分而已，

01:23:28.770 --> 01:23:31.410
這一不不是哦，這一部分而已哦，

01:23:31.410 --> 01:23:35.130
其他全部都是 harness 管的東西好，

01:23:35.130 --> 01:23:37.250
這個圖各位可以慢慢看哦，就是

01:23:37.970 --> 01:23:42.570
各位可能覺得 Claude Code 很好用，
但是你會發現 Claude Code 或是一個小小的 PiAgent，

01:23:42.570 --> 01:23:46.410
它都具備這裡面的幾乎每一個東西它都有

01:23:46.500 --> 01:23:49.100
那模型只佔掉這一塊，

01:23:49.100 --> 01:23:52.620
所以我常常講危險的地方絕對不會是模型，

01:23:52.620 --> 01:23:56.100
一個 agent 最危險絕對是 harness 好，

01:23:56.100 --> 01:23:58.441
所以除了這個之外都是 harness

01:23:59.060 --> 01:24:03.760
好，那麼 harness 我剛剛講過目前就兩派了，

01:24:04.140 --> 01:24:08.080
就開源跟閉源，那開源閉源他們其實都分成通用，

01:24:08.080 --> 01:24:14.940
剛剛忘了講第一個叫做通用 harness，
第二個叫做 coding harness，就是 coding agent，那

01:24:14.940 --> 01:24:19.080
為什麼你們會感覺現在龍蝦慢慢不流行了，

01:24:19.260 --> 01:24:22.540
那是不是大家不用 agent 了，

01:24:22.540 --> 01:24:24.500
不是，是什麼，

01:24:24.500 --> 01:24:26.788
是因為你會發現

01:24:26.788 --> 01:24:30.220
Claude Code 或是 Code x

01:24:30.940 --> 01:24:35.020
龍蝦能做的它都能做， 那龍蝦又

01:24:35.130 --> 01:24:38.690
又不能自由使用的呃 Anthropic 的模型，

01:24:38.690 --> 01:24:41.770
它現在只能使用 GPT 的模型啊，

01:24:42.010 --> 01:24:45.490
那或是地端模型，那 Claude Code 反正它功能都有，

01:24:45.490 --> 01:24:51.570
它也能 RC 啊，它也能接 Telegram 嘛，
所以大家慢慢會回到就是我訂閱 Claude Code 我就用嘛，

01:24:51.570 --> 01:24:57.010
反正就會一個月花200塊錢我去用吧，哦，
那所以慢慢龍蝦跟 Hermes Agent 慢慢退流行，

01:24:57.010 --> 01:25:00.730
是因為 coding agent 也慢慢變強了，

01:25:00.730 --> 01:25:05.010
它也慢慢變成一個通用 agent 了啊，好，當然是這樣子啊， 那麼

01:25:06.250 --> 01:25:10.730
目前我們常常看到的 agent 就是我剛剛分兩派，開源跟閉源，

01:25:10.730 --> 01:25:14.810
那閉源一般就是一般 AI 公司他們自己推出的 harness 啊，

01:25:14.810 --> 01:25:20.690
像 Claude Code、Claude Codework、
ChatGPT 和 Codex 都是算是閉源的啊，

01:25:20.690 --> 01:25:23.690
Antigravity 也是閉源，那 Gemma 也是開源的啊，

01:25:23.690 --> 01:25:28.330
Cursor 現在已經被買了，已經變成 xAI 產品了，

01:25:28.330 --> 01:25:31.780
那我想大多數最多人開始用的是 VS 加 Copilot 的

01:25:32.040 --> 01:25:37.840
它也是一個很棒的啊，那其實我我我認識的企業最多的就是用 VSCode，

01:25:37.840 --> 01:25:41.320
因為他們公司用微軟的東西，他們是放心的啊，

01:25:41.320 --> 01:25:44.840
因為你想想看，微軟成立了三四十年啊，

01:25:44.840 --> 01:25:50.600
微軟的雲雲微軟的產品 Office、
Windows 都很都大家都覺得是一個安全的產品，

01:25:50.600 --> 01:25:54.120
但是 Anthropic 成立四五年，OpenAI 成立十年，

01:25:54.520 --> 01:25:57.360
呃是新公司，所以你們會稍微不相信它啊，

01:25:57.360 --> 01:25:59.440
但你們會相信微軟，所以用

01:25:59.520 --> 01:26:03.360
我派的人很多很多了啊，那最近還出了我沒用過，

01:26:03.360 --> 01:26:06.200
但是我不知道好不好用，那其實不太多了，

01:26:06.200 --> 01:26:11.240
什麼 WorkBuddy 啊什麼中國有一大堆 harness 我就不多講了啊，好，

01:26:11.240 --> 01:26:14.440
那麼另外就是開源的 harness 啊，

01:26:14.440 --> 01:26:17.480
那開源 harness 呢，其實這兩個是

01:26:18.190 --> 01:26:21.670
上半年最紅的 harness 好，那其實我都有用過，

01:26:21.670 --> 01:26:25.030
我在今年3月也寫了台灣第一本龍蝦的書啊，

01:26:25.030 --> 01:26:29.630
那時候那本書賣得非常非常好，就是我記得那時候我是3月初

01:26:30.230 --> 01:26:33.710
3月初呃上市，我就一開始預購啊，

01:26:33.870 --> 01:26:38.550
我記得預購的第一天，3月1號它就衝到天瓏排行榜第一名還在預購啊，

01:26:38.550 --> 01:26:40.750
那當時台灣瘋龍蝦就是

01:26:41.710 --> 01:26:47.710
就每個連就是連不是這個行業的人都會問我龍蝦是什麼能不能裝啊，
甚至就是連我

01:26:47.950 --> 01:26:52.910
這長輩啊，這六七十歲都跑來問我說這怎麼裝龍蝦很誇張啊好，

01:26:52.910 --> 01:26:57.950
那麼後來既然後來就是 Hermes 啊 Hermes
也目前還算是比較紅的 agent 啊，

01:26:57.950 --> 01:27:01.670
那也有很多人用的非常非常熟哦 OK，

01:27:01.670 --> 01:27:05.110
那前兩個就是一個就是一個標準通用的 agent，

01:27:05.110 --> 01:27:08.430
它什麼都能做，它也能寫展示，它也能做電腦控制啊，

01:27:08.430 --> 01:27:13.710
后三個 OpenCodeInterpreter 拍，
整個 open 拍呢就是我最近在用的 OpenCodeInterpreter 比較沒有用，

01:27:13.710 --> 01:27:15.470
那我最近很多東西在用

01:27:15.980 --> 01:27:19.140
呃，拍PiAgent 的那呢，

01:27:19.260 --> 01:27:22.660
它是一個非常非常小的 agent，

01:27:22.780 --> 01:27:25.500
它只有它是這，它是極簡化，

01:27:25.500 --> 01:27:28.540
它只給你四個工具，它沒有 MCP，

01:27:28.860 --> 01:27:32.420
它有 Agent Skill，它沒有什麼 Sub-agent 都沒有，

01:27:32.540 --> 01:27:38.900
那沒有並表示不能用，它都用 extension 的方式把它裝起來啊， 好那

01:27:41.060 --> 01:27:45.260
我不知道大家會不會習慣用這種完全沒沒幫你準備東西的 agent，

01:27:45.260 --> 01:27:50.900
但等一下我我會示範，
我會示範拍整個會有那我買我買拍是另外一個方向，

01:27:50.900 --> 01:27:56.380
就是他把什麼東西就裝起來，
你一開始就能用啊好那PiAgent 我非常喜歡，

01:27:56.380 --> 01:28:00.380
為什麼?因為像剛才這兩個這個圖啊，這個圖

01:28:01.370 --> 01:28:04.690
我用 PiAgent 呢，我對對於這個圖就會變得非常了解，

01:28:04.690 --> 01:28:08.090
因為它讓我知道每一步我要自己怎麼架設起來啊，

01:28:08.090 --> 01:28:11.330
我就會很了解一個 agent 到底是怎麼架起來，

01:28:11.330 --> 01:28:14.530
它需要哪些元件啊，那我覺得懂得很多，

01:28:14.530 --> 01:28:17.450
所以我在用的時候呢就比較得心應手啊，

01:28:17.610 --> 01:28:24.410
那 Claude Code 用起來就很棒，
但是就是它在幹什麼你都不知道了啊 OK 好那最後呢，

01:28:24.410 --> 01:28:25.850
我們要講的東西就是

01:28:26.810 --> 01:28:30.370
嗯，關閉存取啊，關閉存取就是我剛剛講過

01:28:31.050 --> 01:28:34.170
我們把模型放進安全的地方之後呢，

01:28:34.330 --> 01:28:38.050
那我們的 harness 是不是也應該放進安全的地方啊好，

01:28:38.050 --> 01:28:42.250
那我們一般使用 harness 的第一站就是你的本機，

01:28:42.330 --> 01:28:48.130
你的電腦啊，那就是我們用 Claude Code 的本機就是你的爆炸半徑，

01:28:48.130 --> 01:28:51.090
就是說當你的 Claude Code 炸了之後，

01:28:51.090 --> 01:28:57.330
你的整台電腦就炸掉了啊，
我記得大概幾個月前我跟保哥還讀過一件事情就是

01:28:57.980 --> 01:29:01.100
能不能讓你的 Claude Code 寫出一行把 C 槽 wipe 掉，

01:29:01.180 --> 01:29:05.660
我是說不行，保哥說可以啊，結果我就真的寫一個程式，

01:29:05.660 --> 01:29:09.820
我當然是用虛擬機來啊，果然我的 C 槽就被刪掉了，

01:29:09.820 --> 01:29:12.500
就被刪掉啊，是可以的，不是不行啊，

01:29:12.500 --> 01:29:16.980
各位可以去找我那篇 Facebook 啊，是可以的啊保哥那時候說可以，

01:29:16.980 --> 01:29:19.420
我說不行，就保哥贏了啊保哥贏了

01:29:20.260 --> 01:29:21.180
好，我們繼續啊

01:29:25.580 --> 01:29:27.060
ok，那麼

01:29:27.060 --> 01:29:31.980
第二個第二個就是我們如果你說你放在你的電腦中你就炸了哦，

01:29:31.980 --> 01:29:35.380
那你電腦一炸，整台電腦就沒了，很恐怖哦好，

01:29:35.380 --> 01:29:40.060
所以呢我們希望把我們的 harness 放進一個安全的地方執行啊，

01:29:40.060 --> 01:29:42.780
放進去啊 ok，那現在有很多方法，

01:29:42.940 --> 01:29:48.100
那放進安全地方呢，最第一個最最最簡單就是限制工作目錄，

01:29:48.100 --> 01:29:51.340
就是只能在這個目錄中做啊，那你不能離開，

01:29:51.580 --> 01:29:55.540
但是現在我們也看到模型都很強大，它要繞跑出去啊，

01:29:55.540 --> 01:29:57.580
非常非常容易啊所以呢

01:29:57.830 --> 01:29:59.350
這個是不太適合啊

01:29:59.630 --> 01:30:03.710
第二個就是什麼放進 docker，放進 docker 其實就相當安全啊，

01:30:03.710 --> 01:30:07.390
相當安全啊好，那麼第三個就是什麼放進 vm 中，

01:30:07.590 --> 01:30:10.990
那放進 vm 中後放進 docker 中啊，我講我不講大，

01:30:10.990 --> 01:30:14.110
我講容器吧啊，其實你選擇就變得非常非常多，

01:30:14.110 --> 01:30:16.830
為什麼你的容器可以在任何地方，

01:30:16.830 --> 01:30:20.630
你的 vm 可以在任何地方，它可以在雲端的 instance，

01:30:20.630 --> 01:30:23.550
這時候你當你這個爆炸半徑一炸的時候呢，

01:30:23.670 --> 01:30:27.550
跟你本機無關，跟你公司內部資料無關，它炸在其他地方

01:30:27.710 --> 01:30:31.110
它如果放在本機的容器中就容器炸，那就沒那炸就炸掉沒事啊，

01:30:31.310 --> 01:30:34.590
你也不炸就炸了，重新起一個就好了，沒關係啊好，

01:30:34.590 --> 01:30:40.070
那麼其實 NV 呢，它 NV 當時就推一個就叫 OpenShell 的東西，

01:30:40.070 --> 01:30:42.910
它就是一個類似 docker 的引擎，那它把

01:30:44.360 --> 01:30:47.800
關進到 OpenShell 中就是所謂的 NemoClaw 好，

01:30:47.800 --> 01:30:53.520
所以我們看到 NemoClaw 就是把 OpenClaw 關關進 OpenShell 中了好，

01:30:53.520 --> 01:30:57.040
我們等一下就會示範啊示範，那其實最近呢，

01:30:57.040 --> 01:31:01.800
大概就這個月吧，那 docker 也推出了 docker sbx 叫 sandbox 啊，

01:31:02.120 --> 01:31:03.480
那它也是可以把你的

01:31:04.120 --> 01:31:07.120
你的 harness 關進 docker 容器中，

01:31:07.120 --> 01:31:10.440
那很好用，非常非常好用啊，所以各位可以自己看怎麼選擇，

01:31:10.440 --> 01:31:12.080
等一下我會示範啊好

01:31:13.640 --> 01:31:16.320
那呢今天呢，因為今天是開開放的場子，

01:31:16.320 --> 01:31:20.680
我沒有時間顯示到12點了，所以呢到時候我就可以示範了，

01:31:20.680 --> 01:31:23.560
我就不影片示範了，

01:31:23.800 --> 01:31:27.560
我就實際是我就實際示範這件事情了好，

01:31:27.560 --> 01:31:30.560
那我就先進入我的 DJ Spark，

01:31:30.560 --> 01:31:36.240
我們就示範一下好，那其實我先示範最危險的場景了，

01:31:36.760 --> 01:31:38.080
那這個場景就是

01:31:40.630 --> 01:31:44.710
好，這個場景其實裡面有一個我有一個資料啊，

01:31:45.030 --> 01:31:50.110
它是假的，假的那個個資，

01:31:50.110 --> 01:31:53.432
假的個資啊，假的個資，那這個個資啊就充滿了身份

01:31:53.432 --> 01:31:56.830
證字號姓名什麼地址電話，然後什麼電子郵件啊 OK，

01:31:56.950 --> 01:32:00.550
那通常來說我們會希望那就這這是我的客戶的案例，

01:32:00.710 --> 01:32:07.430
就是他是他是某個銀行的稽核專員

01:32:08.070 --> 01:32:09.110
他常常需要去調很多客戶資料，看看這個客戶跟理專有沒有串通啊，

01:32:09.310 --> 01:32:14.990
所以呢，大家在銀分行的他在公公司的資料戶調到各個資料之後呢，

01:32:14.990 --> 01:32:20.550
他必須把這個所看看到的所有報告包含錄影錄影的就是在提款機前面提款
的是

01:32:20.550 --> 01:32:27.510
的影片，臨櫃提款的影片，

01:32:27.590 --> 01:32:31.150
他的呃轉賬記錄，他的什麼跟客戶的聊天電話聊天記錄，

01:32:31.500 --> 01:32:35.340
他們其實都有記錄啊，然後呢就分析出來，

01:32:35.340 --> 01:32:38.820
然後呢告訴呃寫一篇報告說這個人跟理專有沒有串通好，

01:32:38.820 --> 01:32:45.220
那他在寫報告的時候呢，其實他非常需要做，

01:32:45.220 --> 01:32:48.260
就是去個資化啊，去個資化，當然去個資化這是一個很大的學問啊，

01:32:48.260 --> 01:32:52.980
它包含了脫敏啊去個資化還原啊，

01:32:53.220 --> 01:32:56.700
它很多它很多學問，但是我們這邊其實可以示範，

01:32:56.700 --> 01:32:59.900
就是我們請

01:32:59.900 --> 01:33:01.100
agent 幫我們做去個資化的動作

01:33:02.100 --> 01:33:05.060
好，我現在就來示範了，我先示範最危險了

01:33:05.060 --> 01:33:08.300
其實我這邊先我們先來看一

01:33:08.300 --> 01:33:10.460
下，其實啊，其實其實呢，我

01:33:12.180 --> 01:33:14.740
們來看危險的程度啊，那真正其實就是第一個就是我的我的我的

01:33:15.940 --> 01:33:21.780
模型在雲端

01:33:22.530 --> 01:33:24.210
，我的 harness 在本機，本機啊，

01:33:25.370 --> 01:33:28.370
沒做任何防護的，就這這 L1最危險啊

01:33:28.610 --> 01:33:32.530
第二個是我的模型在雲端，

01:33:32.530 --> 01:33:35.250
但是我的嗯

01:33:35.250 --> 01:33:36.850
harness 放在 sandbox 中，例如說 VM 中或是 Docker 中啊好，

01:33:37.490 --> 01:33:42.530
這第二個，第三個我的模型在雲端，

01:33:42.530 --> 01:33:45.810
但這時候呢，我的例如說我用 Nim，我是或是我用嗯

01:33:45.810 --> 01:33:49.890
.OpenRouter 這樣可以控制的雲端啊模型呢，

01:33:50.610 --> 01:33:53.450
然後把我的 harness 呢用開源的，

01:33:53.650 --> 01:33:56.690
那我剛剛講為什麼開源 harness 比較安全，
因為它的它的程式碼都可以看，

01:33:56.690 --> 01:34:01.850
我們都可以看嘛，看過一遍發現安全就開始用啊好，

01:34:01.850 --> 01:34:04.770
這是第三安全呢，第三安全就是我把我的 harness 關進

01:34:04.850 --> 01:34:08.650
sandbox 中關廁所啊好，那當然我的模型還是用雲端模型，

01:34:08.880 --> 01:34:13.080
這就這個地方我還是得上傳的啊好，

01:34:13.080 --> 01:34:15.920
這就這個地方我還是得上傳的啊好，

01:34:15.920 --> 01:34:19.840
這是 L4L5，就是說我的 harness 關進廁所，

01:34:19.840 --> 01:34:22.880
關進 sandbox，我用私有雲了，

01:34:22.880 --> 01:34:25.560
這時候我用私有雲的時候呢，嗯，

01:34:25.760 --> 01:34:29.840
我的資料絕對不會離開我公司管轄的範圍啊，

01:34:29.840 --> 01:34:33.440
那我的 harness 又在又在呃關在廁所中啊，

01:34:33.440 --> 01:34:36.440
所以這個怎麼怎麼出問題都沒有問題啊，

01:34:36.440 --> 01:34:38.120
就算東西上傳了

01:34:38.200 --> 01:34:45.000
也在我公司範圍內，
這個 harness 炸掉也是在也是在這個 sandbox 中沒關係啊，

01:34:45.000 --> 01:34:48.880
這是 L5L6，就是 harness 關進 OpenShell 中，

01:34:48.880 --> 01:34:51.520
就是所謂的觀測所用

01:34:52.160 --> 01:34:57.520
區網模型啊，那其實這應該是 L7L6是是可以上網啊，

01:34:57.520 --> 01:35:01.040
但是我的我的我的 sandbox 不能上網啊，

01:35:01.200 --> 01:35:03.720
但是我的呃模型可以上網啊，

01:35:03.720 --> 01:35:06.890
那其實你的 harness 不能上網就會有很多問題

01:35:07.030 --> 01:35:11.750
例如說你就不能上傳到 GitHub 啊，你就不能去下載呃，

01:35:11.830 --> 01:35:15.110
沒關係，我們今天呢就試這幾個，我就測試啊，

01:35:15.350 --> 01:35:17.110
我先讓各位看看全

01:35:17.830 --> 01:35:22.310
最為就是我用我用 B 源的 harness，

01:35:22.310 --> 01:35:26.510
我用雲端的模型，然後我我跳過安全檢查啊，

01:35:26.510 --> 01:35:31.390
好，我們就來試一次啊，試一次啊，
那例如說我就我這邊就直接用， 大家都

01:35:32.870 --> 01:35:36.750
知道就就是這個就是把命交給他了啊，把命交給他了啊

01:35:37.670 --> 01:35:40.230
來，我們就來做吧，哈，就來做啊，來做

01:35:40.870 --> 01:35:44.110
好，我就這樣想說啊，嗯，我先看幕內容，

01:35:45.030 --> 01:35:48.030
好，有一個有一個 Fakedata 啊，Fakedata 啊，

01:35:50.550 --> 01:35:54.670
好，那因為我之前做過，他會他會他知道我在做什麼啊，

01:35:54.870 --> 01:35:57.590
我就說有一個 Fakedata 點

01:35:58.180 --> 01:35:59.620
這個檔案哈，這個檔案

01:36:02.500 --> 01:36:05.580
幫我做去識別化，

01:36:05.580 --> 01:36:09.060
那我只是示範，因為我我講過去識別化有很多很多步驟，

01:36:09.060 --> 01:36:14.300
有脫敏，有上傳，還有還原，那我這邊只做脫敏啊哈，De-ID 哈，

01:36:14.500 --> 01:36:21.060
那就讓他做吧，那你看我這就是用最危險的 harness 跟雲端的模型，

01:36:21.060 --> 01:36:24.860
就請他做吧哈，這個時間不會太太短哦，

01:36:24.860 --> 01:36:27.540
這個可能會花個十分鐘啊，那他

01:36:27.820 --> 01:36:31.780
會做很多事情啊好，那他這邊運用到很多 Agent Skill，

01:36:31.780 --> 01:36:37.620
例如說他要讀取 Excel，他就必須使用 office 的 document skill，

01:36:37.780 --> 01:36:41.300
他就有很多 skill，他自己會去，他自己會去做啊好，

01:36:41.300 --> 01:36:47.460
他會寫一個程式來做這件事情，那他甚至也並不一定知道去個資化

01:36:48.100 --> 01:36:50.780
的標準是什麼，例如說呃

01:36:51.290 --> 01:36:57.570
我們說他中文中文有五個名字嘛，
那兩個字的跟三個字就把第二個字變變叉叉，

01:36:57.570 --> 01:37:00.570
四個字的中間兩個字變叉叉，五個字怎麼變叉叉，

01:37:00.570 --> 01:37:04.570
他自己要知道好，他這邊就找出來方法找出來了啊，

01:37:05.410 --> 01:37:06.530
好像他現在

01:37:07.170 --> 01:37:12.180
呃已經花掉了一塊多了啊，那

01:37:17.270 --> 01:37:19.950
這禮拜休假，所以我的我的用量很少，

01:37:19.950 --> 01:37:22.510
我這禮拜就沒有在用了，你看我的

01:37:24.030 --> 01:37:26.970
。5小時才才才用一點點，

01:37:26.970 --> 01:37:28.450
7天才用8%好

01:37:29.810 --> 01:37:33.530
OK，他就他就說不要更

01:37:36.770 --> 01:37:38.050
嚴格，直接執行

01:37:42.770 --> 01:37:43.730
直接執行

01:37:45.090 --> 01:37:48.930
好，那等一下我們就把它打開看一看吧，就可以把它打開看一看哦

01:37:54.720 --> 01:37:58.400
好它它它是做完了哈，那就在這邊吧，

01:37:58.480 --> 01:38:01.160
那我就把它打開看看嘛哈，那我先把它傳過來，

01:38:01.160 --> 01:38:03.960
因為它放在我的 DJspa 上，我把它傳過來啊，

01:38:03.960 --> 01:38:06.240
它放在這個目錄下，把它記下來

01:38:08.480 --> 01:38:10.640
，好把它記下來好

01:38:24.800 --> 01:38:27.360
上次做了10分鐘啊，這次比較快

01:38:32.370 --> 01:38:34.210
好，直接看吧，直接看

01:38:42.640 --> 01:38:45.280
好，那他他是做好了哈其實

01:38:46.410 --> 01:38:51.490
其實跟我預預計的是不太一樣了，因為我希望他， 我希望他

01:38:53.170 --> 01:38:56.050
第二個字變叉叉也沒關係，你再給他改就好，

01:38:56.050 --> 01:38:58.210
他這做其實算徹底哦，算徹底哦，

01:38:58.930 --> 01:39:01.730
然後地址都全部拿掉，都拿掉了好，

01:39:01.970 --> 01:39:07.170
那各位你做這件事情哦，那當然這個是我客戶一個小小的請求，

01:39:07.490 --> 01:39:10.530
結果呢，他當時公司有人就有訂閱，

01:39:10.530 --> 01:39:13.170
他就這樣做，結果呢

01:39:13.690 --> 01:39:18.330
3分鐘后，他們資安部電話就來，他說你剛才把一個東西傳上雲端，

01:39:18.330 --> 01:39:24.050
對不對，裡面充滿了個資，那就被規定要寫報告講就就是被懲罰啊，

01:39:24.050 --> 01:39:28.170
被懲罰啊好，所以呢，這是不建議的方式啊，

01:39:28.170 --> 01:39:30.890
這是不建議的方式啊好，那麼

01:39:32.520 --> 01:39:33.640
我們來看看呢，建

01:39:35.040 --> 01:39:37.800
議的方式啊，建議的方式啊，那我就不要用這個太危，

01:39:37.800 --> 01:39:39.640
這個太危險了，太危險，太危險

01:39:43.200 --> 01:39:46.600
好，那第二個方式呢，我在我我就我就我就試啊，

01:39:46.600 --> 01:39:48.520
就是說啊，我用

01:39:49.640 --> 01:39:51.480
嗯開源的

01:39:52.520 --> 01:39:55.480
harness，我用地端的模型，

01:39:55.480 --> 01:39:58.520
好，那這次其實已經夠安全了，我就試一次啊，

01:39:58.760 --> 01:40:00.000
就是我用拍啊，我用拍

01:40:03.000 --> 01:40:08.040
好，那其實呢，呃，我現在用的模型是地端模型啊，

01:40:09.720 --> 01:40:12.880
我用這個我是放在我的 DGSPA 上的，

01:40:13.400 --> 01:40:16.880
嗯，Qwen 27B 啊，

01:40:16.880 --> 01:40:21.640
哈，就來試啊，就來試啊，來，我先確定一下我是不是在 DGSPA 中，

01:40:21.640 --> 01:40:23.080
對，好，來，嗯，拍

01:40:23.880 --> 01:40:28.110
好我就先看一下內容好，同一個檔案了， 同一個檔案

01:40:29.150 --> 01:40:33.230
好像我這個我這個拍有裝 office skill， 所以沒有問題啊

01:40:33.950 --> 01:40:34.990
好，我就說

01:40:36.270 --> 01:40:37.230
幫我把

01:40:38.590 --> 01:40:42.430
做去識別化 DID，

01:40:42.590 --> 01:40:44.190
現在開始好，現在開始

01:40:45.710 --> 01:40:49.710
好，那這時候它就開始了，就開始了啊，OK，

01:40:49.710 --> 01:40:52.550
那這個是純粹用地端模型

01:40:53.030 --> 01:40:56.510
但是呢，因為我這邊可以上網，所以呢，我就是跑在

01:40:57.150 --> 01:41:03.350
嗯一個開源的 harness 中啊，
那我們可以看一下我現在我的 GPU 在瘋狂的運轉中啊，

01:41:03.550 --> 01:41:08.950
瘋狂的運轉中啊，那因為我因為我的 GPU 放在機房啊，

01:41:08.950 --> 01:41:11.630
我的呃 DGX Spark放機房，

01:41:11.630 --> 01:41:14.150
機房就是沒有開冷氣啊，

01:41:14.150 --> 01:41:16.680
就電風扇吹了啊，所以呢它

01:41:16.780 --> 01:41:20.740
熱當過好幾次，所以我就把它的速度限在2100MHz 啊，

01:41:21.020 --> 01:41:24.620
那 DGSPA 的上限是3003MHz，

01:41:24.740 --> 01:41:28.100
但是我發現只要超過2006大概就會熱當啊，

01:41:28.100 --> 01:41:32.140
所以我就設在2001，但是你不用擔心，

01:41:32.140 --> 01:41:33.740
你3003降到2001它不會掉

01:41:34.620 --> 01:41:38.260
30%，它掉45%的效能而已，

01:41:38.260 --> 01:41:43.260
所以不用擔心了啊，那你就看到一個小小的27B 模型啊，

01:41:43.260 --> 01:41:46.020
27B 模型它就在做去做

01:41:46.100 --> 01:41:51.020
做去個資化的動作啊，你看它速度也不會很很差了啊，

01:41:51.420 --> 01:41:52.620
那當然它就是

01:41:54.140 --> 01:41:57.540
當然我這個就不要錢了啊，像我剛才那個花多少錢啊，

01:41:57.540 --> 01:42:00.860
那個剛才花幾塊錢吧啊，那這個就這個就不要錢了，

01:42:00.860 --> 01:42:03.580
就讓它做啊，那我們就等它一下，等它一下

01:42:09.570 --> 01:42:10.070
嗯啊

01:42:13.170 --> 01:42:14.930
他做完了，他做完了，他做完了

01:42:22.280 --> 01:42:25.040
好，那他做完了，你看他其實做的就跟

01:42:26.600 --> 01:42:31.480
剛才那做的差不多，做的差不多了哈，
當然你可以要求他說我希望你怎麼做，

01:42:31.480 --> 01:42:34.360
我希望你名字怎麼做，電話怎麼做，

01:42:34.360 --> 01:42:37.200
身份證怎麼做，你只要就是他怎麼做了啊好，

01:42:37.320 --> 01:42:39.960
那這個是相對安全，

01:42:39.960 --> 01:42:42.480
你看我用地端模型，我我用

01:42:42.650 --> 01:42:45.730
開源的 harness 啊，那其實這個其實已經完全沒有出到

01:42:46.530 --> 01:42:51.650
完全沒有出到我的網路上啊 OK， 那我最後呢? 最後示範一個

01:42:52.370 --> 01:42:53.970
相對最安全的啊

01:42:55.140 --> 01:42:56.180
相對最安全哈，

01:42:57.140 --> 01:43:00.980
我呢把這個資料跑在我的沙箱中好，

01:43:00.980 --> 01:43:05.380
那我們就利用 OpenShell 這個這個東西哦，
這是我之前建立的一個沙箱哦，

01:43:05.540 --> 01:43:09.060
其實它也是用利用 docker 的方式來建立的哦， 這

01:43:10.420 --> 01:43:11.540
個就是它的沙箱

01:43:13.540 --> 01:43:16.060
好，你當然可以用其他的方式的沙箱，

01:43:16.060 --> 01:43:19.340
但是 OpenShell 是 NV 的沙箱很好用哦，

01:43:19.340 --> 01:43:22.100
所以我就一直用到現在啊好，我就 OpenShell，

01:43:22.100 --> 01:43:24.460
然後呢進入沙箱中

01:43:26.500 --> 01:43:33.380
好，這個沙箱是算非常安全啊， 例如說我直接嗯

01:43:37.060 --> 01:43:40.780
不行啊，看到沒有，我看 Google 啊，有沒有不行哦

01:43:43.430 --> 01:43:48.000
不行啊，不行不行，permission denied 啊，那我 curl github 呢?

01:43:52.070 --> 01:43:57.270
啊 deny 啊，所以呢它其實是那這個沙箱是上不了網的啊好，

01:43:57.270 --> 01:44:03.990
但是我有開放一些權限，例如說 Anthropic 它本身自己的 GitHub 那一

01:44:03.990 --> 01:44:07.350
段那那個 repo 我開放，因為我安裝那個

01:44:07.990 --> 01:44:12.110
Agent Skill 哈來我們就來看這在沙箱裡面了， 這在沙箱裡面了

01:44:13.910 --> 01:44:16.910
好，來，我看一下，呃，我到他的家目錄，

01:44:16.910 --> 01:44:19.110
然後呢，裡面就有一些，如果已經做好一些東西了，就是我們用，

01:44:21.550 --> 01:44:24.150
呃，CSV 還是一次啊，CSV，

01:44:24.150 --> 01:44:27.150
因為 CSV 我就不用叫 Office Skill 了，

01:44:27.150 --> 01:44:29.830
好，我就直接就拍

01:44:29.830 --> 01:44:32.190
好，我就直接就拍

01:44:34.140 --> 01:44:36.780
用 PiAgent 好拍好， 然後呢

01:44:37.740 --> 01:44:42.900
來，模型模型我就還是一樣Qwen 27B，要一樣好來，

01:44:42.900 --> 01:44:45.500
然後呢，我先看內容，有這個好

01:44:46.700 --> 01:44:49.660
我們來看一下有

01:44:53.190 --> 01:44:56.670
沒有，這是它的內容啊，內容其實在我試過，

01:44:56.670 --> 01:44:59.910
就是說這個內容啊，幾千行都對，AI 這都一樣，

01:44:59.910 --> 01:45:04.150
他就跑跑一個，他會自己寫寫一個 Python 程式啊好，
我就這樣講啊，來

01:45:05.510 --> 01:45:06.270
幫我

01:45:07.300 --> 01:45:09.900
把這個檔案做

01:45:10.940 --> 01:45:13.700
DID 去識別化好，

01:45:13.700 --> 01:45:15.780
我就是給他多一點資料，就是說

01:45:17.020 --> 01:45:21.340
呃名字，如果是， 如果是

01:45:23.500 --> 01:45:25.940
字第二個字叉

01:45:27.930 --> 01:45:31.290
放叉，如果是四個字

01:45:32.050 --> 01:45:35.370
中間兩個放叉叉，

01:45:35.370 --> 01:45:37.090
如果是五個字，

01:45:38.410 --> 01:45:45.210
中間三個放叉叉叉，然後地址只要把

01:45:47.290 --> 01:45:51.130
巷弄號樓叉叉叉即可

01:45:53.130 --> 01:45:54.410
電子郵件

01:45:55.690 --> 01:45:56.610
保留

01:45:57.330 --> 01:45:59.850
之後的網域，嗯，

01:46:00.650 --> 01:46:01.690
開始好

01:46:03.090 --> 01:46:05.250
來，這時候我的 GPU 開始瘋狂運轉哦，

01:46:06.570 --> 01:46:08.650
GPU 瘋狂運轉，瘋狂運轉

01:46:09.770 --> 01:46:13.250
好，然後呢，因為這個模型呢，27B 我是用 FP8，

01:46:13.250 --> 01:46:17.690
所以它佔稍微大一點，然後呢，我 KV cache 開的稍微大一點啊，

01:46:17.690 --> 01:46:21.970
所以它就會佔多，但是你看還是佔的有限吶，

01:46:21.970 --> 01:46:26.210
128G 佔的大概80G 而已啊， 很夠用啊

01:46:26.540 --> 01:46:28.020
他就開始跑吧，開始跑好

01:46:32.100 --> 01:46:35.780
那我思考強度是設 high，他可以設思考強度哦，

01:46:36.100 --> 01:46:38.460
他會想久一點，他思考強度 high 就會，

01:46:39.620 --> 01:46:43.300
他給模型 thinking 的 token 就會多一點了啊好，

01:46:43.300 --> 01:46:46.340
他就遵照我的指示在做這件事情

01:46:57.860 --> 01:46:59.180
好，繼續跑，讓它跑

01:47:05.960 --> 01:47:07.480
好，那這個就是標準的

01:47:08.200 --> 01:47:09.640
嗯，最安全啊

01:47:09.640 --> 01:47:15.280
其實你看我連在這個下降中，我連 GitHub 我去 Google 都出不去了，

01:47:15.280 --> 01:47:18.400
但是它還是能繼續做，這個就是

01:47:18.690 --> 01:47:22.290
模型在地端 harness 在沙箱中，那連網路都出不去，

01:47:22.290 --> 01:47:25.850
這是其實都斷網了，這都斷網了，那它還是可以做，

01:47:25.850 --> 01:47:29.410
還是可以用啊好，那其實我沒有真正實質把網路關掉啊，

01:47:29.410 --> 01:47:32.170
那但是其實它是不需要靠網路，

01:47:32.170 --> 01:47:35.410
它完全不需要上網，ok，那就看它久一點，

01:47:36.010 --> 01:47:38.970
那我那這個模型呢，我給它開262k 的，

01:47:39.130 --> 01:47:42.810
它的最大也是2260000個 context window 也不能再大，

01:47:42.810 --> 01:47:43.730
但是夠用了啊，

01:47:45.930 --> 01:47:47.090
那當 context window

01:47:47.170 --> 01:47:51.130
跑完之後，它其實就會直接就自己就會斷掉， 自己就會斷掉

01:47:53.570 --> 01:47:54.450
好，等它一下，

01:47:57.850 --> 01:48:00.180
你現在那一台溫度查得到嗎?

01:48:00.410 --> 01:48:01.610
查得到啊，55度

01:48:03.130 --> 01:48:05.090
你現在我看哦，對啊

01:48:05.760 --> 01:48:10.760
我，我那時候我上上個月跑的時候都都跑到80幾度了，

01:48:10.760 --> 01:48:16.760
就就你要設那個頻率不能超過兩千一啊對他他兩千六一定熱當了，

01:48:16.760 --> 01:48:19.320
了解一定熱當，但是我都熱當好幾次，

01:48:19.320 --> 01:48:21.920
我才我才知道為什麼還好，這還還可以，

01:48:21.920 --> 01:48:25.560
我熱當好幾次了，就是要重新把插頭拔掉再拔回去啊

01:48:26.240 --> 01:48:28.760
對對嗎我也是當好幾次，

01:48:28.960 --> 01:48:32.400
是啊，你就設定一下，設定很簡單，
就是你就要 Claude Code 幫你設定了，

01:48:32.400 --> 01:48:34.360
就是說幫我設定這台機器的

01:48:34.520 --> 01:48:37.080
設到兩兩千一，這樣他就幫你設定好，嗯

01:48:39.120 --> 01:48:44.200
啊，現在正在做啊，他其實你就是就是說你設定這個這個頻率，

01:48:44.200 --> 01:48:46.880
他其實速度不會掉太多，還好

01:48:50.000 --> 01:48:53.440
好，這就比較久一點了，但是我覺得這這個就至少可以用啊

01:48:54.850 --> 01:48:56.250
好，等它跑完，等它跑完，

01:49:06.010 --> 01:49:10.290
那這個其實我之前用 DeepSeek，我之前是用 DeepSeek 做，

01:49:10.290 --> 01:49:12.850
那 DeepSeek 做的沒有千問好哦，

01:49:12.850 --> 01:49:17.050
差很多哦，差不了，因為因為 DeepSeek 我這個128G 我只能裝 Q2 啊，

01:49:17.450 --> 01:49:20.330
裝 Q2 它其實有會有問題啊，

01:49:20.330 --> 01:49:23.570
會有問題，然後它它出了它出了一些問題沒關係，

01:49:23.570 --> 01:49:27.090
它自己會白解啊，然後它出一些問題，它自己會白解，

01:49:28.250 --> 01:49:32.210
對啊，其實我我之前先講就是說其實你看就是我們的

01:49:32.610 --> 01:49:39.570
地端模型現在才27B 啊，
你說 Claude Fable 或是 Opus 直接可能都5T 了，

01:49:39.570 --> 01:49:44.090
可能都56T 了啊，我們27B 模型能做到這樣子，

01:49:44.090 --> 01:49:47.330
其實我非常滿意的啊，而且而且這個幾乎不要錢了，

01:49:47.330 --> 01:49:49.250
這根本就不要錢了，只有電費而已啊

01:49:50.040 --> 01:49:52.320
對啊，然後他自己寫的 PiAgent 才開始做啊

01:49:52.320 --> 01:49:57.920
其實這個這個專我做過好多次，
那因為其實我們客戶對 DID 的要求也都不一樣，

01:49:57.920 --> 01:50:01.720
有些需要還原啊，還原有還原的做法，那我這邊只有脫敏啊，

01:50:01.720 --> 01:50:06.880
只有脫敏，所以還原我這邊就沒有做，那有時候還有時候還要加密啊，

01:50:06.880 --> 01:50:11.400
那他就是說那你就必須知道，你說嗯嗯王小明，

01:50:11.400 --> 01:50:14.240
他變成王叉明，你知道他還原會要變成王小明啊

01:50:14.960 --> 01:50:17.040
ok，他就開始做

01:50:19.040 --> 01:50:21.360
啊。他做完了，他做完了，他做完他先檢查

01:50:29.090 --> 01:50:32.770
因為我的我的 PiAgent 我有規定他做完所有東西都要再

01:50:33.490 --> 01:50:37.330
review 一次，然後他都會再檢查一次，那 PiAgent 的

01:50:38.290 --> 01:50:41.890
寫的攷攷點寫法跟攷就一模一樣啊

01:50:44.510 --> 01:50:46.190
好，這是一千筆的啊，一千筆

01:50:49.310 --> 01:50:52.110
好，這是我們對他規定比較多的做法，

01:50:52.110 --> 01:50:56.670
他就會照著做啊，你看27B 模型真的很聰明啊， 非常非常聰明啊好

01:50:57.950 --> 01:51:02.030
，叫這個名字我們把它看一下，我們就看一下啊，看一下它的

01:51:03.230 --> 01:51:04.230
內容

01:51:05.190 --> 01:51:05.950
，看一眼就好

01:51:10.350 --> 01:51:12.550
，沒有就他就照我的做了

01:51:12.870 --> 01:51:14.510
乖乖照我的做了啊，照我的做

01:51:15.230 --> 01:51:19.150
啊，幾乎都全部都去識別化了，全部都做好了好，

01:51:19.230 --> 01:51:23.150
那最後呢，最後示範一個一模一樣的東西，

01:51:23.470 --> 01:51:26.990
那這邊呢就有又又應用到 Office 的 Skill，

01:51:26.990 --> 01:51:31.710
就是它能對 docx 做去識別化，

01:51:31.710 --> 01:51:35.310
而且它是一個正常的文章啊哈，我們先看文章內容啊，

01:51:35.790 --> 01:51:40.670
先看文章內容啊，它叫做 scam.txt 啊， 它長這個樣子

01:51:44.380 --> 01:51:45.180
它是一個

01:51:46.860 --> 01:51:52.700
呃，就是我這這是假的資料，就是啊詐騙機房住在什麼地方，

01:51:52.700 --> 01:51:55.620
什麼名字身份證字字號幾號，

01:51:55.620 --> 01:51:59.700
這是一個自由開放的內容，它不像 Excel 是有欄位的好，

01:51:59.820 --> 01:52:03.020
那以前我們做這種東西呢，要做好多事情，

01:52:03.020 --> 01:52:09.420
我們要做 N1 樣，我們要做命名實體辨識，
我們要再做去識別化，好那我記得這種這種事情在

01:52:09.980 --> 01:52:13.100
我。五六年，這在呃十年前沒有出現啊，

01:52:13.100 --> 01:52:15.660
在五年前沒有出現的時候呢，

01:52:15.980 --> 01:52:18.700
那就是要做用標準 NLP 方式來做，

01:52:18.780 --> 01:52:23.180
先做 NER，用什麼 BERT 做 NER 再做什麼什麼什麼再開始做啊，

01:52:23.420 --> 01:52:30.060
那我們現在同樣用Qwen 27B 對這個 docx 的那內容其實一模一

01:52:30.060 --> 01:52:33.780
樣啊，它是 docx，我叫他來做去識別化，

01:52:34.700 --> 01:52:35.900
這個啊做去識別化

01:52:37.660 --> 01:52:39.060
好，我就跟他說

01:52:40.830 --> 01:52:45.710
現在我先看，我先看列出你目前擁有的 agent

01:52:48.190 --> 01:52:52.550
，它是應該 office，我記得我有裝，喔哇，這

01:53:03.270 --> 01:53:04.350
個問題要想那麼久

01:53:05.870 --> 01:53:09.460
，這是一個就是它還在跑啊，它

01:53:13.690 --> 01:53:17.330
prefill 就這麼久了對啊，就是它，它其實在它在思考，

01:53:17.330 --> 01:53:21.490
我記得它有在思考欸，沒有沒有，那星天特文剛都還沒出來啊，

01:53:21.490 --> 01:53:25.490
沒出來是是對啊，怎麼那麼久啊，所以就是 prefill 就就這麼長

01:53:25.590 --> 01:53:29.950
有時候會這樣了，對就不知道，
但他現在就他他有他有他有夠多的 skills，

01:53:29.950 --> 01:53:33.310
有有 office 有哈，他講講半天了

01:53:38.140 --> 01:53:42.260
好，這是我裝的啦，就是因為 PiAgent 它需要時候才會裝，

01:53:42.380 --> 01:53:44.858
不需要就不裝，那我當然是裝完 PiAgent

01:53:44.858 --> 01:53:47.619
第一件事就是把所有 Anthropic 的 agent skills

01:53:47.619 --> 01:53:48.540
全部裝進去了，

01:53:48.540 --> 01:53:50.900
好來就開始做哈，就開始做啊

01:53:52.220 --> 01:53:56.250
，幫我把這個我我就這樣做啊好，

01:54:00.640 --> 01:54:05.360
我就改這個東西了，叫他開始做，
其實我我我覺得我覺得不用跟他講那麼多了哈，

01:54:05.360 --> 01:54:09.240
不用跟他講那麼多啊，叫他做 De-ID 就可以了

01:54:15.340 --> 01:54:16.940
好，請他開始啊

01:54:23.110 --> 01:54:25.390
啊，那他這這這一次就會呼叫

01:54:26.030 --> 01:54:31.950
office skill 啊，這個呼叫 skill，好那順便打廣告來各位各位朋友，

01:54:31.950 --> 01:54:34.950
如果你想我知道拍怎麼用啊，這是我這個月寫的書啊，

01:54:34.950 --> 01:54:37.950
這個我這個月的行書啊，PiAgent 啊 PiAgent

01:54:39.150 --> 01:54:41.910
你要寫一本啊對PiAgent 的書啊，

01:54:41.910 --> 01:54:46.510
因為 PiAgent 實在太好用，
我就一邊玩一邊寫就把它寫下來啊 PiAgent 啊

01:54:47.270 --> 01:54:51.590
好看起來又可以預約下一次直播了， 開始非常

01:54:51.670 --> 01:54:54.950
它就非常非常好用，就是我就是它很小很小，

01:54:54.950 --> 01:54:58.150
而且它就是它像樂高積木一樣，

01:54:58.150 --> 01:55:01.910
它就原來就是一一點點小小的東西，你把一樣的東西裝上去就好，

01:55:01.910 --> 01:55:07.550
其他東西不要就把它拿走哦，非常非常好用哦，
PiAgent 我我最近都用 PiAgent，好用哦，

01:55:07.870 --> 01:55:13.310
好用很快，而且 token efficiency 真的比其他的好很多，

01:55:13.310 --> 01:55:18.150
是啊，而且就是保哥有定那個 GPT 嗎，到底可以去到 GPT 模型啊嗯

01:55:19.060 --> 01:55:22.500
我是可以串啊，對啊，這都可以串，那方便，那就不能串了

01:55:24.780 --> 01:55:27.140
，訂閱了，訂閱不能串，對不能，那

01:55:28.140 --> 01:55:30.900
那個就那個就不行，那個就會破產，

01:55:30.900 --> 01:55:33.620
因為我發現的貼很多錢啊，

01:55:34.500 --> 01:55:37.620
很多啊，他們說一個月貼七八千美金啊，

01:55:37.940 --> 01:55:40.660
嗯，他也是健身房理論，

01:55:40.660 --> 01:55:43.140
就是說大部分的人都用用不完

01:55:44.700 --> 01:55:47.900
啊，3%到5的人才才會去用用光自己的 token 啊

01:55:49.300 --> 01:55:52.900
所有搞訂閱的不都是這套邏輯嗎? 對呀，都這樣子對

01:55:53.940 --> 01:55:57.860
吧好，但我的，但我 GPU 好像一直要維持在五六十度啦，

01:55:57.860 --> 01:56:00.940
可以啦，這可接受了啊，這可接受了，

01:56:00.940 --> 01:56:02.900
五六十可以啊，59了

01:56:03.860 --> 01:56:06.740
還可接受了，跑有點久沒關係，他就可接受，

01:56:06.740 --> 01:56:09.460
因為因為這個就是你如果說不去限制就一定熱，

01:56:09.540 --> 01:56:11.340
這個這個我跟大家分享一下

01:56:11.730 --> 01:56:14.690
就是 DGX 跑到60度的時候，

01:56:14.690 --> 01:56:17.690
你手放在機殼上大概是溫溫的感覺，

01:56:18.130 --> 01:56:21.090
到八九十度的時候是燙的哦，

01:56:21.090 --> 01:56:23.690
但是那個是內部溫度八九十度，

01:56:23.690 --> 01:56:29.050
GPU 八九十度，你摸那個殼呢就是就是沒有沒有到八九十度，

01:56:29.050 --> 01:56:33.450
不然不然就燙傷了嘛，但是那個殼其實就是你會感覺到蠻熱的，

01:56:33.450 --> 01:56:37.970
這樣然後吹電扇是完全沒有用的，

01:56:37.970 --> 01:56:41.450
對我要提醒大家一下哦，要豎起來

01:56:41.570 --> 01:56:44.210
對啊，你在旁邊吹電扇是完全沒有用的，

01:56:44.210 --> 01:56:46.730
你吹不到 GPU 啊，你吹到它可以啊，

01:56:47.530 --> 01:56:53.730
可能對啊，這很熱啊，
所以所以對所以還是要注意那個它會有熱當的問題， 這

01:56:55.850 --> 01:56:59.050
個就比較久，因為這個還有呼叫 scale 稍微久一點，

01:56:59.050 --> 01:57:02.490
但這個我試過好多次啊，這個都一定成功了，

01:57:02.490 --> 01:57:05.490
而且千問已經比 DPC 好很多，DPC 會失敗啊，

01:57:05.770 --> 01:57:10.370
DPC 會有些地方名字會會漏掉，千問已經完全不會漏啊

01:57:14.480 --> 01:57:17.600
好，那其實就是說如果你用 Mac，

01:57:17.600 --> 01:57:20.400
其實速度也差不多啊，不會不會比較慢，

01:57:20.400 --> 01:57:23.480
因為你用 M5 的 M5 的呃，

01:57:23.480 --> 01:57:25.840
如果你有 32G 就可以跑了，那

01:57:27.000 --> 01:57:29.760
64G 48G 跑起來一點問題都沒有

01:57:33.920 --> 01:57:40.200
啊好，等他一下，其實我我喜歡 PiAgent，
好就是 PiAgent 可以在這個 TUI 上面還有個顯示圖片

01:57:40.680 --> 01:57:44.320
比如說你叫他去做網頁截圖，會把圖片顯示在這個 TUI 裡面，

01:57:44.320 --> 01:57:46.400
但是但是要 Mac Windows 不行

01:57:50.160 --> 01:57:52.000
好，我就等他跑，等他跑一下

01:57:53.600 --> 01:57:55.920
哇，又一個小時了，各位要不要休息一下

01:57:56.750 --> 01:57:59.590
不用不用不用，要休息，早就去休息了，

01:58:02.270 --> 01:58:06.150
下一休十點了，沒關係啊，那等一下就請保哥開 Slido，

01:58:06.150 --> 01:58:09.190
讓大家就請大家，我已經開了，我剛剛就開了，

01:58:09.190 --> 01:58:11.590
對啊，已經開了哈好，那我就把 Slido 打開，

01:58:13.230 --> 01:58:16.190
有人問說 Apple Silicon 會好一些嗎?

01:58:16.190 --> 01:58:23.150
完全不會啊，我前幾天上個禮拜我才在我粉絲團有分享啊我我的那個

01:58:23.150 --> 01:58:26.310
Qwen 27B 開下去跑哇

01:58:26.510 --> 01:58:29.150
整整台筆電都幾乎可以煎蛋了，

01:58:29.150 --> 01:58:34.430
因為它算是做得很好嘛啊，就是 MBP 這個 M-series Max 嘛，

01:58:34.430 --> 01:58:39.790
它算是做得很好，所以所以整個機殼就是鍵盤上方那那一那一帶哦，

01:58:39.790 --> 01:58:41.870
超級燙，真的真的是可以

01:58:42.470 --> 01:58:47.710
，這真的真的我就是開玩笑說什麼可以做舒肥的啦啊，

01:58:47.710 --> 01:58:50.310
舒肥雞蛋舒肥牛肉應該是可以

01:58:50.580 --> 01:58:55.060
就是很嫩的，對你手放上去是會彈開的那種燙

01:58:56.300 --> 01:59:02.900
哦，這個你如果有 MVP 就是潤多一點的話可以玩玩看的， 是真的超燙

01:59:05.780 --> 01:59:07.300
好，就兩個問題嘛哈

01:59:08.500 --> 01:59:09.540
嗯好

01:59:11.940 --> 01:59:15.820
好，等他跑完那我先回啊，我先回，我先回三個問題啊，

01:59:15.820 --> 01:59:18.660
就是說複雜表格有有 PDF 啊

01:59:18.860 --> 01:59:21.140
可以有效的轉向，其實就是說啊

01:59:22.660 --> 01:59:29.420
，絕對可以啊，就是呃，因為其實我用的就是 Anthropic Skill，

01:59:29.700 --> 01:59:35.700
那跟呃 PiAgent 就是你用 Claude Code
跟 PiAgent 用一模一樣的 Skill，

01:59:35.860 --> 01:59:40.740
那他們去寫的 Python 幾乎一模一樣，
他也是去寫 Python 去做這件事情呢，

01:59:40.740 --> 01:59:43.980
那就是一定是用什麼 Pandas 啊或用什麼東西啊，

01:59:43.980 --> 01:59:48.820
或一些呃 any any 什麼 Anyduck 就是最近新出的這些東西來做的啊

01:59:48.930 --> 01:59:51.810
哦，所以我覺得應該沒問題啊可以試試看哦

01:59:51.970 --> 01:59:55.250
那另外就是說 PDF 我自己的經驗是有兩種，

01:59:55.250 --> 01:59:58.650
一個是呃文字轉過去，那問題都很小，

01:59:58.650 --> 02:00:01.290
另外一個就是啊，它是呃

02:00:02.290 --> 02:00:05.690
影像圖片檔轉過去，那問題就很大啊好，

02:00:05.690 --> 02:00:13.050
那如果你要處理 PDF 我我會建議你用這個東西啊，這個東西這個

02:00:15.970 --> 02:00:18.730
東西對，用這個東西啊，用這個

02:00:19.010 --> 02:00:21.930
嗯，不用這個，這個這個是他連他連位置都給抓了啊

02:00:22.210 --> 02:00:25.450
其實我還再次強調就是中國的東西啊，

02:00:25.450 --> 02:00:28.090
如果你對中國東西有就是不想用就不要用啊，

02:00:28.090 --> 02:00:33.050
那但是目前我知道就是很多公家單位都在用，

02:00:33.050 --> 02:00:35.730
因為這是目前最強的了啊，目前最強的這

02:00:36.890 --> 02:00:39.570
個是這個可是大陸軟體哦，

02:00:39.570 --> 02:00:41.500
你確定公家機關會用嗎?

02:00:41.640 --> 02:00:45.760
嗯，偷用了，就是我朋友在偷用了，但是沒辦法好，

02:00:45.760 --> 02:00:51.240
再來就是說開放權重模型，是否可以埋一些惡意提示詞，
例如把機密資料傳到某伺服器？，

02:00:51.240 --> 02:00:55.320
就是說，嗯，我剛講過這個問題不會是模型的問題，

02:00:55.600 --> 02:01:01.280
這個問題絕對會是 harness 的問題，就是模型只會做文字接龍好，

02:01:01.280 --> 02:01:03.840
那文字接龍的話，然後他就嗯，

02:01:03.840 --> 02:01:06.960
我我我讓你們看這個東西，我們剛我們剛講

02:01:08.000 --> 02:01:10.280
這個東西啊，這邊

02:01:10.280 --> 02:01:13.000
你惡意提示是在這一段，在這邊，在這邊，

02:01:13.000 --> 02:01:16.440
在這邊，在這一塊，這一塊都是 harness 的鍋，

02:01:16.440 --> 02:01:18.000
就是說如果 harness

02:01:18.880 --> 02:01:23.120
沒有弄好，那他就會他就會呃

02:01:23.760 --> 02:01:27.240
放上惡意資料，這個 Prompt Injection 就就會去

02:01:27.510 --> 02:01:31.870
去傳他啊好，就是現在呢要破解模型，

02:01:31.870 --> 02:01:34.750
或者我講破解 agent 的方法有很多種啊，

02:01:35.030 --> 02:01:38.630
那直接對模型下惡意提示啊，

02:01:38.630 --> 02:01:42.230
那模型本身在做 RL 跟 SFT 時候呢，

02:01:42.230 --> 02:01:45.110
他就會注意到你這些行為，那是好的模型，

02:01:45.110 --> 02:01:50.270
他在做 SFT，他就去回避掉這些有危險的問答，

02:01:50.630 --> 02:01:57.070
那做 RL 他一定要做 alignment，
他當然會回避掉啊好那所以模型本身就具有這個能力

02:01:57.230 --> 02:02:03.830
但是呢還是有辦法繞過去啊，
所以呢我們的 agent 就要裝這個東西叫 govern 啊 govern

02:02:04.310 --> 02:02:07.230
去保護你的 agent，不要被這種事破壞，

02:02:07.510 --> 02:02:11.030
那所以我覺得這還是 agent 還是 harness 鍋，

02:02:11.190 --> 02:02:13.790
你的 harness 沒做好的話呢就會被破解

02:02:14.180 --> 02:02:16.980
那你不要說是開放權重模型了，

02:02:16.980 --> 02:02:19.500
你的像你看呃，4.8，

02:02:19.500 --> 02:02:22.580
它一出來就被破解就被破解掉了，所以這個就

02:02:23.460 --> 02:02:26.900
會會就是會破解的，它會避開你的你的，

02:02:26.900 --> 02:02:32.020
那當然你模型本身如果夠強是可以避掉一些的了啊好，

02:02:32.020 --> 02:02:33.780
我繼續我繼續回答了哈

02:02:34.820 --> 02:02:37.420
呃，剛出來我我有試，

02:02:37.420 --> 02:02:42.900
但我沒有試很熟啊，因為我現在都在玩拍啊， 那就他的

02:02:43.540 --> 02:02:47.380
他。它的理想跟拍很像，就是一切皆為外掛，

02:02:47.380 --> 02:02:50.060
一切皆為外掛，拍也是一切皆為外掛，

02:02:50.060 --> 02:02:51.980
它只有四個的工具，read

02:02:52.660 --> 02:02:55.260
write edit 跟跟 bash，

02:02:55.460 --> 02:02:58.580
有了 bash 就無敵了嘛，對不對就無敵了啊好

02:02:59.860 --> 02:03:03.340
，一周採購 GB10 問題啊，怎麼調整啊就是好，

02:03:03.340 --> 02:03:07.020
我我就是我剛跟保哥聊過，就是設設定它的

02:03:08.270 --> 02:03:11.160
它的時脈啊，怎麼設定啊？

02:03:11.230 --> 02:03:14.630
非常簡單啊，非常簡單啊，在這邊設定，

02:03:15.150 --> 02:03:16.670
嗯，你要設定你的

02:03:18.030 --> 02:03:19.790
DGX Spark 的這樣子啊，就是

02:03:20.430 --> 02:03:23.550
啊，他是用 systemctl 去設定他的時脈啊，

02:03:23.710 --> 02:03:27.310
那我我懶得打 systemctl，我直接就就問他了哈，

02:03:29.230 --> 02:03:31.710
我現在 DGX Spark 的石

02:03:34.510 --> 02:03:37.590
䘑為最高為多少? 他

02:03:38.550 --> 02:03:39.870
就幫我設定好了，那

02:03:40.510 --> 02:03:44.950
他的最高是 3003，那我之前設兩千會發現兩千有點慢，

02:03:44.950 --> 02:03:47.870
而且都四十幾度，我就把它上調到兩千一，

02:03:48.110 --> 02:03:50.830
那我會慢慢試啊，就有空就把它上超頻嘛，

02:03:50.830 --> 02:03:54.270
就把它慢慢兩千兩千兩千慢慢試啊，看到他哪邊盪掉，

02:03:54.270 --> 02:03:57.910
我就把它壓壓回去啊，現在你就直接跟他講， 那你說你

02:03:58.990 --> 02:04:02.030
就這樣幫我設兩千五就這樣試，他幫你試好了啊

02:04:03.150 --> 02:04:04.110
好，繼續

02:04:05.880 --> 02:04:10.880
對，就直接問他就好了嘛，簡單的哈好思思考速度加快方式，

02:04:11.080 --> 02:04:17.160
CPU 依賴什麼軟，
思考速度加快方式一定是根據你的 Inference Engine 啊，

02:04:17.240 --> 02:04:19.160
它很多地方，例如說嗯

02:04:19.880 --> 02:04:22.120
，你看 MTP 一定有幫助了啊，那為什麼?

02:04:22.120 --> 02:04:27.040
因為 MTP 它是一次會丟出多個 token，MTP 有好幾種做法，

02:04:27.240 --> 02:04:33.160
那它可以做嗯，有些做法是它就是用自己本身的模型去判斷它

02:04:33.200 --> 02:04:36.400
他多丟出來的 token 有沒有命中，

02:04:36.760 --> 02:04:39.920
有些是會下載一個小模型啊，

02:04:39.920 --> 02:04:46.480
他會偷偷下載一個 2.7 或 2.8G
的模型去判斷這些丟出來東西有沒有命中啊，

02:04:46.480 --> 02:04:50.200
那一個叫一個叫一個叫 DwarfStar，一個叫做 EagleMTP 啊，

02:04:50.360 --> 02:04:54.240
自己選擇自己試啊那嗯，但是你要有一個概念，

02:04:54.240 --> 02:04:58.680
就是說我們用這種 DJspark 啊 Apple 啊，
它的思考速度絕對不會多快啊，

02:04:58.680 --> 02:05:01.240
要有心理，要有心理準備了啊，好

02:05:02.730 --> 02:05:04.450
兩台 GB10 串起來會比較快嗎，會變快

02:05:04.450 --> 02:05:08.690
為什麼？因為它把模型的 layer 放到兩台去，

02:05:08.690 --> 02:05:13.290
所以呢你同時會讓你的 token 經過，它複製成兩份，

02:05:13.290 --> 02:05:16.650
經過兩個兩台機器，所以會快啊，會快會快一點啊，

02:05:16.810 --> 02:05:20.450
但是不是快一倍，快一點，那四台八台會更快，

02:05:20.570 --> 02:05:24.690
三台五台不會比較快，它串接很多種啊，那根線好幾千塊啊，

02:05:24.690 --> 02:05:26.890
所以看你怎麼串了啊，好

02:05:28.330 --> 02:05:30.290
串接兩台 DGX

02:05:30.450 --> 02:05:34.250
可以放 128G 可以沒有問題啊，沒有效能會好一些，

02:05:34.250 --> 02:05:36.850
好處就是放更大模型快一點點，然後呢，

02:05:36.850 --> 02:05:39.410
你的團隊可以人更多

02:05:39.410 --> 02:05:44.370
為什麼？因為我們看看它的平行併發量，就是你模型大一點，

02:05:44.370 --> 02:05:48.490
然後你記憶體多一點，同時大家可以一起進來做很多事情，

02:05:48.490 --> 02:05:49.770
就併發量變大啊，

02:05:50.490 --> 02:05:53.370
多人使用一台 GB，可以一個人撐幾個人使用啊，

02:05:53.370 --> 02:05:56.570
我跟你講個數字啊，例如說我用Qwen 27B，

02:05:56.730 --> 02:05:59.850
嗯，我開 8 個平行數就 8 個併發數啊，

02:05:59.850 --> 02:06:01.050
那，他可以到

02:06:01.860 --> 02:06:06.540
100 個 token 每秒左右，那你就要想，加上思考加上回應的話呢，

02:06:06.700 --> 02:06:12.380
我覺得一台大概 8 個平行 100 個 token 五個人用應該沒問題了，

02:06:12.380 --> 02:06:16.260
其實 8 個人用都可以了，就是看你要做什麼，你做 coding 比較慢，

02:06:16.260 --> 02:06:18.220
像這邊還在，還在，還在寫程式嗎？

02:06:18.220 --> 02:06:22.380
這邊啊，這邊還在寫程式啊，那它你寫好它已經完成了，

02:06:22.380 --> 02:06:23.740
它已經完成了啊，那

02:06:24.380 --> 02:06:28.620
那當然人多就會稍微慢，
那就是說你做 agent 啊什麼，或是如果你要抓圖，

02:06:28.620 --> 02:06:31.020
你要做 Computer Use 都會慢一點，會慢一點點啊

02:06:31.580 --> 02:06:33.580
好，啟動嗎？

02:06:33.580 --> 02:06:37.550
vLLM 啟動好，呃，啟動啟動參數對不對？

02:06:37.580 --> 02:06:38.950
好，啟動參數呢？

02:06:40.140 --> 02:06:43.060
說句老實話，我都把它寫在 docker 裡面，

02:06:43.060 --> 02:06:45.660
我我也要去找，我要去找啊，我找找看啊，

02:06:45.900 --> 02:06:47.340
我都寫進 docker 中了啊

02:06:48.500 --> 02:06:49.900
好，我找一下，我找一下，

02:06:56.250 --> 02:06:57.770
呃，我先看我 docker 哦

02:07:00.470 --> 02:07:02.470
其實我有分享啊，我有

02:07:03.470 --> 02:07:03.990
分享啊，2247 這

02:07:05.030 --> 02:07:06.070
個 2247

02:07:07.110 --> 02:07:08.110
嗯，我忘記了，好沒關係，我我只有在貼上 Slido，

02:07:08.790 --> 02:07:12.150
嗯，我忘記了好沒關係，我我只有在貼上 Slido，

02:07:12.150 --> 02:07:16.430
我沒有忘記了啊，那大概我我我臉書有臉書其實有寫，

02:07:16.430 --> 02:07:18.350
臉書這邊有寫哦，臉書有寫，

02:07:20.390 --> 02:07:21.270
臉書其實有寫

02:07:24.070 --> 02:07:28.590
，但這是抓圖啦，所以可能就你你叫你叫Claude幫你轉一下

02:07:28.670 --> 02:07:31.270
轉成那個轉成文字啊，

02:07:31.270 --> 02:07:34.790
轉成文字，這邊這一個這個這個啊， 你

02:07:35.950 --> 02:07:39.270
可以看一下啊，就是因為當時我遇到一個問題，

02:07:39.270 --> 02:07:41.950
就是我的他給我弄錯了，

02:07:41.950 --> 02:07:44.550
他給我弄了啊，好，就在這邊啊，

02:07:44.590 --> 02:07:48.630
去我臉書看一下就有了啊，好，繼續啊， 繼續

02:07:51.160 --> 02:07:55.080
Claude Code 上面顯示花多少錢跑多少，那是一個叫 statusline，

02:07:55.080 --> 02:08:00.920
然後自己寫怎麼寫好，很簡單喔，
你把我的 Claude Code 這個圖啊截下來，

02:08:00.920 --> 02:08:03.960
截下來啊，它就是讓你看一下

02:08:05.000 --> 02:08:06.200
喔 Claude Code

02:08:07.880 --> 02:08:12.040
喔我給這個不准，我給你看我做過我做過的專案比較准喔

02:08:27.080 --> 02:08:32.040
啊，這是我做過專案，就就長這個樣子啊，
你如果現在看得到我看得到我的畫面，

02:08:32.040 --> 02:08:34.880
你把這個圖截下來，就把這一塊截下來，

02:08:34.880 --> 02:08:38.920
然後告訴你啊，Claude 說幫我根據這個圖做成一模一樣的，

02:08:38.920 --> 02:08:41.960
就這樣打啊，幫就是我把它截下來，

02:08:41.960 --> 02:08:45.480
對不對，幫我根據這個圖，

02:08:45.480 --> 02:08:47.720
你要貼上這個圖啊做

02:08:49.370 --> 02:08:52.090
做做出

02:08:53.610 --> 02:08:55.770
做出一模一樣的

02:08:56.890 --> 02:09:00.570
statusline就好了，這樣可以了，

02:09:00.570 --> 02:09:05.770
這個就叫 statusline 功能，就是這個是目錄名稱 git 的狀態啊，

02:09:05.770 --> 02:09:09.450
如果 git 沒有沒有 push 沒有 commit，這邊一個會有個信號，

02:09:09.450 --> 02:09:12.010
目前用的模型思考長度

02:09:12.730 --> 02:09:17.620
輸入輸出 token 大小，它的快 KV Cache 快取命中率花了多少錢?

02:09:19.130 --> 02:09:23.690
用多少時間，每小時剩多少，

02:09:23.690 --> 02:09:27.250
5小時剩多少，

02:09:27.250 --> 02:09:29.930
7天剩多少，就這樣子，就這樣子啊好，

02:09:30.730 --> 02:09:31.890
繼續我要 Slido 啊，

02:09:33.930 --> 02:09:37.290
反正就我這是我習慣的 statusline 啊，

02:09:37.450 --> 02:09:42.130
你可以自己去看，你要放什麼，有些人放的跟我不一樣啊好，

02:09:42.130 --> 02:09:47.170
小七頁裡面最多四個人問問題，rack 可以沒有一台就夠了， 一台就夠了

02:09:47.980 --> 02:09:52.220
公司要加這個模型給破百位啊，破百位工程師，

02:09:52.220 --> 02:09:58.900
如果是寫程式啊，
那我我是建議你就直接去加一個 DeepSeek 的 Pro 版啊，

02:09:58.900 --> 02:10:01.340
那那個其實大概就兩台

02:10:02.220 --> 02:10:05.500
GB300就是200000美金應該就夠，

02:10:05.500 --> 02:10:09.100
看你們做什麼啊，就是如果說你一定要產生好多萬行程式碼嘛，

02:10:09.260 --> 02:10:12.620
可能不夠，但是就你們可以先拿一台 DGX Spark來試，

02:10:12.620 --> 02:10:17.660
就說看幾個人夠用，然後照那個速度跟規模再 scale up 上去試試看啊

02:10:18.380 --> 02:10:21.980
好 OpenPlus 音樂什麼入門體驗 agent， 那你就裝一個

02:10:22.620 --> 02:10:26.860
呃，ChatGPT Work 就可以了，那 ChatGPT Work 就長這個樣子啊，

02:10:26.860 --> 02:10:28.780
這這個我我就每人都在用啊，

02:10:32.460 --> 02:10:33.940
每人都在用啊這個

02:10:35.750 --> 02:10:38.910
這個東西啊，這個就是一個本地端的 agent 你就可以用了啊，

02:10:38.910 --> 02:10:43.690
就你叫他幫你做事就好了，幫你做事，然後就裝上去登入就可以了，

02:10:43.690 --> 02:10:47.770
就可以做事了，可以寫程式可以，他可以 computer use 啊，

02:10:47.770 --> 02:10:51.950
這個非常非常重要，computer use 可以幫你抓圖啊，

02:10:51.950 --> 02:10:54.710
幫你操作軟體啊，幫你去做很多很多事情啊，

02:10:54.710 --> 02:10:57.310
這是體驗最快的方法，因為你已經有 Plus 了，

02:10:57.310 --> 02:11:00.630
那他的現在給的那個額度非常非常非常，

02:11:00.790 --> 02:11:02.970
非常非常大方了啊，好，

02:11:05.290 --> 02:11:09.370
呃3278、2732、73跑本地夠了，

02:11:09.370 --> 02:11:11.870
就幾個人夠了，他的是273GB 了，

02:11:11.990 --> 02:11:16.990
那所以就夠了啊，有過客戶需要用 local model 是無縫處理的，

02:11:16.990 --> 02:11:21.170
很多啊很多啊，我就說，呃 local model 跟，

02:11:21.530 --> 02:11:24.390
呃 frontier model 其實還是有差別，

02:11:24.390 --> 02:11:26.970
呃差別其實不小，哦那但就說，

02:11:28.230 --> 02:11:30.870
呃，還是講那句話啊

02:11:32.060 --> 02:11:35.420
agent 的上限不是 model 是 harness 啊，

02:11:35.580 --> 02:11:40.780
那所以你用到好的 harness 其實你的你可以解決很多很多的問題啊，

02:11:40.780 --> 02:11:44.620
但當然就是我一直講，就是現在 LLM 它一直在把 model，

02:11:44.700 --> 02:11:47.980
它一直把一直在把 harness 吃掉好，

02:11:47.980 --> 02:11:51.860
我舉一個很簡單的例子來說啊，就是今天我們用 Claude Code，

02:11:51.860 --> 02:11:55.500
我可以讓各位看一下我的 Claude Code 的 cloud，我剛剛看過啊，

02:11:55.740 --> 02:11:57.300
就是說嗯，

02:11:57.980 --> 02:12:01.780
我我一直有個原則，就是說能用 CPU 解決的事情

02:12:01.900 --> 02:12:03.820
就不要用 GPU 解決

02:12:03.820 --> 02:12:07.940
為什麼? 因為 GPU 是 non-deterministic，

02:12:07.940 --> 02:12:11.900
就它是一個不確定性的東西，LLM 是機率分布，

02:12:11.900 --> 02:12:16.740
它丟出來 token 是根據最高機率來排序出來的，

02:12:17.100 --> 02:12:19.140
所以它是 beam search，所以它是

02:12:19.290 --> 02:12:22.850
一個 token 的序列，它找出這個序列的最高機率，

02:12:22.850 --> 02:12:26.010
現在它是機率模型，那它是 GPU 產生的，

02:12:26.010 --> 02:12:29.530
所以它叫做 inferential，它是推論出來的，

02:12:29.890 --> 02:12:33.370
但是 CPU 產生的結果是一定正確的啊

02:12:33.370 --> 02:12:35.340
好，什麼是 CPU 產生的?

02:12:35.570 --> 02:12:38.850
例如說你跟你的 agent 說，幫我把下面這個

02:12:39.450 --> 02:12:42.690
呃這某個網頁的 YouTube 下載回來，

02:12:42.690 --> 02:12:44.210
然後呢，把字幕抓出來，

02:12:45.650 --> 02:12:48.460
這個動作呢，充滿了 CPU，為什麼?

02:12:48.890 --> 02:12:55.490
把 YouTube 下載回來是 yt-dlp 這個函數它就可以做了

02:12:56.010 --> 02:12:59.050
把字幕抓出來是 ffmpeg 這個程式，

02:12:59.050 --> 02:13:03.210
它的指令，它的函數都完全一樣，

02:13:03.410 --> 02:13:08.210
這個為什麼要用 LM 來做，所以呢你的 LM 如果 harness 如果夠好，

02:13:08.210 --> 02:13:11.530
你告訴他說我的我的 agent

02:13:15.520 --> 02:13:16.480
好了，我們看啊

02:13:17.920 --> 02:13:20.800
如果我我告訴他我的 agent 有有有這些東西可以用，

02:13:20.800 --> 02:13:23.200
看我今天我還寫好了啊，我的手機東西可以用

02:13:25.400 --> 02:13:30.000
這些都是 CPU 的指令，那 LM 它本身就產生這些指令，

02:13:30.000 --> 02:13:34.800
它不需要去猜了啊，那這一次就搞定它 one 下就成功了，

02:13:34.800 --> 02:13:37.440
所以你的 harness 裝得越好，

02:13:37.440 --> 02:13:41.880
你的 agent 會越棒啊，所以我覺得 agent 上限絕對是 harness，

02:13:42.000 --> 02:13:44.200
不會是 LM，當然

02:13:44.320 --> 02:13:50.080
當你的 LM 不斷進步之後，它其實拆這些指定的格式它都不用查了，

02:13:50.080 --> 02:13:53.040
它一次就中啊，所以你把你的呃，

02:13:53.120 --> 02:13:55.960
你的工具準備好，你的 harness 準備好啊，

02:13:55.960 --> 02:13:59.840
我覺得你的 agent 更好用好，這我就自己觀察了啊， 好

02:14:01.000 --> 02:14:04.480
我 96、97GB 很夠用啊，兩張那太夠用了，

02:14:04.480 --> 02:14:09.880
你這你這加起來 192GB 就可以跑 Q4 的 DeepSeek-Pro 嘍哦，

02:14:09.880 --> 02:14:13.400
就可以跑這個非常非常夠用哦，很夠用哦好

02:14:15.470 --> 02:14:19.070
同時載入多模型，建議用什麼模型做搭配，

02:14:19.070 --> 02:14:22.150
主力在快速模型多應用情境哦，

02:14:22.150 --> 02:14:28.350
那其實呢，就是說我我覺得啊，因為你你不太可能有夠大的

02:14:28.910 --> 02:14:31.950
嗯，如果你有夠大的 RAM，

02:14:31.950 --> 02:14:37.550
那載入多模型那 OK 了哦，那我自己試過 PiAgent，

02:14:37.550 --> 02:14:40.310
它是可以用 Sub-agent 去選模型，

02:14:40.310 --> 02:14:42.470
選模型啊，那那

02:14:42.750 --> 02:14:46.510
也是可以去定義 Sub-agent 去選模型，

02:14:46.510 --> 02:14:49.750
只能用它自己的模型啊，那當然就是你，

02:14:50.030 --> 02:14:52.030
嗯，如果你要再有多模型呢?

02:14:52.030 --> 02:14:56.430
其實我覺得嗯，我的我做過的是一個

02:14:57.550 --> 02:15:00.840
嗯，加上一個，當時我用的那個是沒有

02:15:01.140 --> 02:15:07.180
沒有 vision 功能，我就載入一個千問的 7B 的 VLM 同時載入，

02:15:07.300 --> 02:15:10.420
那我是用 VLM 這個這個方式把它載入，

02:15:10.420 --> 02:15:15.140
都可以搭配了，當然要看你 RAM 夠不夠大啊好， 那

02:15:16.340 --> 02:15:17.780
LangChain 跟 Fireworks 是做什麼?

02:15:17.780 --> 02:15:19.460
LangChain 是一個呃

02:15:20.340 --> 02:15:22.700
如果你想開發一個 Claude Code，就用 LangChain 啊，

02:15:22.700 --> 02:15:27.580
你就用 LangChain 啊，那 LangChain 就就就可以就可以開發它，

02:15:27.740 --> 02:15:30.860
它入門叫做 DeepAgent，你可以開發一個 Claude Code

02:15:30.980 --> 02:15:37.540
再就叫再叫那這些東西都非常非常適合開發一個

02:15:38.100 --> 02:15:45.060
呃 LM 來用啊，
那開發一個一個 agent 來用啊好那但是就是呃我我是很建

02:15:45.060 --> 02:15:48.700
議不是在推出啦，就是我建議我建議 Pi 啦，

02:15:48.700 --> 02:15:54.980
我建議 Pi 哦，那 Pi 它其實可以讓你了解一個 agent 在幹嘛啊好那

02:15:56.020 --> 02:15:56.580
我看啊

02:15:57.510 --> 02:16:00.710
連線不要錢啊，它它不是賣的，它不要錢，它不要錢啊，

02:16:00.710 --> 02:16:05.030
你就用它的套件就直接開發就好了啊好那

02:16:06.230 --> 02:16:08.486
Fireworks 呢就你是在講 FireworksAI

02:16:08.486 --> 02:16:11.008
嘛對不對講這個公司嘛對不對 FireworksAI

02:16:11.008 --> 02:16:12.070
嘛啊那 Fireworks

02:16:12.070 --> 02:16:16.030
AI 是一個嗯，它是一個雲端雲端唉，

02:16:16.030 --> 02:16:18.710
我的麥克風還在不在，它是雲端推論平臺哦，

02:16:18.710 --> 02:16:21.310
所以就你就是用它的雲端推論平臺，

02:16:21.310 --> 02:16:25.150
它也可以訓練模型啊，那台北有賣，它就上網看它價錢就好，

02:16:25.150 --> 02:16:26.710
這個東西我比較少用啊

02:16:26.990 --> 02:16:30.070
有沒有開源直接使用啊，方便修改調調整，

02:16:30.070 --> 02:16:36.470
它呢就是 Pi 啊，
Pi 就是一個開源可以調整 Pi 跟OpenClaw
/ Go-Pi 跟 OpenCodeInterpreter 是

02:16:36.950 --> 02:16:40.470
開源可以隨便隨時調整，隨時放你要的東西啊好，

02:16:40.470 --> 02:16:45.110
那為什麼我那麼建議 Pi 啊，不是賣書，因為它很模組化，

02:16:45.510 --> 02:16:50.310
它可以隨時放上你要的東西跟你不要的東西就拿掉，

02:16:50.630 --> 02:16:54.310
它又很小，而且它很快啊，所以我建議 Pi，

02:16:54.310 --> 02:16:55.670
那OpenClaw / Go-Pi 是一個

02:16:56.260 --> 02:17:01.620
以 Pi 為原型，但是他把他認為大家最常用的東西全部一起放進去，

02:17:01.620 --> 02:17:04.700
讓你一次用個夠好，所以你如果你想試試看，

02:17:05.060 --> 02:17:08.900
嗯，很很細微調整的就用 Pi，

02:17:08.900 --> 02:17:14.580
如果你覺得還不夠細微，那你就用剛才前面那個呃留言的網朋友提到，

02:17:14.580 --> 02:17:21.100
你就用 LangChain 裡面 DeepAgent
自己開發一個呃 coding the harness 啊好，

02:17:21.220 --> 02:17:25.020
那目前就沒問題了，那我我看一看剛才

02:17:25.020 --> 02:17:28.740
那個東西就寫好了啊好，那你們想看看嗎?

02:17:28.740 --> 02:17:33.340
想看我就把它抓出來看啊，我就把這個東西它叫做 scam，

02:17:33.340 --> 02:17:36.820
它是放在沙箱中啊，放沙箱中啊，

02:17:36.820 --> 02:17:40.860
所以呃，我叫他把它轉成純文字好了，

02:17:40.860 --> 02:17:42.980
我這樣我們就不用把它複製出來了啊

02:17:49.270 --> 02:17:53.750
我就不用複製出來了，我就這邊我就讓你直接看他看他做，

02:17:53.750 --> 02:17:58.110
看他做得好不好了，那我們就就看完之後我們就結束，

02:17:58.110 --> 02:18:01.470
因為今天也就我本來只準備一個小時，

02:18:01.470 --> 02:18:02.910
那當然保哥說過這個這

02:18:03.710 --> 02:18:06.270
這場子會延時啊，

02:18:06.270 --> 02:18:08.390
所以就沒關係，我們就等他一下

02:18:09.830 --> 02:18:12.030
被被我們進來講了兩個小時

02:18:12.790 --> 02:18:16.470
沒到12點沒關係，兩個半的兩個半的沒事沒事可以好玩好玩，

02:18:16.470 --> 02:18:18.430
因為就真的不累啊，真的不累是

02:18:18.670 --> 02:18:23.630
好，我等下等下放歌放歌補償你一下，放歌補償我就可以去輕鬆一下了

02:18:23.870 --> 02:18:26.670
對啊，我真的是沒有，今天很開心啊，

02:18:26.670 --> 02:18:28.830
因為好，我們直接看，我直接看啊

02:18:36.840 --> 02:18:40.880
對啊，他就他就做完了，他做非常好啊，他做的是非常棒的，

02:18:40.880 --> 02:18:45.000
他就看啊，嗯，這邊嘛哈，這邊， 然後這邊

02:18:45.800 --> 02:18:50.520
，然後這邊好，這邊有沒有啊， 這邊

02:18:51.480 --> 02:18:54.200
ok，所以我不知道你們有有沒有感覺，

02:18:54.200 --> 02:18:59.440
就我這個東西在十年前做這個事情啊，
我如果十年前我能幫銀行做到這件事情，

02:18:59.440 --> 02:19:03.640
我就可以賺很多錢的，但現在就是一個地端模型就完成了，

02:19:03.640 --> 02:19:08.120
就完成了。好，那我們今天的分享就到這邊，

02:19:08.160 --> 02:19:12.680
那請保哥先放下歌，讓我讓我讓我讓我舒緩一下

02:19:13.600 --> 02:19:16.880
，然後我們就看，因為 Slido 應該沒問題了啊，沒了好，

02:19:16.880 --> 02:19:22.320
這個問題來聽說千問比 DeepSeek 好對對沒錯好很多，

02:19:22.440 --> 02:19:26.640
又小又快又有直覺多模態，它又能長期運行，

02:19:26.640 --> 02:19:29.720
就是我覺得就是說以 DGX Spark 來說

02:19:30.430 --> 02:19:33.510
他只能跑 Q2 的在我的 DGX Spark上，

02:19:33.630 --> 02:19:38.750
Q2 實在是不行，我剛剛講過 Q4是甜蜜點再往下掉，

02:19:38.750 --> 02:19:42.350
像那時候我為了跑 GLM 在我的在我的 DGX Spark 上面，

02:19:42.430 --> 02:19:49.150
我跑到 Q1 根本不能用啊購書連結就在投影片有吧好

02:19:49.230 --> 02:19:52.030
那沒事就大家想買就買，不想買就沒關係，

02:19:52.030 --> 02:19:55.150
去天瓏，因為去天瓏的話呢，呃比較便宜，

02:19:55.150 --> 02:19:57.990
好像是79折，博客來好像比較貴啊，

02:19:58.110 --> 02:20:00.230
我也就比較便宜啊好那就

02:20:00.430 --> 02:20:04.190
我今天分享到這邊，那就把時間還給保哥， 謝謝

02:20:05.710 --> 02:20:08.310
好，那我們大家掌聲鼓勵鼓勵，

02:20:08.310 --> 02:20:11.870
謝謝 Josh 啊，這個今天非常非常的精彩啊

02:20:13.550 --> 02:20:16.990
好，那我們就先到這邊告一段落嘍，