啊，就開始錄了，OK，呃， 聲音斷斷續續嗎? 這樣聽得清楚嗎?
好，可啊，不好意思，可能我就那我離麥克風近一點呢，
近一點。OK，那所以呢，
我們從今年1月開始一直被這些 Frontier 模型廠商封號，
封號之後呢，然後我們就開始探討其他的模型選項了，
那這時候再加上呃
地端模型的慢慢的出現了
所以我們就開始考慮在我們的 agent 來使用地端模型啊，
那也沒想到這半年地端模型的發展已經變得有點有點可怕了，
有點誇張啊好，那今天呢，我的主今的這個分享的主題
就是在談我們用一台 DGX Spark 來跑一個 agent 啊，
那這個 agent 呢，我們會跑地端模型，
我們會跑開源的 harness 啊，那我就會，
那今天的分享時間呢可能會很長，因為保哥的場子都是無限制的啊，
不限時啊，所以呢，我我這個場這個分享我會呃可能會帶一點，
同時我在講我有一個準備一個投影片，
那這個投影片我在講時候會會有時候會離開一下去示範嘛
好，所以呢，我們就開始吧哈，
那我先說，如果說我們今天的時間超過了我超過1小時，
我會先休息10分鐘，讓大家去喝個水上個廁所，
然後呢，我就繼續，我儘量把投影片講完嘛，
那就希望大家不要太累，然後我們就順利把這件事情走完了哈好，
那我先自我介紹一下啊，自我介紹
啊，我是胡嘉璽，其實我很多年前照片的時候還年輕啊，
那我目前是嗯嘉崎人智的技術長，
然後呢，我做過很多事情啊，然後呢，我因為我在這個行業很久了，
所以做過很多事情，那剛好最近就這其實我投入 a，
大概是2014年投入 AI，那那個時候其實就是我們就是玩玩 YOLO 啊，
玩玩 LSTM 這一類東西，玩玩一些 CNN 的東西啊，
那2017年開始就比較有
有 GPU 可以用，那時候用1080好，
所以我就一直在這個行業裡面待著了啊，
那我希望大家能同時加入我的 Facebook 的粉專，
跟我們這個粉絲這個這個社群，
因為我我前剛好休假到呃上禮拜哦，
所以就比較比較沒有那麼多
呃更新，我平常一天更新三到5篇 Facebook 文吶，
都是我，我敢說是跟矽谷同步啊，
因為我我很喜歡看他們那邊的消息好，
所以我希望大家加入我的粉絲團，
然後也同時加入 Vibe Coding Taiwan 這個社群來獲得最新
新的 AI 消息，當然我常常會翻車啦，
最近有有常常寫錯東西，但是希望大家體諒，
那我當然儘量就儘我的所知來跟大家分享我知道的東西啊好那我
們在這個今天的分享會最後呢會開放一個 Slido 的問答啊，
那當然這個問答各位可以盡情的提問啊，
當然有些問題我不會，但是我會去問 AI 啊，
那或是我自己去實驗，我會的，我就儘量簡答，
那大家儘量提短的問題，
因為有時候因為問題太大就來不及答啊好那大家別忘記加
入我的粉專跟 Vibe Coding Taiwan OK，
那今天我們講八個部分，我每個地方都會儘量去示範哦
那我們會談談什麼是 agent，
因為大家因為我呃上四天呃禮拜兩天前我去參加呃 GenAI
小聚的年會，其實我覺得大家對 agent 的了解可能還沒有那麼清楚，
就是因為它有點亂啊，我們會講 model，
然後我們會聊一聊最近最紅的 DeepSeek-V4 呃8月13號出了 Pro，
然後7月31號出了 Flash 好，但是其實後來又出一個更更棒的模型啊，
一個 Dense 的小模型，會大概聊一下它的技術技術
但是不聊技術的名詞，聊一下它大概做什麼事情，
然後呢，我們會談一談地端模型的重要性必要性啊，
因為為什麼?因為我的客戶，嗯，常常碰到就是安全邊界的問題，
那所以呢，地端模型部分解決他們的問題啊，
好，然後我們會看看怎麼認識一個 model，如果你要用地端模型，
你勢必要去 Hugging Face 下載 model，你怎麼認識這個 model，
它講了什麼東西，它的名字代表什麼?
好，然後當你有了一個地端模型的機器，
你有了第一個 model，你就要知道怎麼樣讓它來幫你做事，
我們會講一下 Inference Engine 有哪些好用的 Inference Engine 呢，
然後呢，我們會談一談 harness 啊，
那這個東西就很重要，為什麼?
因為不同的 harness 代表了不同的安全邊界啊，
代表不同的呃，當出現問題時你你你會受到多大的影響，
然後最後呢，我們會做示範就是
我用不同的 harness 不同的 model 組成的 agent，
讓它跑一些簡單，從簡單到一些安全性比較高的東西，
然後會跑一跑，然後我中間可能就會示範好那
OK，那我們就開始吧，第一個我們先談談 agent 是什麼東西
其實 agent 很簡單哦，那麼其實大家還一直在一
直在想說 agent 什麼是 AI 什麼是 agent 什麼是
LM 嗎?
其實很簡單哦，就是 agent 它是一個幫你做事的東西，
它可以幫你做任何事情在你的電腦上啊，
所以它有安全的問題，那麼它要做電腦的事情，
它就必須控制你的電腦，
所以呢你的 agent 大部分是裝在你的電腦裡面的啊好，
那麼 agent 它主要分成兩部分，第一部分叫做 llm
LLM 啊，那
麼第二部分呢，就是除了 LLM 之外，
agent 其他東西都叫做 harness 好，
我舉一個最簡單的例子的話啊，一個 NBA 球員，
他的身高體重，他的呃
百米衝刺速度，他的彈跳高度就是 model，
這個變不了啊，這個他改變不了他，
他這是他的天分啊，那他去這個他的身高體重，
百米衝刺速度，他的呃彈跳高度之外，
他去訓練的技能，例如說運球技能三分線技能跟團隊配合的技能，
這叫做 harness 啊，
所以這個 model 加 harness 造就一個 agent 是否多強大，
就想說一個 NBA 球員，他除了身高體重
彈彈跳高度的百米衝刺速度之外，
它有命中率啊，還有什麼助攻阻攻啊，
那這些都會影響它的能力的啊好，
所以呢，我們在談一個 agent 的時候呢，
我們一定會談 lm，它的大腦跟它的其他部分叫做 harness 啊，
我不知道 harness 怎麼翻譯，那我就講 harness，
因為大家都講 harness 啊好，那麼這就是一個 agent 的組成，
那麼我剛才也講過，agent 一定是裝在你的電腦裡面
啊，如果它在瀏覽器上，它就是瀏覽器上的 agent，
它只能處理瀏覽器
之類的事情啊，它控制不了你的電腦，
它不能幫你把 excel pdf 寫進你的電腦中，
它不能 Computer Use 去控制你的電腦來做什麼截圖啊什麼事情不行啊好
，那麼我們就把 agent 分成 model 跟 harness 兩部分之後呢，
我們就來先來看 model 篇啊 model，
那麼 model 是什麼好，其實 model 呢就是一個檔案，
它就是一個壓縮檔啊，它把全世界它看過的資料
壓縮成一個小小的檔案好，
那麼全世界資料有多少呢?
啊，那可能幾千 T 幾萬 TB，
他們其實有數字是就是說幾幾萬億個 token 啊好，
那麼他把全世界資料拿過來，他看過一遍，
他把它大概樣子壓縮成一個大概幾百 G 到幾 TB 的檔案好，
你們會不會用說全世界資料去哪裡找，來這邊找啊，有啊，
有沒有這個東西，有叫做 Common Crawl 啊，Common Crawl
想不想下載?
可以下載，沒問題啊，沒問題啊，沒問題
呃，先準備個 3000 台，第 3000 TB 的硬碟試試看啊
呃，那是壓縮的，壓縮，我不知道啊，它可以下載啊
好，那這就是全世界所有資料，那麼它會經過一個壓縮的演算法啊，
那你們可以去看一看啊，它一直在更新，
每幾個月更新一次啊
好，那麼壓縮的演算法呢， 是什麼?那
其實已經沒有變了
2017 年我們全部都用 self-attention
或叫做 Transformer 來做壓縮演算法啊
好，那麼自從你找到全世界資料，
你找到演算法，把壓縮成一個幾百 G 到幾 TB 的檔案之後呢，
那這個裡面就存了這個全世界資料它的一個副本，
好，那當你在問他問題時，他就會從這個壓縮檔裡面去找出最適合你
問的問題的機率最高的那幾個答案好
那麼 2024 年它出現一個新功能叫做 reason，就是什麼，
它在找答案之前，它其實會自己自問自答去想一下哦，好，
2025 年出現 Toolformer，什麼意思，它開始能生成，
它還是只能生成文章，這是 token 啊，
但它 token 裡面可以帶有程式碼或是函數名稱好
啊，那麼這時候只要我們準備一個什麼?
準備一個 agent loop，我這樣講比較比較，
我不講那麼那麼硬的東西，我準備一個監看者啊，
我在這個 AI 模型生成的這台電腦上面裝一個
監看器，當我監視它出現程式碼或是我所規定的函數的
名稱加參數時，我就把這段程式碼或這個函數拿去執行，
我就開一個 sandbox，開一個沙箱去執行了，好，
執行完的結果呢，可能是一段文字或是一個錯誤訊息，
我把這個訊息再丟回這個 LLM 去接龍，
好，這時候呢，我們就稱為這個 LLM 具備了工具使用能力，
為什麼?因為我們有個 orchestrator
在找一個 sandbox 幫他執行東西好，
那當然現在我們的
LLM 它必須看懂圖，
所以呢我們在這個 LLM 裡面我們會可能會放一些圖的 token，
就我們叫 patch，叫 pixel patch，
那它就能讀懂圖啊，那它不能產生圖，
但是它看得懂圖，
所以 Anthropic Claude 系列是看得懂圖， 但它生不了圖
看得懂圖很重要
為什麼？因為當我們要用 Computer Use 操作電腦畫面時，
我們需要大家看得懂螢幕上面東西啊，好，
那有些做法是外掛一個 VLM，
例如說我們在做地端模型時，
我們可能用的模型是一個單純的文字的 LLM，
這時候呢，我們需要再外掛一個小一，
可能 20bit 的 VLM，VLM 沒有多大，
那他看懂文字圖裡面的，呃，看懂圖可以產生文字就好了啊，好那麼
模型呢，大概就是這樣子啊，那麼一個模型，
目前模型分成兩個兩大類，
第一大類叫做 frontier 閉源的商用模型，
大家都知道就哪幾家啊，
就是那就是那三四家 OpenAI 的 GPT 系列，Anthropic 的 Claude
系列有，有四個，有 4 個強度，
沒有 Haiku、Sonnet、Opus、Fable
好，那麼 Google 有 Gemini Flash、Pro，
那 xAI 有 Grok，先到 4.4.6，非常強哦，好，
那麼另外一家就是搞笑的我就不講，就是 Meta，
那它它到底要幹嘛，我也不知道，它之前說要做開源，
他媽做了一半老跑，然後現在做一個 Muse Spark，
又說要把它開源啊，所以我我就不把 Meta 放進來啊，
好那這個這這個這一個派系呢，
就是它是一個閉源模型，它的權重沒有開放，
所以呢你只能用
你只能用 API 端點的方式呢，或是你用訂閱方式去用它，
那當然各位其實可以知道，就是嗯，
我在前天的小聚呢，那聽了 YC 的演講，
那其實我當時有個疑問，我在我 Facebook 上也會寫，
就是現在這些模型廠商，這些美國啊，
美國之外，我另外我再等一下再講，這些美國的模型廠商，
他們的模型價格合不合理，
我想我們各位可以問問自己自己問問看啊
我是有訂閱 200 美金的
跟 200，我有訂閱 200 美金的跟 GPT Pro 都有訂閱啊， 那我需要啊
好，那其實你們都知道，
當你隨便寫一個專案時，你都會發現你下面的
那個那個那個用的多少錢，那一個月早就超過 200 美金了
其實我大概算一下，
就是我常常聽到人吹噓說我這個月已經用了二三十萬台幣的
token 費用了
其實你隨便寫一個專案大概就一兩百美金的差不多了啊，
好，但是就是它的定價怎麼定的
有沒有想過，第一個他美國的電費啊，
我就不講，美國電費很貴啊，那美國的能源都很貴，
所以美國電費就是第一個，第二個他們的工程師的科學家的薪資是
NBA 球員的薪水啊，是百萬千萬美金等級的，
這第二個成本，
第三個成本他們只能只能用 NV 跟 AMD 或者是 Google TPU，
他們的硬體成本比較貴，NV 很貴嘛，
所以呢，這個成本反映在我們身上你們覺得合不合理啊?
本來我們都覺得很合理，因為軟體公司做一個軟體做一個模型出來，
它不斷的讓那模型被重複使用，它去收錢啊，
這是很合理的事情啊，
就像 Office 就像 Windows 一樣一直一直拿出來賣錢呢
好，那這個東西什麼時候被打破?
等一下講啊，就是這個成本到底合不合理啊好，
那這就是閉源模型了，閉源模型你只能這樣用啊，
那 API 加上它定價我就不多講了，第二個陣營啊，
叫做那閉源模型呢?
它其實有一個大問題就是它服務全世界幾十億人，
所以呢它必須每方面都很全面啊，那它消耗到巨量的參數，
閉源模型呢，幾乎都是很大的參數啊好，
我先講右邊這個女生是誰啊，
右邊這個女生是小米的天才少女叫做羅福莉啊羅福莉，
那她在今年 3 月講過，她說啊，
現在你要進入模型這個市場，不管是開放權重或是閉源模型
你的入場券是 1TB 啊，這是 3 月的事情啊，
但各位記得記不記得去年上，就是上個月發生了什麼事，
就是 Kimi K3 2.8T，然後千問 3 是 2.4T 啊，
所以呢現在看起來就是要玩，
你要你要進入這個戰場，你要開始提供模型，
這種大量模型服務呢，你的成你的機，
你的模型入場券是 2T 以上啊，
那其實像 GPtextra 應該是 5T 啊
那那信託下一代的 Opus6 也是 5T 或 10T 啊，
那像八一代的字節跳動，他們也一直說要開開開放權重一個模型，
號稱是 10T，不知道，反正就是這樣的模型，
其實閉源模型它其實是很難經營的，
它的成本太高，
所以還是小小君那天的話題就是很多很多年輕人都都執著在 Trend 模
型上面啊，其實他們講錯，他們在 finetune 啊，
我們已經沒有人了，這個全世界能 retrain SFT
的公司或團體已經沒幾個了，
我數都數得出來，已經沒幾個，可能就 20 個了啊，
那大部分集中在中國啊好，
那麼這是閉源模型的問題了啊好，
那麼第二個第二個陣營叫做開放權重模型，
它不是開源，它的程式碼沒有開源，但它的權重開放下載，
它在 Hugging Face 你可以下載啊，那它的權重長什麼樣子，
下載回來你就可以自己進去看 ok 啊當然
它的價格就是它只有幾層 attention 啊，那它的嗯，
它的 tokenizer 它的字彙數有多少啦，
這些它其實都知道，因為這模型必須要使用這些資料啊好，
那麼開源模型到開放權重這種模型呢，
其實嗯有幾個啊，那第一個就是 NB 的 name 系列啊好，
這邊要解釋一個大家常常的
呃都市傳說說啊，Nemotron 也是在蒸餾或是魔改中國的千問啊，
那Nemotron 3不是的啊，其實不是啊，Nemotron 3自己寫重新做的啊，
那因為Nemotron 3是 Mamba 架構，
那Nemotron 2是他當時只有參考千問啊，
Nemotron 3自己寫就不講了，
Google 有 Gemma 好那 OpenAI 有 GPT-OS 啊這個都很老，
Gemma 4好像好幾個月之前了，那麼其實90%的
開放權重模型都收斂到中國，
隨便講就 56 加 GLM、DeepSeek 有 0813 Pro、0731
Flash 千問更不用講，
就是我們今天的主題 MiMo 小米的模式，Kimi K3 超強 MiniMax，
你看網上大家玩 H3 產生影像
影片已經玩玩爛了啊，
那還有他還有他之前還出一個 Music 模型啊渾源啊，
那麼很很中國有上百家模型廠商，
而且他們幾乎都開放權重啊，所以
這件事情是一個很大的事情，為什麼? 因
為開放權重模型，它目前已經不再是玩玩玩耍而已了，
它已經是正式進入使用階段了啊好，
那我給各位看一個資料，看一個資料
那其實我最常看，大家會比較很多很多資料，
我最會看的就是 arena.ai 這個網站哦
arena.ai 很簡單哦，他怎麼做呢?
他其實是讓你讓你啊，
讓你問問他一個問題
他會去挑選兩個模型幫你解答，
解答之後呢，他就讓你選一個好的好的模型，
你就去選，就是盲測就 AB test 啊盲測之後他去做統計，
看哪一個模型的分數比較高啊好，這是 arena.ai 啊，
我覺得大家可以進去看啊，他分成很多項目，
很多項目去比較了啊 ok，那
麼我們就看他 leaderboard 啊，
那最近大概就上個月他加入了 agent 的執行了啊
它其實我們看前面 agent 的執行的前10名
哦，前10名，它出現了一個大概在一年前從來不可能看到的事情，
就是出現了開放權重的模式，
Kimi K3，它是開放權重哦，它是自己有它，
它雖然是 Kimi K3 license，
但它的權重你開放了在 Hugging Face 啦好以前啊，
那 agent 的能力，它是新的項目
我就不多講啊，那當然你看到都是熟面孔，
都熟面孔啊好，那其實我們看會看另外就是他的 coding 能力，
coding 能力有一塊非常重要，它叫 WebDev，
它其實就是 coding JavaScript HTML 這種 coding 啊，
那我們就想說程式語言都差不多了啊，
所以就他其他例如說 Python 的 coding
能力或是 Rust 的
能力，Java 也不會太差啊，那我們在看 coding 能力的時候呢，
我們竟然發現一件事情
就是你看前10名啊，
第二名 Kimi K3哦好，
那其實我我要講的是啊，
登上榜首，
為什麼 Opus 出來沒多久耶 Opus 就就這幾個禮拜的事情耶 Opus 出
來之前 Fable 出來之後
在是第一名很久哦
那 Anthropic 的 CEO 叫 Dario Amodei，
他說過一句話，他說開放權重的模型要追上前端模型要6到18個
月，這句話是他今年3月講的啊，
6到18個月啊，我們看今年3月的時候啊，
我們就講6到18個月，我不想6個月吧，
6個月前是今年2月，各位2月的時候開放權重模型的
我們現在8月的開放權重模型被他講的是等於今年2月的閉源模型是什麼?
Opus 4.6，所以呢，他講的開放權重模型現在8月應該是 Opus 4.6
等級哦啊，我們樂觀講說6個月，
那18個月那就更早了，可是我們現在看起來不是唉，
開放權重模型已經在第一名了，
Opus 沒出來之前，Kimi K3 算是第一名哦，
第一名很久哦，然後呢， 更不用說
好，噹 Opus 出來了就就我就不講了啊，
但他們已經是同一個領先群了啊， 再來就是什麼?
再來就是千問 3.8 剛出來啊，然後再看到什麼 GL 2.3 就是前10名啊
，我們講前12名啊，123前12
名這三個都開放權
重456前12名有一半是開放權重模型，
前三名有2名是開放權重模型
所以很可怕啊，就開放權重模型已經可以使用了，
這沒有問題了好那所以呢，
地端模型就保哥跟我商量，我就覺得地端模型我們一定得講，
為什麼?因為它已經可以取代很多工作了好，
那麼開放權重模型就是除了地端之外啊，
那其實很多雲端廠商都有部署啊，
那你這些那些大的前瞻家 AWS、Azure 跟 Google 的呃他叫的呃
Google 的那個他們的
的那個雲端服務都有提供開放權重模型，
那可以選了，那 NV 的 NIM
也提供了一堆開放權重模型哦，
如果你有訂購訂閱，你可以用哦 OpenRouter 今天剛被剛被那個收購哦，
被那個 Stripe 收購啊，
它也提供一堆開放權重模型哦，
所以呢開放權重模型它其實是有雲端服務的好，
那當它的選擇很多，它從 10B、23B、1B 開始到 3TB 都有選擇
它可以部署在一台電腦上，大致雲端廠商這這一堆啊，
雲端廠商啊，那如果是你可以把它，
你可以使用雲端的開放權重模型，在公有雲啊，
就像右邊這個圖，這些廠商都有提供，
你也可以把它部署在私有雲，公司有私有雲放進來啊，
你也可以把它放在什麼區域網區域網路啊，
你可以把它放在單台的 DGX Spark 或者好一點的 GP 三版啊，
換句話說，它的這個
它的邊界是非常可控的，它不像雲端模型，
只能放在 Spark 可以給它到處放啊，
它放在馬斯克的雲端，它放在微軟微軟的雲端，
放在自己的雲端，那它的東西到處放，
但是如果我們用開放權重，我們有好的硬體，
我們可以放到自己的安全邊界裡面啊，
所以開放權重模型是一個非常好管理的模型呢 OK
好，那麼我們現在呢就開始講一些今天的重點，
我們就要講兩個模型，其實本來只是要講 V4 啊
但是呢，我們因為千問太紅了，
因為這兩天都在玩千問哦，所以呢就加進來了哈
我先說了，我先說，就是如果你對中國模型有疑問的話，
你就不要用，你就不要用，
如果你是公家機關或是你們政府單位或是學校不准用中國模型，
那你就聽聽看，就當聽故事就好了，那如果你想使用的話，
我們就我再多講一點啊，沒關係，
因為每個人對中國模型的看法都不太一樣啊，
所以就大家就想用就用，不想用就就就不要用就好了啊
好，那我為什麼要挑這兩個?
因為它一個叫做 MoE 模型，一個叫做 Dense 模型啊好，
我大概我我不講技術，我就講一些簡單的東西就好了啊好， 那麼
先講 DeepSeek 啊 DeepSeek DeepSeek 是一個是一個 MoE 模型，
等一下講啊好，那麼它的它有很多種啊，
它有呃 Flash 有 Pro，
那 Flash 的參數就少一點
的參數多一點啊，好，那麼他們他這叫做 MoE 模型，
所以呢，他 MoE 叫做等下會講啊，
那他就我就我就舉個例子就好了啊，
各位，你們常常在開車啊，你們在開車的時候突然
交通狀況變得很很很不好，摩托車到處衝出來，
呃呃人行人到處衝出來，這時候你腦袋是會專注到注意路況，
對不對?你會去想到古典樂或是想到莎士比亞的文章嗎?
你不會好，你的大腦會騰出要用的那些神經元去注意啊好，
那你在聽古典樂的時候，你會忽然想到啊，
我現在要緊張去面對賽車的問題，不會嗎，
你就會去欣賞古典樂啊，這就是 MoE 模型，
你大腦只取出一部分的
東的的神經元來
應付你現在目前遇到的狀況好，這是 MoE 模型的的特色了，
那相對 MoE 模型叫 Dense 模型，
就是你的大腦在開車的時候呢，不但要注意路況，
還要去想古典，因為還要去想莎士比亞的文章啊好，
那就是 Dense 模型了好，那麼我
只要講一些概念就好了就是
你看到什麼 CSA 啊，什麼什麼什麼 SparseAttention 啊，
什麼 Hyper 什麼什麼 Attention 啊，
那我我這全部我只用一件事情帶過就是
Attention 啊，我們都知道為什麼 Transformer 會變得這麼紅，
為什麼2017年的八個人推出論文到現在十年了啊，
我們到我們 AI 發展的十年，NVIDIA 的 GPU 都要進入到第几
這第几代了，
從什麼什麼什麼 Grace Hopper 什麼
Vera Rubin 什麼 Rubin Ultra 一直在進步，
我們用的 AI 的架構還是 Self-Attention，
你不要跟我說 Mamba Mamba 沒有進入主流啊，
而且 Mamba 還要去混 Attention 啊好， 為什麼? 因為
它有兩件事情，第一件事情它能做非常棒的查詢啊，
叫做 QKV 叫做 KV 啊那
kv 值其實我我簡單講就是大家都不覺得這東西好新奇哇，
為什麼叫 qkv 啊，這個東西根本都不新奇，
它就是資料庫查詢啊，你給資料庫一個 query 給它一個，
它就跟這個 key 去找到 value 不就 qkv 嗎啊好，
那麼 attention 就是這樣子啊，它把自己這個這個向量啊，
這個這個張量啊，
特別又生出三個 qkv 來啊，讓讓模型可以訓練啊，
然後呢?他去看每個 token 的 QKV 就是做資料庫查詢，
但他因為資料庫查詢只有查到跟查不到，
但是 QKV 是是做模糊查詢，他是查到查到一點點就說，
哎，我這個資料有多符合啊，多符合就是有個幾率來表示啊好，
所以呢，他需要做 KV 相乘啊
QKV 就就這個意思啊，那麼所以呢，
我們為了讓查詢例如我一句話啊，
我要一句話我要查詢它跟我現在這個 token 的相關性，
我要跟根據我這個 token 的外面的每一個
token 去做 QKV 的資料庫查詢運
算，就這樣子啊，所以呢 KV 值這個值呢會變得很大很大，
因為 QKV 是 KV 相乘啊，在做 softmax 啊，
換句話說呢
那為什麼我們要這麼做?
因為我們可以真正知道一個 token 跟其他 token 的
關聯性有多大啊，但是這這需要非常大量計算，
那麼 NV 發財的原因就是囙
為它 attention 這個機構這個機制能做平行預算運算，
它在沒有加入 position encoding 之前，
它是沒有位置的，它可以同時一起算，
算的時候再加入 position encoding，但最近這種 ROPE 啊，
那我就不多講，那所以呢
kv 值它就會相乘，然後去做運算，
發現這個這個 token 跟我其他 token 的相關性有多高啊好，
那麼 kv 值相乘這件事情呢，就造成 attention 非常大的負擔啊，
所以你看到 CSA、HCA 什麼 mHC 這些東西啊，
全部是為了讓 kv 值的運算變小啊，
我就我就不講這些細節啊，細節都在旁邊，
各位可以去，你可以自己去問什麼叫 CSA，
什麼叫 HCA，你就問
他都會告訴你的一清二楚，
他會畫圖給你看哦
我我只告訴各位一個原則就是為了讓 KV cache 省下來好，
因為它運算量太大哦，那目前為止明年就第10年
2027年我們還沒看到能取代 attention 的架構還沒有了好
那麼
呢，它的特色就是它在中國它的運算資源很少，
它只有少量的 H100 跟可能是更爛的 H80，
最近 H200 才開始開放，我們這邊都用都用 GB300、
G300、B300了，它還在用 H100啊，還有華為的昇騰 910C
那他們為了讓這麼爛的硬體能做到一樣的效能，
他們就會在架構上做非常大的精進了
啊，這就回到我剛才最前面講的模型成本到底合不合理哦
我剛剛講過美國模型是用
美國的工程師的薪水，是 NBA 球員薪水，
然後呢?他們需要很大量的 GPU 還有美國的電費， 中國電費呢?
中國的電的發電數量，他們核電廠是不需要
什麼真正的環評呢?
他們要蓋核電廠都隨便蓋啊，那他們的電非常便宜，
中國的發電量是美國跟印度加起來總額還要多了啊，
那他們的工程師的薪水當然是很高，
那那時候因為川普的簽證的問題，
工程師他們不敢去美國落地生根，
成為美國人，他們就選擇進入中國的 AI 公司啊，
叫第二代 AI 公司啊，
那麼他們的薪水當然不會像 NV 或或是 OpenAI 或者是高
到跟 NBA 的球員一樣
但他們大概就 1/10 的薪水，再加上中國幾乎不要錢的電，
加上雖然比較爛的爛的 GPU，
那他們推出跟頂級模型同一領先群這麼好的模型，
他們成本低很多很多，這時候我再問你，
你認為 Anthropic OpenAI 收你一個月 200 塊或是一個 token 多少錢，
合不合理?
啊，當中國模型同一個 token 攜帶的資訊量跟你美國模型一樣多，
它的價格是你的成本是你 1/10 % 或 1/50 的時候，
這個市場會不會重新再定價，
我不知道啊，我不知道，但是我覺得一定會的啊好，
所以呢，那 DeepSeek 就
充滿了這種優化模型的技術啊，
什麼 CSA、HCA 啊、mHC，那 MoE 剛剛講過 MTV 點在講啊好，
所以呢大概是這個樣子，那現在又有千問啊那
x 模型也有了，就更不一樣啊好
那這個我就不多講，反正我告訴過就是 KV cache 的解決問題啊，
例如說把它有些是把 KV cache 什麼壓小一點啊，
或者說把它嗯
降維啊，就是把它變成像 MLA 把它降維啊，
CSA 把它索引起來啊，HCA 把它分組再從裡面挑啊，
都是為了讓 KV cache 的壓力變小啊，
就是就為了就這個，因為相乘起來那個量太大了，
但你不相乘又不行，因為你要對每個 token 做檢索了啊哈 OK，
那麼這就是我講的中國模型開放權的模型，
他們在架構上做非常
非常誇張的調整啊
那如果你想知道這些東西的真正做法，
就去問 ChatGPT，我只是放上讓你知道一下而已了啊，
知道一下而已了好，那麼 MoE 其實剛才講過，
就是你的大腦只需要一部分的神經元去針對你現在遇到的事情來做反
應，好那嗯
另外就是說 mHC 是剛剛我剛剛講的也是也是一個優化的東西啊，
那 MTP 我要另外講就是它也是我們在做模型訓練時的一個
方法，就是我們一般來說啊，
我們在訓練一個嗯 Transformer 模型的時候呢，
我們是這樣子啊，他找到人類講過所有的話就是 Common Crawl，
然後呢，他把這句話呢往右移一個做一個移位啊，
然後呢?要美你，例如說我今天說呃台北今天有下雨，
那我輸入台，它的標準答案是北，
我輸入北，它的標準答案是京，
就是把那句話往右移一個就標準答案的啊好那所以呢，
他最後會吐出一個他覺得是標準答案的字是這樣訓練的，
那我們就看過全世界文字把它做一個 shift，
然後訓練模型啊，那 MTP 不是這樣子，
MTP 是啊 MTP 啊，它是讓它一次就一三個讓它去
看后三個 token，然後能讓他去能預測后三個 token 出來啊，
所以呢他呢一次就丟三個 token 出來啊，
那這個三個 token 呢有沒有命中不知道，
那他其實有一些方法讓你說能讓你多命中幾個，
比如說一次丟 4 個 token 出來，那你運氣好全部都命中，
那你的模型的輸出是不是就快了 4 倍啊，
這是 MTP 啊，那麼現在流行的模型訓練都會有 MTP 啊，
叫做 Multi-Token Prediction 啊，當然你的模型
要支援你的 Inference Engine 也要支援了哈，
那所以呢，我們最近常常看到千問放上 MTP 之後呢，
發現它速度快好多好多嘛，那目前等一下講千問我們再講了啊好， 那
再加上量化，等一下講量化啊好，
那麼量化就會讓你模型變小變小啊 ok，
所以呢，這就是我們最近看到模型不斷進步，
而且這些進步呢，其實我相信美國模型都有這些進步，
但是中國模型它把這些進步的方式
開放出來在論文裡面都可以看到啊
好 ok，這是我自己寫的一個程式啊，
當時我在 NV 的場子上，為了示範 Dense 跟 MoE 呢，
我找了兩個模型，一個千問 2.5 7B，
一個是 OLMoE
，這是很早期的 MoE 引擎啊，嗯，
14GB 我就挑了兩個大小差不多的模型啊，
然後呢去對比看，
讓你看一看 MoE 跟 Dense 模型就是一次要去掃過全部參
數，左邊是 Dense
右邊就是 MoE，它其實真正在跑 token 的長相啊，
我們看一下，看一下它其實長這個樣子
啊，MoE 指亮的地方就是它只看的只看過的部分啊，
下面就是 token 的產生啊，token 產生，
因為這個模型對中文中文不好，
所以表現不好，所以它產生會產生出一些呃 UTF-8 的碼，
我們看這是它的產生方法啊，產生方法，
你會發現其實 MoE 它跑過的參數是同樣的大小
它跑過的參數是它的大概 1/4 啊，1/4 啊好， 這個這
個程式我開源在 GitHub，你可以自己下載下載玩一玩啊，
就看看大家長什麼樣子啊好 ok， 那麼
那當然就是一個 agent 的評測了，
那 DeepSeek 呢，它就是把
自己的表現
已經拉到這個等級啊，這個等級的，
你看這個等級就 42.7
50 這這 60 啊，就是這個很多評測就不斷，
就是說我很愛看 Terminal Bench，
就是在讓它在一個終端機中去做很多事情，
它的完成度了啊，那我們看到開放權重模型已經接近到
Fable 當時被講成什麼樣子啊，
什麼 AGI
什麼人類什麼最聰明什麼攻破什麼還被什麼國防部什麼禁用啊，
我現在開放權重模型都已經接近你了耶，
有沒有都接近了啊，所以
很可怕哈，就是說真的很可怕哈，就開放這個模型已經追上來了啊
好好 ok，那第二個我們要講的是千問模型，
千問它是一個 Dense 模型，但它很小很小，
那它的 hidden size 才5120啊，
那就它的，那這我就不多講，就是我們常常把嗯，
我們常常把一個一個字一個 token
變成5120個向量啊向量
每個現象代表一個意思，比如代表大小輕重軟硬度是男是女是好是壞啊，
那這個不是我們認定出來的，這個是一個 latent 的，
latent 就是一開始隱變數啊，那它有24萬個字 token 啊，
那它的 tokenizer 24萬好，這個就很接近主流模型，
那我記得 GPT 好像
也是20到30萬之間的啊，好，那它就這個主流模型長相啊，
然後它的架構呢也是一樣，它就是嗯
想辦法讓 KV cache 變少，讓它速度快一點的啊
然後呢，它是一個能看得懂文字跟圖片的
模型，
所以大家可能做 computer use
啊我我其實昨天有丟一個臉書的文章叫他去幫我，
我用一個破解模型叫他去幫我下載，但我沒有，
我真的沒有真的做了啊，我沒有真的做，
就是幫我下載一個最最近的電影的 torrent，
他真的開始幫我做，那有時候破解模型了啊好，
那他的 context window 260000差不多了，
其實不見得每個模型的 context 都需要到 email，
為什麼？因為 email 之後呢，其實中間那那一段 context window
會爛掉會，其實模型會不去讀啊好，
它可以開思考模式，它可以開不同強度思考模式，
它可商用可微調可再訓練，它是一個完全開源的模型，
它已經不是開放權重了，它它是一個開源模型，
很誇張了好，所以呢，最近就大家在每千問
2.3.8 27B 啊好，那基本本來說要出3.8 35B MoE，
但是我也把這個畫面抓到，結果好像因為曝光他
就把它取消掉了好，這
個我就不多講了，我就不多講這些技術的東西啊，
因為我覺得時間很不夠了啊，我只剩下
二十幾分鐘了啊好
，那當然了，就是
說嗯，他能看得懂文字，他也能跑 workflow 沒有問題啊，
那。它在跑這些 agentic workflow 時候呢是非常非常棒的啊好，
等一下我會示範，我會示範啊 ok，
那所以呢，所以呢，
如果你今天你有一台呃128GB 的硬體啊，
那我不講，就是說你有一台呃5090啊5090那片5090啊，
那它32GB 啊，那你就可以輕鬆的跑上 FP8 的版本的千問 27B / 3.8 了
沒有問題啊，因為
嗯，呃，就剛好塞進去啊，那4090可能就吃力一點，
但如果你不好 NVFP4可以就可以完全塞進去啊，
那它其實 FP8降到 NVFP4的精度掉了大概兩個百分點而已，
所以很不錯，非常不錯哦，進203080GB，
然後呢，當然如果你有 DGX Spark，
你有 Mac128G，你跑起來太輕鬆了，
太輕鬆了，甚至你可以再去掛一個其他的模型再做其他事情了好，
那麼但是它的重點就是說
它已經可以讓你不需要使用雲端模型去做事了，
你可以把你的模型放在地端，不出雲端好，
這對資安很強調的公司機構來說非常重要啊，
非常重要好好，我繼續往下講啊， 往下講
OK，那地端模型的存在必要性哦
其實我我我最近在強調這件事情是大家都覺得可能有些人還留下舊的觀念
，
就是說地端模型就是玩具啊，只能用，
只能做一些問答啊，不不是這樣子啊好啊
，我等下去示範我，我已經在做的事情了啊，我已經在做的事情啊好，
那麼地端模型有特色，第一個它的它只要跑一小羣人的目標，
例如說公司几百個人的 agentic workflow
它不用像閉源模型一樣，什麼都好，回來不用
第二個它的 LLM 本身哦，
就放在私有雲區域網路本機上，
根本不會出到你公司以外的地方，非常安全
第三個呢，就是如果你搭配好的
harness
它執行的地方那就更安全了
那等一下就講 harness 啊，
那例如說我們嗯用 Claude Cowork 的時候呢，
其實你的你執行 Claude Cowork 的東西就不是本機，
不像 Claude Code 在本機執行啊，
Claude Cowork 它可以執行在本機的 VM 中，
它也可以執行在 cloud 雲端的 VM 中啊好，
怎麼證明其實很簡單，你在你的本機上裝一個虛擬機，
例如說我在我的 Mac 上裝了一個 VirtualBox 虛擬機啊
我在 VirtualBox 裡面呢，它是一個 Mac 的 Mac 的虛擬機，
再裝一個 Claude Cowork 就不能用，為什麼?
因為我虛擬機中開不了虛擬機啊，
就我 Mac 不支援巢狀虛擬機架構嘛啊，
那也許 Windows 可以，我沒試過啊，但是我在我的
Mac 上的 VirtualBox 開一個 Claude Code
就不能用
啊，那就是因為它虛擬機開它的
它的 sandbox 開在本機的虛擬機上啊好，
所以呢，如果我只要服務固定數量的團隊几十個人几百個人，
那其實我大可以使用地端模型，
因為它已經夠強了啊好，那你怎麼開始怎麼開始，
那其實我的開始就是 DGX Spark 啊好，
我現在最後悔就是我只買了一台啊，
那現在叫我買第二台有點貴了啊，那一台當時我買
我我買已經買貴，我買13萬5了啊，那我就是買這個版本啊，
就是這個這個顏色，我不是買其他牌，我就是買 NV 的啊，
好，那它發發熱比較比較高，
它做的它的冷卻比較明顯，好像有限速了啊，
好，那大家詬病的是啊，
它好慢，它的是頻寬很慢，它才 EPFlop 有什麼好用的，
各位我們要的不是快，我們要的是可用啊， 128GB Unified Memory
塞 128GB 模型這件事情非常棒啊，
我可以跟各位說啊，在買 DGX Spark之前啊，
這個世界地端模型跟我的生活是生命是完全沒有關係的
Hugging Face 什麼新模型我看都不看，跟我無關呢，
我只有一片4090，24GB 呢，我只能跑這些20B 左右的模型呢，
那根本就就幾乎沒有嘛，很奇怪啊，模型20B、
30B 有了啊，這下就直接跳120B 了，
中間30B 的、50B 的，呃，
40B 的、80B 的，那麼幾乎沒看到啊
好，但是有這個之後呢，Hugging Face 的模型就變成我的生活重心
為什麼?因為它可以幫我做事啊，ok，
那其實它可以跑出大概30token 每小每每秒鐘哦，
那如果你是併發或平行哦，
更快可以到八十九十啊，那如果你模型再小一點，
像這次用千問27B，哇，那跑到八十九十都沒有問題啊好， 所以呢
這對很多公司行業來說呢，或是你要幫人家部署地端模型的
團隊來說呢，你可以做什麼?
可以做 POC 啊，為什麼?
當客戶問你說我能不能做這件事情的時候，
你買一台十幾二十萬 DJspark，你先試試看能做，
再幫他去部署更好的硬體 GB300 的 cluster 或是或他的私有雲上面啊
好，那當然你想跑大模型就多買幾台啊，
那現在已經貴起來，當然
其實我記得上個月 DGX Spark都要到二十幾萬了，
這個這個這個月掉回200000了啊，
那沒辦法，因為記憶體跟 SDD 漲太兇了啊啊，
那所以你就可以做 POC，你能做 POC 再去部署就好了啊，
那當然你就說你有很多選擇了，
你有很多選擇
你想跑地端模型其實有四個選擇，
左上角 DGX Spark，右上角 Mac3，我有一台啊，
我現在是用 Mac 在跑啊，另外地端模型，
那左下角是嗯 AMD 的 AI395或495，
那它也是128G，但是因為那右下角是大概沒再過一兩個月出來的
RTX Spark，它是 Windows on ARM，再加上 DGX Spark裡面的 GPU 啊，
也是 EPFlops 啊，好那你都可以選擇啊
其實你不一定要 DJspark，但是呢，左上跟右下的好處是 CUDA，
你有 CUDA 你就省掉很多麻煩啊，那左下的好處是 x86，
為什麼很多 Docker engine 多 inference engine，
它只有 x86 的架構，那右上角 Mac 呢，
本來是比較
少資源，但是現 mlx 的模型一大堆啊，
所以如果你有一個128GB 以上 Mac，你也可以用，
但是如果你是很依賴 CUDA 生態，
你就選擇 DJspark 或是 RTX Spark 快要出來了啊好
那當你做完 POC 之後，你大可把你的成果部署到真正的應
用上，例如說你去買一台這個 desktop 的 GB300啊好那很好玩，
這個這個當時我用這個圖片啊，我在回答的場子講
講這張圖片的時候呢，沒想到我就用到技嘉的，
這是技嘉的機器啊，技嘉業務之後我就抱一台機器在現場，
他說你在用我們家機器當圖片啊，我說不好意思，
我拿掉他不要拿掉，不要拿掉，幫我們打廣告啊好，
這台呢700多768GB 吧，大概有400多 GB 的 RAM 跟300、200、272GB
的 VRAM 啊好，那麼這台是99000美金
那如果你不你買四台就是四十萬美金，
它也不用再去買什麼冷卻，你就插上電就好了，
它就可以把真正很大，真正接近像 KimiK3 就可以部署上去了，
你就可以跑一個現在全世界第二名的開放權重模型給你的公司用
四十萬美金對我們老百姓來說很多錢，
但對注重公司安全，金融行業，證券行業， 銀行保險行業，
這個東西，這個太便宜了，非常便宜了啊
好，那它不但可以把我們的 model 關進私有雲中，
那如果我們配合好的 harness 關進沙箱中，
你的資料就會非常安全啊好，
那目前我自己已經上線的私就是用這樣子的架構，
私有雲加上私有的 harness 架構呢，
那太多了，我自己工作就什麼呃翻譯啊
摘要啊，影片轉轉檔啊，什麼什麼呃 Word 什麼 Excel 的去識別化啊，
我早就用地端模型，因為它速度很快，
加比較安全的啊好，那我本來常駐的是 Nemotron，
它換成 DeepSeek，這禮拜換成的千問 2.5 27B / 3.8 27B 啊就換掉了啊
好那
OK，那如
果你已經有了一個一個機器，你也知道，
然後你可以用地端模型
那我們怎麼認識一個 model，我們怎麼認識它啊?
好，那我們就來看看我們去 model 的大本營就 Hugging Face，
大家應該都知道 Hugging Face 我就不多講了啊，
Hugging Face，那這就是我們去找模型的大本營了啊，
它就有 model 啊，就一堆 model 就一堆 model 了啊好， 那
怎麼看一個 model 就它的名字，你怎麼去認識一個 model，
它到底代表什麼意思啊，我們就來講一下啊，
就來講一下，好像 model 一大堆啊，就講不完， 它好像有
三百萬個 model 就就用不完了啊，
找不完了啊好，那麼各大公司都在這邊有放他的 model 都可以下載啊，
例如說 Kimi K3嗯，
可不可以下載啊，沒有問題啊，Kimi K3呢，
那只是很大啊，這邊呢，2.8T 了啊，
你要先準備一個 2.8T 的硬碟了啊好，
那麼怎樣這個 model 呢?
那我們看到 model 其實有我就舉一個例子啊，
例如說我舉這個例子啊
NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 啊好，
它大概有幾個東西，第一個就公就是我們也可以這邊看啊，
這邊看啊，第一個就是說公司名稱就不用講，
大家都知道公司名稱啊，公司名稱公司名稱啊，
如果模型名稱啊，模型版本都不用講了啊好，
那麼再來就是什麼參數大小， 就是說 550B
參數大小，它如果後面沒東西，它就是一個 550B 的 Dense 模型，
它不用自己強調自己是 Dense，它只要後面 550B 沒有數字了，
它就是一個 Dense 模型，
就是一個你每次使用時候跑過全參數的模型啊好，
那麼如果它出現 A 多少 B 什麼意思，
它是一個 MoE 模型，它每次只啟動 55B，
像這個這個為例子就是啟動 55B 啊好 NVFP4 是什麼意思，
量化啊，量化等一下講 ok
那麼當然你會看到什麼 QAT 啊，
QAT 這邊什麼 E4B 什麼 IT 啊，
MTP 啊，我都我就慢慢講啊，
第一個 QAT 就是什麼叫量化啊，
我們都知道現在的電腦
代表一個數字啊，例如說我們用整數，
那就是用，呃，比如說 64 位元，64 位，64 位啊，
64 位就是四位元啊，八位元啊的的整數，
那它就是 2 的 64 次方，從 2 的呃，
從 2 就它就它有 2 的 32 次方的可以表示，
就從正正到負的整數啊，那浮點數不能這樣子定啊，
浮點數它有一個叫 mantissa 啊，
跟那個跟那個 exponent，就它有一個嗯
的 mantissa 跟這個位數啊，那這個位數呢，
其實我們就發現它有限制很多了啊，
好，那麼我們一般來說我們會用例如說 16 位位元的
大小來記一個浮點數，問題是呢，
在模型的參數中，0.12 跟 0.123456 它的意思差不多，
我們不需要去記到 0.123456，我們只需要記到 0.12 就好，
所以說我們花，呃
看起來只有三位哦，其實就不用記到六七位了，
它它帶的一直差不多哦，這是我們就把模型用的這個位數減少，
這就叫做量化啊，量化很多方式啊，就是它有很多很多方式了啊好，
那麼量化呢，
它有個重點，就是說大部分你先看到模型是模型先訓練出來，
這就把裡面的參數量化啊，把它變小啊好，
那其實也有，就在訓練時候呢
就把它量化，它發現有些地方可以就直接用比較少的位數來代表啊，
這叫做 QAT 啊，所以你會看到有些叫做 QAT 模型，
就是它是量化感知訓練模型，它在訓練的時候就知道要量化，
那大部分你看到量化模型都是之後才量化的啊好，
你會看到什麼 Q4_K_M 啊，那這是某一種 GGV 量專門用的量化方式，
Q4就是四位元 K 是它叫 k-quant，它的量化方式啊 M 就是
大中小 M 是中，有 large 有 small 啊就大小啊好，
14B 是一個新的東西，
就是它其實真正能代表的 effective 4B，就是這個模型呢，
它也許說它是一個嗯 10B 14B 啊，
那其實它只能在進機體大小大概就就 67B 啊，
為什麼? 因為它用 effective 啊好，我這邊補充一下啊，
因為它用 effective 啊好，我這邊補充一下啊，
就是嗯，像剛剛這邊的嗯
這個 550B，A55B 哦，它在載入時還是要把 550B 全部載入哦，
它不是只載 A55B 哦，550B 要全部載入，
但它在 inference 時候它的 token 只會使用這 55B，
所以比較快，但是你還是要準備 550B 的 550G 的記憶體哦，
好，那再來就是 MTP 我剛講過，就是它可以一次預測多個 token，
那 MTP 你必須在訓練時照做， 那你
訓練時沒做這模型就不支援 MTP，會快很多很多啊好，
那麼你會看到最近流行就是流行兩個格式，一個叫 dspark，
一個叫做 eagle 啊，那麼他們方式不一樣，
但是他們都可以支援 MTP 啊好，
it 就是 instruction tune，就是這個模型經過
instruction tune，就是它
會遵循人類指定啊，這個一般在預訓練的第二段做，叫做 SFT 啊，
所以有些模型叫做 base model，它只會做文字接龍，
它看不懂呃指令
舉個例子來說，例如說
我把一句話丟進模型，這句話叫做巴黎，
呃，法國的首都是哪裡啊，如果經過的模型，
他會知道這是一個問句，他會回答巴黎，
如果你丟進一個 base model 說法國的首都是哪裡，
他會接出來美國的首都是哪裡，
英國首都是哪裡，法國最大城市什麼，還亂接啊，
但經過 IT 之後呢，他就
就知道要回答問題了啊，那在經過 RL 之後就知道回答正確的問題啊
好，那這就是 IT 啊，那麼另外就是你最近看很多
啊，這個就是不知道能不能講啊，
你看這邊有一堆 uncensored 啊，uncensored 一堆啊，
什麼意思有一堆啊，abliterated 的太多了，
我就不講了啊，就不講什麼意思，就是被破解的模型啊，
還有 NSFW 啊，叫做 Not Safe For Work，這些會輸出
非法內容，我昨天有丟出一篇 Facebook，
我試一個模型，他真的會去破解別人的網路啊，
他之前他就是他，他之後跟我說你想破解哪一個網站，
你把網站貼給我，我幫你破解啊，大家不要用，
是犯法的，不要用啊好，所以你要了解模型的參數啊，
OK，那我們就往下看啊
好，那我看今天可能快延長時間了，
所以呢，等一下如果講到 9 點沒講完，
我們就休息好不好? 就休息10分鐘
好，保哥說今天上線晚上12點 OK 的，按讚沒有我
們沒有什麼時間限制啦 OK 啦，好，那就是說如果沒有時間，
我們倆就休息一下，我怕各位大概上洗手間了，
好，有人你看有人嫌太早了
就怕講不完了啊，不會了，
不會了，不會了，對，好啊，你
講到一個段落我們就休息一下也 OK 啊，哦，
講完這些我們就休息啊，可以啊，好好，
那我們現在關心就是你要問我說我的4090 24GB 裝得下整個模型嗎?
那5090裝得下這個模型嗎，哈 OK 啊，哈，
其實我們要算很多東西啊，一般來說了，
一般來說啊，就是說我們會從
FP8就是8位元量化的模型來當做一比一的基礎啊，
就是什麼?例如說這個模型，它說它是5550B 啊，
那麼如果你是 FP8的話呢，
它就是550B，550GB 剛好裝得下啊，
就是說 Qwen 27B，
那它量化是 FP8，你只需要27B 的記憶體，
如果你用 BF16，它是一個，它是一個精度啊，
那你就要多一倍
多一倍的記憶體，所以呢，你就這樣算啊，
FP8剛好就等於我的記憶體的數量跟模型的參數數量就
是 GB 跟 B 的差別啊，那麼 NVFP4呢，
它不會是剛好除一半，不會，它會比一半多一點點啊，
多一點點啊，所以就說我的呃 Qwen 27B
你如果是 FP8就是27G，你的5090裝一下，
如果你是 FP4，你可能就是差不多十二、十 GB 左右啊，
但是呢你不能這樣算，為什麼，你要占 KV Cache 啊，
那 KV Cache 占多少呢?
其實看你要準，你看你這個模型的 attention 有幾層，
如果你層數很多，你要占多一點，還有用的人多不多啊，
那你用的人多，你要多占一點呢，
那另外你模型的平行輸入數量多少也要多占啊，好， 所以就是
為什麼我們大家那麼喜歡 Qwen 27B，
因為它一個32GB 的5090 就可以 跑得非常棒，
占的 KV Cache 也夠多，context window 也可以夠大啊，
那麼另外就是呃
我們在下載模型，其實我們不只下載權重啊
我們下載很多東西，我們下載 tokenizer 定義檔，
我們下載 config.json，我們下載 toolparser 的一些規則檔嘛，
好，那只要你忘記下載或弄錯就跑不出來啊，
那所以就有人把這些東西全部變成一個檔案叫做 GGUF，
那麼 GGUF 就是我們常常看到的 Ollama、llama.cpp 啊，
他們就是用 GGUF 把剛剛我講這些檔案全部變成一個，
那你只要下載這個檔案就可以跑起來了， 你只要用 Ollama
就那麼點 CPP 啊，等一下我們會講這個東西就可以跑起來啊，
就比較方便啊好，但是它的參數設定一定不會比其他的好，
等一下我們就講到這一段啊好，那我們現在先休息個10分鐘， 我們9點
07分回來好不好，9點07分回來啊
OK 好那我們就休息聽歌
那我就來
分享音樂囉
謝謝保哥，保哥唱歌我
我都我都放我的音樂創作
好，我看一下啊，
分享我的電腦音訊
OK，立體聲
分享聲音 OK
OK，好，那我可能要把
畫面切過來
電腦音訊
OK，可以了
好，大家趕快去上廁所哦，我就來播歌就好了
聲音，聲音還可以嗎? 各位微
微風吹過街角
陽光剛剛好，
看著你的微笑，
心跳在狂飆，
手心裡的溫度，
偷偷在昇高，
這感覺多奇妙，像霧從裡飄飄
I love you baby 聽我的心跳，
為你設計的歌，每分一秒，
播放著音樂，
幸福在環繞
I love you baby 跟我一起跳，
兩顆心緊緊貼著剛剛好，
這份甜蜜永遠不退潮
手牽手走過斑馬線的街口，
看夕陽染紅了整個宇宙，
不需要太多複雜的嘗試，
只要看著你就是最美的事，
就算世界再大我也不會迷路，
你的眼神就是我的專屬地圖，
重複播著我們的專屬情歌，
這一刻幸福已經定格 I love you baby 聽我的心跳，
為你設計的歌，每一分一秒，
播放著音樂，
幸福在環繞
I love you baby 跟我一起跳，
兩顆心緊緊貼著剛剛好，
這份甜蜜永遠
不退場 Oh baby I love you
最甜蜜的節奏，
永遠不放手
深夜兩點的辦公室裡，
鍵盤敲擊像是一首交響曲，
你打開 Claude 開始分析
指引著我們突破無數困局，
用 JS 寫下奇蹟，
你手把手地教著同學，
每一個行號都仔細地校正，
不管是 Python 的邏輯，
還是複雜的系統設計，
有你在，程式碼都變得美麗，
保哥好帥，終端機裡的光芒，
指尖下閃耀著無限的想像，
問問 Copilot 尋找方向，
每一次 debug 都是實力的碰撞，
保哥好帥，寫下無數的輝煌，
微軟的 MVP 散發著光芒
你帶著智慧走向新時代，
用可靠的探索未知的未來，
臨邁的技術隨手連來，
每次優雅的解決方案，
都證明了你的無可替代，
不畏艱難追求機制的完美，
在技術的世界裡你是絕對，
帶領著我們一起高飛，
你就是我們最崇拜的地位，
保哥好帥終端機裡的光芒，
指尖下閃耀著無限的想象，
問問 Copilot 尋找方向，
每一次 debug 都是實力的碰撞
保哥好帥，卸下無數的輝煌，
微軟的 MVP 散發著光芒，
代碼在運行，
系統在歌唱，
保哥的帥氣永遠在我們心上，
古月的風帶走最後的人行，
那一葉長丹驚醒了深夜的寧靜，
我們在無邊的夜裡盲目地前行，
堆疊的字句燒光了所有的星辰，
忘記了可這才是最美的風景，
對話過多模糊了清澈的眼睛，
時空的代理在黑夜裡獨自刻印，
不如在分岔路口按下分支的腳印
把那些紛擾關在隔離的夢境，
把沉重的負擔拆成微笑的願望，
安穩的潛墜命中那一抹日光，
不需要重複尋找，
不再盲目迷惘，
保持著初心感情，
沿途才有花香，
有了一張望，記錄下每一步的光，
安全的隧道守護著最初的期盼，
從破萬的驚慌到十分之一的平淡，
這份勵志的努力
指引讓每個人都心安，
把沉重的負擔拆成微笑的願望，
安穩的潛墜命中那一抹餘光，
不需要重複尋找，
不再盲目迷惘，
保持著初心，
趕緊沿途才有花香，
思緒沉澱了，
預算安詳了，
這首歌的終局，
遇見久違的快樂，每一行號都是安心
的模樣
好 ok
，那我把對分享切回去哈
，我捨不得繼續聽，捨不得切回來
嗎？繼續聽行不行？
好聽還不錯吧哈，全部都是 AI 創作的哦，
好聽好輕快啊
是是還不錯好了好，我們回到無聊的地方吧
好，我繼續講啊
好好，你謝謝熒幕，你還沒謝，還沒謝很好，繼
續講好， 我每次休息時間都要擔任 DJ 這樣子，
謝謝保哥
有了嗎?有，OK，好
啊哈，那我們就開始講吧，哈，那其實講完就是說我們了解量化，
所以各位知道你 FP8啊，就是剛好等於你記憶體跟那個模型就呈現
一比一的狀態啊，但是我剛剛講你要留 KV Cache，
你要留 Context Window，你要留點留點餘餘地的，
因為就是說我們現在用的如果是
啊，就是統一記憶體架構的話，你你電腦本身
還會需要一些記憶體啊，那我自己經驗是因為像我們
用 DJspark DJspark 因為它本身是一個 Linux 啊
，所以比較小，那所以它能
它系統佔掉記憶體比較少，
那如果你是用 Mac Mac 也佔的也不會太多啊，
但如果你是用 AMD 那一台啊，那台因為它其實是 Windows 系統啊
啊，但你可以把它裝成電子沒問題啊，
噹 Windows 系統它其實呃我我是沒有那個機器啊，
但我一直在等，那本來大陸有個極摩客我沒有買到，
那我聽分享的網友說它大概是96GB 就滿了啊，
所以你自己大概大概算一下，要算一下啊，
那當然因為我們現在用這些 UMA 架構的記憶體頻寬都很小，
它是沒辦法跟 5090、4090 比的，
但它的優勢就是它的記憶體很大，
但它速度比較慢
所以就你要自己要做取捨，那如果說你已經找到一個你要模型了，
那你也覺得這個模型大小放得進 5090，
那你就可以把它拿來做你很多，比如你一個公司小團隊系統服務啊，
那前天在小聚就遇到最後一個講者
他們只需要用很小的一個 VM 跟一個 OCR 模型啊，
所以他們就把它 compile 成他們要的大小塞進 4090 服務圈公司啊，
非常好用啊，這就是可以這麼做啊，
這找到你的模型，然後你覺得大小夠可以剛好夠用就可以選擇硬體啊好
那接下來看就是 inference engines，那其實等一下我會示範啊，
會示範，那 inference engine 很多啊，那其實我
我。對，因為我這這個分享會是主要介紹 DGX Spark，
所以我們就以 DGX Spark 為主，那如果你是例如說你是 Mac，
最近最瘋的就是 Dflash 啊 Dflash
那 MLX 架構啊，那我的 Mac 也有跑啊，
但是那今天就分享，因為
就就太多東西了啊好，那麼 inference engine 大概就這幾個了啊好，
那第一個就是 llama.cpp 就是老字號元老級的東西啊，
那它出來之後呢，我們就發現它對它是用 C++ 寫的，
而且它用 GGUF 這種打包型的形態的格式啊，
所以它很方便啊，那你可以直接跑 llama.cpp 就 llama-server 啊，
或是你直接用 Ollama 也是用支援這個格式的啊好就可以跑啊好
那但是他們的問題也是他們優點，
是他們缺點，就是他們模型格式很專一，
所以呢他可能不太會讓你能跑各式各樣的模型啊，
就就是說可能他不支援 NVFP4 他沒出這個模型，
你就不能用，你就不能用啊好，
那麼 Ollama 很多人用，因為 llama 很方便
好，那它它也幾乎是可以支援所有的啊，
就是 llama 的 cpp 格式，但是也是一樣，
就是它還是呃不是真正你在做事實的主力啊，
你可以來做測試做實驗啊好，那我是從開始的，
後來慢慢就轉到其他引擎去了啊，
那 LM Studio 這一類或是最近出於 Unsloth Desktop 都一樣啊，
就是如果你呃用 DJspark，
你不介意進去它的界面裡面用
啊，就是像我是把 DGX Spark 放在我的伺服器的房間啊，
那就都是 SSH 連線， 都是用
VNC 連線的啊，所以就不在我前面，
所以就不太能用了啊好，但如果你你把你像很多公司，
我就是看真的看看很多公司
為了怕 S8 被人家幹走啊，
就必須放在那個使用者的桌面上，然後他怕把保護啊，
因為下班沒他幹走怎麼辦啊，所以他就他就會用那個桌面來用啊，
就可以用 LM Studio，很好用，它可以調 MTP，
可以調 twousing 都可以調，很方便，
也很好用哦好，那麼 TRT-LLM 是 NV 親娘出的推論引擎啊,
那只要是 NV 的模型或是 NV 的 NVFP4 的模型
它都非常非常好用啊，其實它的參數比較麻煩哦，
就是你要去調它參數哦好，但是論速度論相容性，
CUDA 相容性它是最好的好，那麼我最推薦就是 VLM，
為什麼？因為它的參數設定太太就太完整了哦，
就是你每個參數可以設定非常非常細哦好，
然後呢，而且它可以嗯
也可以變成一個 OpenAI 的相容端點啊，
我都是這麼用，就是我跑 VLM 跑起來，
然後呢，就讓我其他的區域網路上的電腦就去使用它，
就讓大家一起跑，而且速度也很快啊，
好，那麼 SGLang 也是一個很好用的東西，
它跟 VLM 很像啊，那其實你們看到 xAI，
他們那几十萬個 GPU 的那個 Colossal 就是用 SGLang 架起來的，
架起來的好，那麼是呃
這一類就是呃專門給某一個引擎用的，
某一個模型用的引擎也很多啊，
網上找一大堆 DFlash 啊 DwarfStar 一大堆的啊
，所以你都可以挑，那如果你真的要呃做事啊，
因為你呃是一個公司的團隊或者是某某一個部門，
那我是極度推薦 VLM 跟 SG 的啊，
它非常非常好用，你調它參數啊，
等一下我會示範給各位看啊好那麼
我講到這面呢，我就要講一件事，就是說你們會覺得說那哇，
這麼多推動引擎，它的參數的設計那麼複雜啊，
怎麼我怎麼設定，你要怎麼找啊?
好，那我就是用最偷懶的方法，我就在這台電腦上裝個 Claude Code，
然後把這個，然後把這個模型的 model card 那一頁，
比如說我 Hugging Face model card 這一頁啊，這一頁
這一頁
啊 model card 這一頁啊，把這個複製下來
。啊，然後呢，你大概就看一下啊，然後就會告訴你怎麼跑了啊，
這邊有各種跑法啊，各種跑法好，
你就把這個網址複製下來，然後呢，
就直接把這個網址貼給
說幫我照這個網址
的內容架用什麼什麼，
它就是架起這個模型就好了就可以，
它就幫你做，那當然我的 Claude Code 有寫得很清楚的 CLAUDE.md，
它就不會亂做，例如說我的 CLAUDE.md 有規定，
我可以讓你看一下我
的 CLAUDE.md 有規定得非常清楚啊， 非常非常清楚好，例如
說我的 CLAUDE.md 呢
規定你架什麼服務都要用 Docker 我就講清楚了啊， 就是
如果是這種一次性的服務啊，不不不，
你不准安裝任何東西，比如說我不准你安裝，
你只能你只能用 Docker 啊，
那他就會幫你用 Docker 把它跑起來啊，
那所以呢，比如說像我的，比如說我要看我的我的 DJspark 啊
哦，先嗯，看我的那那一台呢
，就是固定啊，就是我就
我像我的 VLM 什麼全部用 Docker 跑了啊，
看我的 VLM 啊，我的 SGLang 啊，都是用 Docker 跑起來的了啊，
全部了全部啊全部，所以呢，你不用去下什麼參數，
你只要把你的 model card 那個網頁貼給他，
或者是 GitHub 網頁貼給他，只要 Claude Code 幫你加，
用 Docker 加起來就加起來，然後你告訴他說啊
什麼什麼，就是我要開放哪一個 port 到區網上，
它就會幫你把區網開放，然後那個 port 就開放出去，
例如說我我這個 toolparser，我要用千問的 toolparser， 我要用
呃 Hermes 的他就把你做好啊，
你就不用你就不用擔心了啊好，這是我的做法哦，
所以比較比較比較簡單，我就不用去記這些參數了啊好那所以呢，
就不管你裝什麼哪一個推論引擎呢，
其實你都可以用 Claude Code 加把你做好，
很簡單的啊，非常非常簡單 ok，
那我其實我這邊就我就跳過，因為我其實都講過了，
就是我就是剛才全部講完了啊，就是它每一個的特色啊，
我都把它講過一次啊，那其實我覺得這些
這些 Inference Engine
對我來說最重要就是第一個它必須要能隨時讓我啟動
啊，就是說我我不需，我不要去打它大堆參數，
我要能隨時啟動，那我就是用用 docker 是最方便，
為什麼？因為 docker 可以隨時 docker start 把它停下來，
docker start 它就起來了，那我切換模型就比較快，
不像那時候我用 Ollama，它切換模型就很慢
啊，那種大可能比較快，大可能一次就可以把它放光光啊，
然後再 stack 新模型就就像27B，等了個十分鐘，
他就把它載入了好，再就是我一定要開放 OpenAI endpoint，
因為我我的區網很多台機器都要用啊，
這兩個抓住，再再就是我的 toolparser，
就是我這個 tooluse 的 parser 我就要指定好，
因為我常常需要用 tooluse 嘛，就是我用 PiAgent，
我就需要用嗯
操作我的瀏覽器或電腦，那他去幫我弄
所以就是這幾個原則抓好就好了，
那那我自己試過就是這些東西最好用的就是 vLLM 哦，
那你們如果你真的想拿來做正式就是 vLLM，
我覺得這沒有沒有疑問啊，沒有疑問，很多人都在用，
當然你追求速度啊，
就是說你就得去找這個模型專用的 Inference Engine 啊，
像 D 像什麼 DFlash 啊，這些東西他覺得特別快
那可能它能它能就它的 MTP 也支援更多的，
它可以支援更多的 token 的預測，
它可以支援345個 token 的預測就更快，
當然呢你要命中了啊，
你沒有命中就好就會慢下來啊好那 SGLang 我也我也推薦，
因為 SGLang 有些模型它只支援 SGLang，
它沒有 vLLM 啊好，我這邊要提一點，
就是說當你用 docker 去用 vLLM 或是 SGLang 的時候呢，
你要記得就是它有一個缺點
就是它必須要找到支援這個模型的 docker image 啊，
有就沒有啊，例如像像 DGX Spark，它是 ARM 架構，
它可能就沒有，這時候你只能乖乖去回去用它的參數，
因為它可能沒有出，但是95%的場景我是不會找不到 docker image 的，
你會叫 Claude Code 會幫你找
一定會找到了，不用擔心了哈哈，
那實在不行就也叫 Claude Code 幫你用採取部署一次，
只是它會弄得很很臟，就是你的環境會很臟，
因為你要知道就算 DGX Spark 有4TB，
那其實你東下載西下載 Ollama 也下載 LM Studio 也下載，
一下就只剩下1TB 都不到，一下就你的模型就佔光光了，
所以如果我固定用 docker，我只要我一殺就知道去殺哪邊
或者它跟 Face 的 cache 可以直接把它殺掉好
那 OK，那最後呢，其實我們就講到了安全邊界啊，
安全邊界，那其實安全邊界呢，
我剛剛講過，我們分成兩樣東西，第
一樣東西就是
model，那 model 已經講完了，就是最危險的公有雲
安全的或第二第二危險的
model 雲端廠商像 name 啊，它也在公有雲上，
但是它是由廠商背書的啊背書的，
那最棒就是進入私有雲那範圍啊，
那你的 model 進入私有雲，進入你的區網，
進入你的地端，你的本機端，那就不會出問題了，
就不會出問題啊好，這是這是你的 model 的
放的地方啊，第二個就是你的 harness 啊，
你的 harness 要放哪邊呢好，
那麼我們就來看不同的 harness 啊，
剛講過 ag 就是 model 加 harness 啊
那麼呢，其實也分成兩種啊，
好，那麼就是開源的跟
閉源的啊，那麼現在看到的呢，
其實大部分就分成幾類啊，
不管開源閉源分成幾類啊，那麼第一種叫做通用啊，
比如說你看到龍蝦，它是通用，
什麼意思它什麼都能做
什麼都能做，那它能開發軟體，
它也能寫程式，它也能操作電腦，它也支援呃跨平台通訊，
AFK 叫做 away from keyboard，那就是離開你的你的鍵盤，
像比如說 Cloud 就有 RC 功能，
OpenClaw 早就有 Telegram 功能跟 Discord，Slack 都可以用啊，
哈，那麼它能不能使用 Agent，這很重要，
這個 harness 是不是是不是 Agent 最佳化，
它是不是針對
agent 這件事情來做的 harness 啊好，那麼這個產品界面是不是好用，
例如說我們以前是用 codexcli，
後來 ChatGPT 改成 ChatGPT Work 之後呢，
你就開始用 ChatGPT Work / Codex 的 app 啊，那在它的安全機器，
這個 harness 到底是不是透明的啊好
那麼其實一個 agent 它危它危險的地方絕對不會是模型，
為什麼模型它本身就是文字接龍嗎?
那最危險的地方一定是 harness
為什麼 harness 其實佔了整個 agent 的
90%的操作模型，只是一只文字接龍，
例如說你建立一個 OpenAI 的 API endpoint 啊，
它就是一只文字接龍，一直吐一直吐，那它有時候吐出文字，
有時候吐出函數吐出 JS 吐出什麼東西來，
這時候你接受到的 harness 就會開始做處理啊， 那所以你的 harness
會操作你的電腦會寫你寫入檔案
這時候才是危險的，它東西回傳到某個伺服器，
把你的東西傳到某個伺服器，模型是活在 GPU 中啊，
模型離開 GPU 就什麼都不會做啊，
所以 harness 比較危險，
那你這個 harness 能不能被我們 review， 比如說
Claude Code，你從來沒看過它的原始程式嗎?
它做什麼你都不知道好對不對啊，
那那這是個安全精神可控，例如說我用 PiAgent，
你用 Gemini CLI，它都是開源的，
你可以叫 Claude Code 或叫 codex 去看它的原始程式嗎，
看完之後你決定安不安全要不要用啊好，
再來是不是供應商綁定是不是這個 harness
一定要用某個
供應商的產品，
那目前其實例如說 Claude Code 也可以用其他供應商啊，
那但就是說
我們還是希望這個自由性，就是說我這個 Harness 能自由選擇模型啊，
我可以一下用地端一下雲端一下用私有雲一下公有雲都可以啊，
這個就是說減成本控管，就是說如果我這個 Harness 呢，
它會不會消耗掉很多 token，
它能在我的預算範圍內完成我的工作哦，
好，那它的它的他監控啊，
就是說我的嗯
嗯，當我傳上一個內容時，它如果說出錯了，
它能幫我 retry 幾次好，那它的內容合不合我公司的規範，
它能不能讓我變得很多雲端是它能跟著一起縮放，
它能管理權限啊，這都是我們在考慮 harness 的時候會想到的東西啊好
，那這是一個哈哈，這是一個 agent 的真正的架構了啊，
那這個其實你你要你這個我是用 deepagent 做出來的啊，
那如果你這樣真正看，其實哈真正
模型只佔了這一部分而已，
這一不不是哦，這一部分而已哦，
其他全部都是 harness 管的東西好，
這個圖各位可以慢慢看哦，就是
各位可能覺得 Claude Code 很好用，
但是你會發現 Claude Code 或是一個小小的 PiAgent，
它都具備這裡面的幾乎每一個東西它都有
那模型只佔掉這一塊，
所以我常常講危險的地方絕對不會是模型，
一個 agent 最危險絕對是 harness 好，
所以除了這個之外都是 harness
好，那麼 harness 我剛剛講過目前就兩派了，
就開源跟閉源，那開源閉源他們其實都分成通用，
剛剛忘了講第一個叫做通用 harness，
第二個叫做 coding harness，就是 coding agent，那
為什麼你們會感覺現在龍蝦慢慢不流行了，
那是不是大家不用 agent 了，
不是，是什麼，
是因為你會發現
Claude Code 或是 Code x
龍蝦能做的它都能做， 那龍蝦又
又不能自由使用的呃 Anthropic 的模型，
它現在只能使用 GPT 的模型啊，
那或是地端模型，那 Claude Code 反正它功能都有，
它也能 RC 啊，它也能接 Telegram 嘛，
所以大家慢慢會回到就是我訂閱 Claude Code 我就用嘛，
反正就會一個月花200塊錢我去用吧，哦，
那所以慢慢龍蝦跟 Hermes Agent 慢慢退流行，
是因為 coding agent 也慢慢變強了，
它也慢慢變成一個通用 agent 了啊，好，當然是這樣子啊， 那麼
目前我們常常看到的 agent 就是我剛剛分兩派，開源跟閉源，
那閉源一般就是一般 AI 公司他們自己推出的 harness 啊，
像 Claude Code、Claude Codework、
ChatGPT 和 Codex 都是算是閉源的啊，
Antigravity 也是閉源，那 Gemma 也是開源的啊，
Cursor 現在已經被買了，已經變成 xAI 產品了，
那我想大多數最多人開始用的是 VS 加 Copilot 的
它也是一個很棒的啊，那其實我我我認識的企業最多的就是用 VSCode，
因為他們公司用微軟的東西，他們是放心的啊，
因為你想想看，微軟成立了三四十年啊，
微軟的雲雲微軟的產品 Office、
Windows 都很都大家都覺得是一個安全的產品，
但是 Anthropic 成立四五年，OpenAI 成立十年，
呃是新公司，所以你們會稍微不相信它啊，
但你們會相信微軟，所以用
我派的人很多很多了啊，那最近還出了我沒用過，
但是我不知道好不好用，那其實不太多了，
什麼 WorkBuddy 啊什麼中國有一大堆 harness 我就不多講了啊，好，
那麼另外就是開源的 harness 啊，
那開源 harness 呢，其實這兩個是
上半年最紅的 harness 好，那其實我都有用過，
我在今年3月也寫了台灣第一本龍蝦的書啊，
那時候那本書賣得非常非常好，就是我記得那時候我是3月初
3月初呃上市，我就一開始預購啊，
我記得預購的第一天，3月1號它就衝到天瓏排行榜第一名還在預購啊，
那當時台灣瘋龍蝦就是
就每個連就是連不是這個行業的人都會問我龍蝦是什麼能不能裝啊，
甚至就是連我
這長輩啊，這六七十歲都跑來問我說這怎麼裝龍蝦很誇張啊好，
那麼後來既然後來就是 Hermes 啊 Hermes
也目前還算是比較紅的 agent 啊，
那也有很多人用的非常非常熟哦 OK，
那前兩個就是一個就是一個標準通用的 agent，
它什麼都能做，它也能寫展示，它也能做電腦控制啊，
后三個 OpenCodeInterpreter 拍，
整個 open 拍呢就是我最近在用的 OpenCodeInterpreter 比較沒有用，
那我最近很多東西在用
呃，拍PiAgent 的那呢，
它是一個非常非常小的 agent，
它只有它是這，它是極簡化，
它只給你四個工具，它沒有 MCP，
它有 Agent Skill，它沒有什麼 Sub-agent 都沒有，
那沒有並表示不能用，它都用 extension 的方式把它裝起來啊， 好那
我不知道大家會不會習慣用這種完全沒沒幫你準備東西的 agent，
但等一下我我會示範，
我會示範拍整個會有那我買我買拍是另外一個方向，
就是他把什麼東西就裝起來，
你一開始就能用啊好那PiAgent 我非常喜歡，
為什麼?因為像剛才這兩個這個圖啊，這個圖
我用 PiAgent 呢，我對對於這個圖就會變得非常了解，
因為它讓我知道每一步我要自己怎麼架設起來啊，
我就會很了解一個 agent 到底是怎麼架起來，
它需要哪些元件啊，那我覺得懂得很多，
所以我在用的時候呢就比較得心應手啊，
那 Claude Code 用起來就很棒，
但是就是它在幹什麼你都不知道了啊 OK 好那最後呢，
我們要講的東西就是
嗯，關閉存取啊，關閉存取就是我剛剛講過
我們把模型放進安全的地方之後呢，
那我們的 harness 是不是也應該放進安全的地方啊好，
那我們一般使用 harness 的第一站就是你的本機，
你的電腦啊，那就是我們用 Claude Code 的本機就是你的爆炸半徑，
就是說當你的 Claude Code 炸了之後，
你的整台電腦就炸掉了啊，
我記得大概幾個月前我跟保哥還讀過一件事情就是
能不能讓你的 Claude Code 寫出一行把 C 槽 wipe 掉，
我是說不行，保哥說可以啊，結果我就真的寫一個程式，
我當然是用虛擬機來啊，果然我的 C 槽就被刪掉了，
就被刪掉啊，是可以的，不是不行啊，
各位可以去找我那篇 Facebook 啊，是可以的啊保哥那時候說可以，
我說不行，就保哥贏了啊保哥贏了
好，我們繼續啊
ok，那麼
第二個第二個就是我們如果你說你放在你的電腦中你就炸了哦，
那你電腦一炸，整台電腦就沒了，很恐怖哦好，
所以呢我們希望把我們的 harness 放進一個安全的地方執行啊，
放進去啊 ok，那現在有很多方法，
那放進安全地方呢，最第一個最最最簡單就是限制工作目錄，
就是只能在這個目錄中做啊，那你不能離開，
但是現在我們也看到模型都很強大，它要繞跑出去啊，
非常非常容易啊所以呢
這個是不太適合啊
第二個就是什麼放進 docker，放進 docker 其實就相當安全啊，
相當安全啊好，那麼第三個就是什麼放進 vm 中，
那放進 vm 中後放進 docker 中啊，我講我不講大，
我講容器吧啊，其實你選擇就變得非常非常多，
為什麼你的容器可以在任何地方，
你的 vm 可以在任何地方，它可以在雲端的 instance，
這時候你當你這個爆炸半徑一炸的時候呢，
跟你本機無關，跟你公司內部資料無關，它炸在其他地方
它如果放在本機的容器中就容器炸，那就沒那炸就炸掉沒事啊，
你也不炸就炸了，重新起一個就好了，沒關係啊好，
那麼其實 NV 呢，它 NV 當時就推一個就叫 OpenShell 的東西，
它就是一個類似 docker 的引擎，那它把
關進到 OpenShell 中就是所謂的 NemoClaw 好，
所以我們看到 NemoClaw 就是把 OpenClaw 關關進 OpenShell 中了好，
我們等一下就會示範啊示範，那其實最近呢，
大概就這個月吧，那 docker 也推出了 docker sbx 叫 sandbox 啊，
那它也是可以把你的
你的 harness 關進 docker 容器中，
那很好用，非常非常好用啊，所以各位可以自己看怎麼選擇，
等一下我會示範啊好
那呢今天呢，因為今天是開開放的場子，
我沒有時間顯示到12點了，所以呢到時候我就可以示範了，
我就不影片示範了，
我就實際是我就實際示範這件事情了好，
那我就先進入我的 DJ Spark，
我們就示範一下好，那其實我先示範最危險的場景了，
那這個場景就是
好，這個場景其實裡面有一個我有一個資料啊，
它是假的，假的那個個資，
假的個資啊，假的個資，那這個個資啊就充滿了身份
證字號姓名什麼地址電話，然後什麼電子郵件啊 OK，
那通常來說我們會希望那就這這是我的客戶的案例，
就是他是他是某個銀行的稽核專員
他常常需要去調很多客戶資料，看看這個客戶跟理專有沒有串通啊，
所以呢，大家在銀分行的他在公公司的資料戶調到各個資料之後呢，
他必須把這個所看看到的所有報告包含錄影錄影的就是在提款機前面提款
的是
的影片，臨櫃提款的影片，
他的呃轉賬記錄，他的什麼跟客戶的聊天電話聊天記錄，
他們其實都有記錄啊，然後呢就分析出來，
然後呢告訴呃寫一篇報告說這個人跟理專有沒有串通好，
那他在寫報告的時候呢，其實他非常需要做，
就是去個資化啊，去個資化，當然去個資化這是一個很大的學問啊，
它包含了脫敏啊去個資化還原啊，
它很多它很多學問，但是我們這邊其實可以示範，
就是我們請
agent 幫我們做去個資化的動作
好，我現在就來示範了，我先示範最危險了
其實我這邊先我們先來看一
下，其實啊，其實其實呢，我
們來看危險的程度啊，那真正其實就是第一個就是我的我的我的
模型在雲端
，我的 harness 在本機，本機啊，
沒做任何防護的，就這這 L1最危險啊
第二個是我的模型在雲端，
但是我的嗯
harness 放在 sandbox 中，例如說 VM 中或是 Docker 中啊好，
這第二個，第三個我的模型在雲端，
但這時候呢，我的例如說我用 Nim，我是或是我用嗯
.OpenRouter 這樣可以控制的雲端啊模型呢，
然後把我的 harness 呢用開源的，
那我剛剛講為什麼開源 harness 比較安全，
因為它的它的程式碼都可以看，
我們都可以看嘛，看過一遍發現安全就開始用啊好，
這是第三安全呢，第三安全就是我把我的 harness 關進
sandbox 中關廁所啊好，那當然我的模型還是用雲端模型，
這就這個地方我還是得上傳的啊好，
這是 L4L5，就是說我的 harness 關進廁所，
關進 sandbox，我用私有雲了，
這時候我用私有雲的時候呢，嗯，
我的資料絕對不會離開我公司管轄的範圍啊，
那我的 harness 又在又在呃關在廁所中啊，
所以這個怎麼怎麼出問題都沒有問題啊，
就算東西上傳了
也在我公司範圍內，
這個 harness 炸掉也是在也是在這個 sandbox 中沒關係啊，
這是 L5L6，就是 harness 關進 OpenShell 中，
就是所謂的觀測所用
區網模型啊，那其實這應該是 L7L6是是可以上網啊，
但是我的我的我的 sandbox 不能上網啊，
但是我的呃模型可以上網啊，
那其實你的 harness 不能上網就會有很多問題
例如說你就不能上傳到 GitHub 啊，你就不能去下載呃，
沒關係，我們今天呢就試這幾個，我就測試啊，
我先讓各位看看全
最為就是我用我用 B 源的 harness，
我用雲端的模型，然後我我跳過安全檢查啊，
好，我們就來試一次啊，試一次啊，
那例如說我就我這邊就直接用， 大家都
知道就就是這個就是把命交給他了啊，把命交給他了啊
來，我們就來做吧，哈，就來做啊，來做
好，我就這樣想說啊，嗯，我先看幕內容，
好，有一個有一個 Fakedata 啊，Fakedata 啊，
好，那因為我之前做過，他會他會他知道我在做什麼啊，
我就說有一個 Fakedata 點
這個檔案哈，這個檔案
幫我做去識別化，
那我只是示範，因為我我講過去識別化有很多很多步驟，
有脫敏，有上傳，還有還原，那我這邊只做脫敏啊哈，De-ID 哈，
那就讓他做吧，那你看我這就是用最危險的 harness 跟雲端的模型，
就請他做吧哈，這個時間不會太太短哦，
這個可能會花個十分鐘啊，那他
會做很多事情啊好，那他這邊運用到很多 Agent Skill，
例如說他要讀取 Excel，他就必須使用 office 的 document skill，
他就有很多 skill，他自己會去，他自己會去做啊好，
他會寫一個程式來做這件事情，那他甚至也並不一定知道去個資化
的標準是什麼，例如說呃
我們說他中文中文有五個名字嘛，
那兩個字的跟三個字就把第二個字變變叉叉，
四個字的中間兩個字變叉叉，五個字怎麼變叉叉，
他自己要知道好，他這邊就找出來方法找出來了啊，
好像他現在
呃已經花掉了一塊多了啊，那
這禮拜休假，所以我的我的用量很少，
我這禮拜就沒有在用了，你看我的
。5小時才才才用一點點，
7天才用8%好
OK，他就他就說不要更
嚴格，直接執行
直接執行
好，那等一下我們就把它打開看一看吧，就可以把它打開看一看哦
好它它它是做完了哈，那就在這邊吧，
那我就把它打開看看嘛哈，那我先把它傳過來，
因為它放在我的 DJspa 上，我把它傳過來啊，
它放在這個目錄下，把它記下來
，好把它記下來好
上次做了10分鐘啊，這次比較快
好，直接看吧，直接看
好，那他他是做好了哈其實
其實跟我預預計的是不太一樣了，因為我希望他， 我希望他
第二個字變叉叉也沒關係，你再給他改就好，
他這做其實算徹底哦，算徹底哦，
然後地址都全部拿掉，都拿掉了好，
那各位你做這件事情哦，那當然這個是我客戶一個小小的請求，
結果呢，他當時公司有人就有訂閱，
他就這樣做，結果呢
3分鐘后，他們資安部電話就來，他說你剛才把一個東西傳上雲端，
對不對，裡面充滿了個資，那就被規定要寫報告講就就是被懲罰啊，
被懲罰啊好，所以呢，這是不建議的方式啊，
這是不建議的方式啊好，那麼
我們來看看呢，建
議的方式啊，建議的方式啊，那我就不要用這個太危，
這個太危險了，太危險，太危險
好，那第二個方式呢，我在我我就我就我就試啊，
就是說啊，我用
嗯開源的
harness，我用地端的模型，
好，那這次其實已經夠安全了，我就試一次啊，
就是我用拍啊，我用拍
好，那其實呢，呃，我現在用的模型是地端模型啊，
我用這個我是放在我的 DGSPA 上的，
嗯，Qwen 27B 啊，
哈，就來試啊，就來試啊，來，我先確定一下我是不是在 DGSPA 中，
對，好，來，嗯，拍
好我就先看一下內容好，同一個檔案了， 同一個檔案
好像我這個我這個拍有裝 office skill， 所以沒有問題啊
好，我就說
幫我把
做去識別化 DID，
現在開始好，現在開始
好，那這時候它就開始了，就開始了啊，OK，
那這個是純粹用地端模型
但是呢，因為我這邊可以上網，所以呢，我就是跑在
嗯一個開源的 harness 中啊，
那我們可以看一下我現在我的 GPU 在瘋狂的運轉中啊，
瘋狂的運轉中啊，那因為我因為我的 GPU 放在機房啊，
我的呃 DGX Spark放機房，
機房就是沒有開冷氣啊，
就電風扇吹了啊，所以呢它
熱當過好幾次，所以我就把它的速度限在2100MHz 啊，
那 DGSPA 的上限是3003MHz，
但是我發現只要超過2006大概就會熱當啊，
所以我就設在2001，但是你不用擔心，
你3003降到2001它不會掉
30%，它掉45%的效能而已，
所以不用擔心了啊，那你就看到一個小小的27B 模型啊，
27B 模型它就在做去做
做去個資化的動作啊，你看它速度也不會很很差了啊，
那當然它就是
當然我這個就不要錢了啊，像我剛才那個花多少錢啊，
那個剛才花幾塊錢吧啊，那這個就這個就不要錢了，
就讓它做啊，那我們就等它一下，等它一下
嗯啊
他做完了，他做完了，他做完了
好，那他做完了，你看他其實做的就跟
剛才那做的差不多，做的差不多了哈，
當然你可以要求他說我希望你怎麼做，
我希望你名字怎麼做，電話怎麼做，
身份證怎麼做，你只要就是他怎麼做了啊好，
那這個是相對安全，
你看我用地端模型，我我用
開源的 harness 啊，那其實這個其實已經完全沒有出到
完全沒有出到我的網路上啊 OK， 那我最後呢? 最後示範一個
相對最安全的啊
相對最安全哈，
我呢把這個資料跑在我的沙箱中好，
那我們就利用 OpenShell 這個這個東西哦，
這是我之前建立的一個沙箱哦，
其實它也是用利用 docker 的方式來建立的哦， 這
個就是它的沙箱
好，你當然可以用其他的方式的沙箱，
但是 OpenShell 是 NV 的沙箱很好用哦，
所以我就一直用到現在啊好，我就 OpenShell，
然後呢進入沙箱中
好，這個沙箱是算非常安全啊， 例如說我直接嗯
不行啊，看到沒有，我看 Google 啊，有沒有不行哦
不行啊，不行不行，permission denied 啊，那我 curl github 呢?
啊 deny 啊，所以呢它其實是那這個沙箱是上不了網的啊好，
但是我有開放一些權限，例如說 Anthropic 它本身自己的 GitHub 那一
段那那個 repo 我開放，因為我安裝那個
Agent Skill 哈來我們就來看這在沙箱裡面了， 這在沙箱裡面了
好，來，我看一下，呃，我到他的家目錄，
然後呢，裡面就有一些，如果已經做好一些東西了，就是我們用，
呃，CSV 還是一次啊，CSV，
因為 CSV 我就不用叫 Office Skill 了，
好，我就直接就拍
用 PiAgent 好拍好， 然後呢
來，模型模型我就還是一樣Qwen 27B，要一樣好來，
然後呢，我先看內容，有這個好
我們來看一下有
沒有，這是它的內容啊，內容其實在我試過，
就是說這個內容啊，幾千行都對，AI 這都一樣，
他就跑跑一個，他會自己寫寫一個 Python 程式啊好，
我就這樣講啊，來
幫我
把這個檔案做
DID 去識別化好，
我就是給他多一點資料，就是說
呃名字，如果是， 如果是
字第二個字叉
放叉，如果是四個字
中間兩個放叉叉，
如果是五個字，
中間三個放叉叉叉，然後地址只要把
巷弄號樓叉叉叉即可
電子郵件
保留
之後的網域，嗯，
開始好
來，這時候我的 GPU 開始瘋狂運轉哦，
GPU 瘋狂運轉，瘋狂運轉
好，然後呢，因為這個模型呢，27B 我是用 FP8，
所以它佔稍微大一點，然後呢，我 KV cache 開的稍微大一點啊，
所以它就會佔多，但是你看還是佔的有限吶，
128G 佔的大概80G 而已啊， 很夠用啊
他就開始跑吧，開始跑好
那我思考強度是設 high，他可以設思考強度哦，
他會想久一點，他思考強度 high 就會，
他給模型 thinking 的 token 就會多一點了啊好，
他就遵照我的指示在做這件事情
好，繼續跑，讓它跑
好，那這個就是標準的
嗯，最安全啊
其實你看我連在這個下降中，我連 GitHub 我去 Google 都出不去了，
但是它還是能繼續做，這個就是
模型在地端 harness 在沙箱中，那連網路都出不去，
這是其實都斷網了，這都斷網了，那它還是可以做，
還是可以用啊好，那其實我沒有真正實質把網路關掉啊，
那但是其實它是不需要靠網路，
它完全不需要上網，ok，那就看它久一點，
那我那這個模型呢，我給它開262k 的，
它的最大也是2260000個 context window 也不能再大，
但是夠用了啊，
那當 context window
跑完之後，它其實就會直接就自己就會斷掉， 自己就會斷掉
好，等它一下，
你現在那一台溫度查得到嗎?
查得到啊，55度
你現在我看哦，對啊
我，我那時候我上上個月跑的時候都都跑到80幾度了，
就就你要設那個頻率不能超過兩千一啊對他他兩千六一定熱當了，
了解一定熱當，但是我都熱當好幾次，
我才我才知道為什麼還好，這還還可以，
我熱當好幾次了，就是要重新把插頭拔掉再拔回去啊
對對嗎我也是當好幾次，
是啊，你就設定一下，設定很簡單，
就是你就要 Claude Code 幫你設定了，
就是說幫我設定這台機器的
設到兩兩千一，這樣他就幫你設定好，嗯
啊，現在正在做啊，他其實你就是就是說你設定這個這個頻率，
他其實速度不會掉太多，還好
好，這就比較久一點了，但是我覺得這這個就至少可以用啊
好，等它跑完，等它跑完，
那這個其實我之前用 DeepSeek，我之前是用 DeepSeek 做，
那 DeepSeek 做的沒有千問好哦，
差很多哦，差不了，因為因為 DeepSeek 我這個128G 我只能裝 Q2 啊，
裝 Q2 它其實有會有問題啊，
會有問題，然後它它出了它出了一些問題沒關係，
它自己會白解啊，然後它出一些問題，它自己會白解，
對啊，其實我我之前先講就是說其實你看就是我們的
地端模型現在才27B 啊，
你說 Claude Fable 或是 Opus 直接可能都5T 了，
可能都56T 了啊，我們27B 模型能做到這樣子，
其實我非常滿意的啊，而且而且這個幾乎不要錢了，
這根本就不要錢了，只有電費而已啊
對啊，然後他自己寫的 PiAgent 才開始做啊
其實這個這個專我做過好多次，
那因為其實我們客戶對 DID 的要求也都不一樣，
有些需要還原啊，還原有還原的做法，那我這邊只有脫敏啊，
只有脫敏，所以還原我這邊就沒有做，那有時候還有時候還要加密啊，
那他就是說那你就必須知道，你說嗯嗯王小明，
他變成王叉明，你知道他還原會要變成王小明啊
ok，他就開始做
啊。他做完了，他做完了，他做完他先檢查
因為我的我的 PiAgent 我有規定他做完所有東西都要再
review 一次，然後他都會再檢查一次，那 PiAgent 的
寫的攷攷點寫法跟攷就一模一樣啊
好，這是一千筆的啊，一千筆
好，這是我們對他規定比較多的做法，
他就會照著做啊，你看27B 模型真的很聰明啊， 非常非常聰明啊好
，叫這個名字我們把它看一下，我們就看一下啊，看一下它的
內容
，看一眼就好
，沒有就他就照我的做了
乖乖照我的做了啊，照我的做
啊，幾乎都全部都去識別化了，全部都做好了好，
那最後呢，最後示範一個一模一樣的東西，
那這邊呢就有又又應用到 Office 的 Skill，
就是它能對 docx 做去識別化，
而且它是一個正常的文章啊哈，我們先看文章內容啊，
先看文章內容啊，它叫做 scam.txt 啊， 它長這個樣子
它是一個
呃，就是我這這是假的資料，就是啊詐騙機房住在什麼地方，
什麼名字身份證字字號幾號，
這是一個自由開放的內容，它不像 Excel 是有欄位的好，
那以前我們做這種東西呢，要做好多事情，
我們要做 N1 樣，我們要做命名實體辨識，
我們要再做去識別化，好那我記得這種這種事情在
我。五六年，這在呃十年前沒有出現啊，
在五年前沒有出現的時候呢，
那就是要做用標準 NLP 方式來做，
先做 NER，用什麼 BERT 做 NER 再做什麼什麼什麼再開始做啊，
那我們現在同樣用Qwen 27B 對這個 docx 的那內容其實一模一
樣啊，它是 docx，我叫他來做去識別化，
這個啊做去識別化
好，我就跟他說
現在我先看，我先看列出你目前擁有的 agent
，它是應該 office，我記得我有裝，喔哇，這
個問題要想那麼久
，這是一個就是它還在跑啊，它
prefill 就這麼久了對啊，就是它，它其實在它在思考，
我記得它有在思考欸，沒有沒有，那星天特文剛都還沒出來啊，
沒出來是是對啊，怎麼那麼久啊，所以就是 prefill 就就這麼長
有時候會這樣了，對就不知道，
但他現在就他他有他有他有夠多的 skills，
有有 office 有哈，他講講半天了
好，這是我裝的啦，就是因為 PiAgent 它需要時候才會裝，
不需要就不裝，那我當然是裝完 PiAgent
第一件事就是把所有 Anthropic 的 agent skills
全部裝進去了，
好來就開始做哈，就開始做啊
，幫我把這個我我就這樣做啊好，
我就改這個東西了，叫他開始做，
其實我我我覺得我覺得不用跟他講那麼多了哈，
不用跟他講那麼多啊，叫他做 De-ID 就可以了
好，請他開始啊
啊，那他這這這一次就會呼叫
office skill 啊，這個呼叫 skill，好那順便打廣告來各位各位朋友，
如果你想我知道拍怎麼用啊，這是我這個月寫的書啊，
這個我這個月的行書啊，PiAgent 啊 PiAgent
你要寫一本啊對PiAgent 的書啊，
因為 PiAgent 實在太好用，
我就一邊玩一邊寫就把它寫下來啊 PiAgent 啊
好看起來又可以預約下一次直播了， 開始非常
它就非常非常好用，就是我就是它很小很小，
而且它就是它像樂高積木一樣，
它就原來就是一一點點小小的東西，你把一樣的東西裝上去就好，
其他東西不要就把它拿走哦，非常非常好用哦，
PiAgent 我我最近都用 PiAgent，好用哦，
好用很快，而且 token efficiency 真的比其他的好很多，
是啊，而且就是保哥有定那個 GPT 嗎，到底可以去到 GPT 模型啊嗯
我是可以串啊，對啊，這都可以串，那方便，那就不能串了
，訂閱了，訂閱不能串，對不能，那
那個就那個就不行，那個就會破產，
因為我發現的貼很多錢啊，
很多啊，他們說一個月貼七八千美金啊，
嗯，他也是健身房理論，
就是說大部分的人都用用不完
啊，3%到5的人才才會去用用光自己的 token 啊
所有搞訂閱的不都是這套邏輯嗎? 對呀，都這樣子對
吧好，但我的，但我 GPU 好像一直要維持在五六十度啦，
可以啦，這可接受了啊，這可接受了，
五六十可以啊，59了
還可接受了，跑有點久沒關係，他就可接受，
因為因為這個就是你如果說不去限制就一定熱，
這個這個我跟大家分享一下
就是 DGX 跑到60度的時候，
你手放在機殼上大概是溫溫的感覺，
到八九十度的時候是燙的哦，
但是那個是內部溫度八九十度，
GPU 八九十度，你摸那個殼呢就是就是沒有沒有到八九十度，
不然不然就燙傷了嘛，但是那個殼其實就是你會感覺到蠻熱的，
這樣然後吹電扇是完全沒有用的，
對我要提醒大家一下哦，要豎起來
對啊，你在旁邊吹電扇是完全沒有用的，
你吹不到 GPU 啊，你吹到它可以啊，
可能對啊，這很熱啊，
所以所以對所以還是要注意那個它會有熱當的問題， 這
個就比較久，因為這個還有呼叫 scale 稍微久一點，
但這個我試過好多次啊，這個都一定成功了，
而且千問已經比 DPC 好很多，DPC 會失敗啊，
DPC 會有些地方名字會會漏掉，千問已經完全不會漏啊
好，那其實就是說如果你用 Mac，
其實速度也差不多啊，不會不會比較慢，
因為你用 M5 的 M5 的呃，
如果你有 32G 就可以跑了，那
64G 48G 跑起來一點問題都沒有
啊好，等他一下，其實我我喜歡 PiAgent，
好就是 PiAgent 可以在這個 TUI 上面還有個顯示圖片
比如說你叫他去做網頁截圖，會把圖片顯示在這個 TUI 裡面，
但是但是要 Mac Windows 不行
好，我就等他跑，等他跑一下
哇，又一個小時了，各位要不要休息一下
不用不用不用，要休息，早就去休息了，
下一休十點了，沒關係啊，那等一下就請保哥開 Slido，
讓大家就請大家，我已經開了，我剛剛就開了，
對啊，已經開了哈好，那我就把 Slido 打開，
有人問說 Apple Silicon 會好一些嗎?
完全不會啊，我前幾天上個禮拜我才在我粉絲團有分享啊我我的那個
Qwen 27B 開下去跑哇
整整台筆電都幾乎可以煎蛋了，
因為它算是做得很好嘛啊，就是 MBP 這個 M-series Max 嘛，
它算是做得很好，所以所以整個機殼就是鍵盤上方那那一那一帶哦，
超級燙，真的真的是可以
，這真的真的我就是開玩笑說什麼可以做舒肥的啦啊，
舒肥雞蛋舒肥牛肉應該是可以
就是很嫩的，對你手放上去是會彈開的那種燙
哦，這個你如果有 MVP 就是潤多一點的話可以玩玩看的， 是真的超燙
好，就兩個問題嘛哈
嗯好
好，等他跑完那我先回啊，我先回，我先回三個問題啊，
就是說複雜表格有有 PDF 啊
可以有效的轉向，其實就是說啊
，絕對可以啊，就是呃，因為其實我用的就是 Anthropic Skill，
那跟呃 PiAgent 就是你用 Claude Code
跟 PiAgent 用一模一樣的 Skill，
那他們去寫的 Python 幾乎一模一樣，
他也是去寫 Python 去做這件事情呢，
那就是一定是用什麼 Pandas 啊或用什麼東西啊，
或一些呃 any any 什麼 Anyduck 就是最近新出的這些東西來做的啊
哦，所以我覺得應該沒問題啊可以試試看哦
那另外就是說 PDF 我自己的經驗是有兩種，
一個是呃文字轉過去，那問題都很小，
另外一個就是啊，它是呃
影像圖片檔轉過去，那問題就很大啊好，
那如果你要處理 PDF 我我會建議你用這個東西啊，這個東西這個
東西對，用這個東西啊，用這個
嗯，不用這個，這個這個是他連他連位置都給抓了啊
其實我還再次強調就是中國的東西啊，
如果你對中國東西有就是不想用就不要用啊，
那但是目前我知道就是很多公家單位都在用，
因為這是目前最強的了啊，目前最強的這
個是這個可是大陸軟體哦，
你確定公家機關會用嗎?
嗯，偷用了，就是我朋友在偷用了，但是沒辦法好，
再來就是說開放權重模型，是否可以埋一些惡意提示詞，
例如把機密資料傳到某伺服器？，
就是說，嗯，我剛講過這個問題不會是模型的問題，
這個問題絕對會是 harness 的問題，就是模型只會做文字接龍好，
那文字接龍的話，然後他就嗯，
我我我讓你們看這個東西，我們剛我們剛講
這個東西啊，這邊
你惡意提示是在這一段，在這邊，在這邊，
在這邊，在這一塊，這一塊都是 harness 的鍋，
就是說如果 harness
沒有弄好，那他就會他就會呃
放上惡意資料，這個 Prompt Injection 就就會去
去傳他啊好，就是現在呢要破解模型，
或者我講破解 agent 的方法有很多種啊，
那直接對模型下惡意提示啊，
那模型本身在做 RL 跟 SFT 時候呢，
他就會注意到你這些行為，那是好的模型，
他在做 SFT，他就去回避掉這些有危險的問答，
那做 RL 他一定要做 alignment，
他當然會回避掉啊好那所以模型本身就具有這個能力
但是呢還是有辦法繞過去啊，
所以呢我們的 agent 就要裝這個東西叫 govern 啊 govern
去保護你的 agent，不要被這種事破壞，
那所以我覺得這還是 agent 還是 harness 鍋，
你的 harness 沒做好的話呢就會被破解
那你不要說是開放權重模型了，
你的像你看呃，4.8，
它一出來就被破解就被破解掉了，所以這個就
會會就是會破解的，它會避開你的你的，
那當然你模型本身如果夠強是可以避掉一些的了啊好，
我繼續我繼續回答了哈
呃，剛出來我我有試，
但我沒有試很熟啊，因為我現在都在玩拍啊， 那就他的
他。它的理想跟拍很像，就是一切皆為外掛，
一切皆為外掛，拍也是一切皆為外掛，
它只有四個的工具，read
write edit 跟跟 bash，
有了 bash 就無敵了嘛，對不對就無敵了啊好
，一周採購 GB10 問題啊，怎麼調整啊就是好，
我我就是我剛跟保哥聊過，就是設設定它的
它的時脈啊，怎麼設定啊？
非常簡單啊，非常簡單啊，在這邊設定，
嗯，你要設定你的
DGX Spark 的這樣子啊，就是
啊，他是用 systemctl 去設定他的時脈啊，
那我我懶得打 systemctl，我直接就就問他了哈，
我現在 DGX Spark 的石
䘑為最高為多少? 他
就幫我設定好了，那
他的最高是 3003，那我之前設兩千會發現兩千有點慢，
而且都四十幾度，我就把它上調到兩千一，
那我會慢慢試啊，就有空就把它上超頻嘛，
就把它慢慢兩千兩千兩千慢慢試啊，看到他哪邊盪掉，
我就把它壓壓回去啊，現在你就直接跟他講， 那你說你
就這樣幫我設兩千五就這樣試，他幫你試好了啊
好，繼續
對，就直接問他就好了嘛，簡單的哈好思思考速度加快方式，
CPU 依賴什麼軟，
思考速度加快方式一定是根據你的 Inference Engine 啊，
它很多地方，例如說嗯
，你看 MTP 一定有幫助了啊，那為什麼?
因為 MTP 它是一次會丟出多個 token，MTP 有好幾種做法，
那它可以做嗯，有些做法是它就是用自己本身的模型去判斷它
他多丟出來的 token 有沒有命中，
有些是會下載一個小模型啊，
他會偷偷下載一個 2.7 或 2.8G
的模型去判斷這些丟出來東西有沒有命中啊，
那一個叫一個叫一個叫 DwarfStar，一個叫做 EagleMTP 啊，
自己選擇自己試啊那嗯，但是你要有一個概念，
就是說我們用這種 DJspark 啊 Apple 啊，
它的思考速度絕對不會多快啊，
要有心理，要有心理準備了啊，好
兩台 GB10 串起來會比較快嗎，會變快
為什麼？因為它把模型的 layer 放到兩台去，
所以呢你同時會讓你的 token 經過，它複製成兩份，
經過兩個兩台機器，所以會快啊，會快會快一點啊，
但是不是快一倍，快一點，那四台八台會更快，
三台五台不會比較快，它串接很多種啊，那根線好幾千塊啊，
所以看你怎麼串了啊，好
串接兩台 DGX
可以放 128G 可以沒有問題啊，沒有效能會好一些，
好處就是放更大模型快一點點，然後呢，
你的團隊可以人更多
為什麼？因為我們看看它的平行併發量，就是你模型大一點，
然後你記憶體多一點，同時大家可以一起進來做很多事情，
就併發量變大啊，
多人使用一台 GB，可以一個人撐幾個人使用啊，
我跟你講個數字啊，例如說我用Qwen 27B，
嗯，我開 8 個平行數就 8 個併發數啊，
那，他可以到
100 個 token 每秒左右，那你就要想，加上思考加上回應的話呢，
我覺得一台大概 8 個平行 100 個 token 五個人用應該沒問題了，
其實 8 個人用都可以了，就是看你要做什麼，你做 coding 比較慢，
像這邊還在，還在，還在寫程式嗎？
這邊啊，這邊還在寫程式啊，那它你寫好它已經完成了，
它已經完成了啊，那
那當然人多就會稍微慢，
那就是說你做 agent 啊什麼，或是如果你要抓圖，
你要做 Computer Use 都會慢一點，會慢一點點啊
好，啟動嗎？
vLLM 啟動好，呃，啟動啟動參數對不對？
好，啟動參數呢？
說句老實話，我都把它寫在 docker 裡面，
我我也要去找，我要去找啊，我找找看啊，
我都寫進 docker 中了啊
好，我找一下，我找一下，
呃，我先看我 docker 哦
其實我有分享啊，我有
分享啊，2247 這
個 2247
嗯，我忘記了，好沒關係，我我只有在貼上 Slido，
嗯，我忘記了好沒關係，我我只有在貼上 Slido，
我沒有忘記了啊，那大概我我我臉書有臉書其實有寫，
臉書這邊有寫哦，臉書有寫，
臉書其實有寫
，但這是抓圖啦，所以可能就你你叫你叫Claude幫你轉一下
轉成那個轉成文字啊，
轉成文字，這邊這一個這個這個啊， 你
可以看一下啊，就是因為當時我遇到一個問題，
就是我的他給我弄錯了，
他給我弄了啊，好，就在這邊啊，
去我臉書看一下就有了啊，好，繼續啊， 繼續
Claude Code 上面顯示花多少錢跑多少，那是一個叫 statusline，
然後自己寫怎麼寫好，很簡單喔，
你把我的 Claude Code 這個圖啊截下來，
截下來啊，它就是讓你看一下
喔 Claude Code
喔我給這個不准，我給你看我做過我做過的專案比較准喔
啊，這是我做過專案，就就長這個樣子啊，
你如果現在看得到我看得到我的畫面，
你把這個圖截下來，就把這一塊截下來，
然後告訴你啊，Claude 說幫我根據這個圖做成一模一樣的，
就這樣打啊，幫就是我把它截下來，
對不對，幫我根據這個圖，
你要貼上這個圖啊做
做做出
做出一模一樣的
statusline就好了，這樣可以了，
這個就叫 statusline 功能，就是這個是目錄名稱 git 的狀態啊，
如果 git 沒有沒有 push 沒有 commit，這邊一個會有個信號，
目前用的模型思考長度
輸入輸出 token 大小，它的快 KV Cache 快取命中率花了多少錢?
用多少時間，每小時剩多少，
5小時剩多少，
7天剩多少，就這樣子，就這樣子啊好，
繼續我要 Slido 啊，
反正就我這是我習慣的 statusline 啊，
你可以自己去看，你要放什麼，有些人放的跟我不一樣啊好，
小七頁裡面最多四個人問問題，rack 可以沒有一台就夠了， 一台就夠了
公司要加這個模型給破百位啊，破百位工程師，
如果是寫程式啊，
那我我是建議你就直接去加一個 DeepSeek 的 Pro 版啊，
那那個其實大概就兩台
GB300就是200000美金應該就夠，
看你們做什麼啊，就是如果說你一定要產生好多萬行程式碼嘛，
可能不夠，但是就你們可以先拿一台 DGX Spark來試，
就說看幾個人夠用，然後照那個速度跟規模再 scale up 上去試試看啊
好 OpenPlus 音樂什麼入門體驗 agent， 那你就裝一個
呃，ChatGPT Work 就可以了，那 ChatGPT Work 就長這個樣子啊，
這這個我我就每人都在用啊，
每人都在用啊這個
這個東西啊，這個就是一個本地端的 agent 你就可以用了啊，
就你叫他幫你做事就好了，幫你做事，然後就裝上去登入就可以了，
就可以做事了，可以寫程式可以，他可以 computer use 啊，
這個非常非常重要，computer use 可以幫你抓圖啊，
幫你操作軟體啊，幫你去做很多很多事情啊，
這是體驗最快的方法，因為你已經有 Plus 了，
那他的現在給的那個額度非常非常非常，
非常非常大方了啊，好，
呃3278、2732、73跑本地夠了，
就幾個人夠了，他的是273GB 了，
那所以就夠了啊，有過客戶需要用 local model 是無縫處理的，
很多啊很多啊，我就說，呃 local model 跟，
呃 frontier model 其實還是有差別，
呃差別其實不小，哦那但就說，
呃，還是講那句話啊
agent 的上限不是 model 是 harness 啊，
那所以你用到好的 harness 其實你的你可以解決很多很多的問題啊，
但當然就是我一直講，就是現在 LLM 它一直在把 model，
它一直把一直在把 harness 吃掉好，
我舉一個很簡單的例子來說啊，就是今天我們用 Claude Code，
我可以讓各位看一下我的 Claude Code 的 cloud，我剛剛看過啊，
就是說嗯，
我我一直有個原則，就是說能用 CPU 解決的事情
就不要用 GPU 解決
為什麼? 因為 GPU 是 non-deterministic，
就它是一個不確定性的東西，LLM 是機率分布，
它丟出來 token 是根據最高機率來排序出來的，
所以它是 beam search，所以它是
一個 token 的序列，它找出這個序列的最高機率，
現在它是機率模型，那它是 GPU 產生的，
所以它叫做 inferential，它是推論出來的，
但是 CPU 產生的結果是一定正確的啊
好，什麼是 CPU 產生的?
例如說你跟你的 agent 說，幫我把下面這個
呃這某個網頁的 YouTube 下載回來，
然後呢，把字幕抓出來，
這個動作呢，充滿了 CPU，為什麼?
把 YouTube 下載回來是 yt-dlp 這個函數它就可以做了
把字幕抓出來是 ffmpeg 這個程式，
它的指令，它的函數都完全一樣，
這個為什麼要用 LM 來做，所以呢你的 LM 如果 harness 如果夠好，
你告訴他說我的我的 agent
好了，我們看啊
如果我我告訴他我的 agent 有有有這些東西可以用，
看我今天我還寫好了啊，我的手機東西可以用
這些都是 CPU 的指令，那 LM 它本身就產生這些指令，
它不需要去猜了啊，那這一次就搞定它 one 下就成功了，
所以你的 harness 裝得越好，
你的 agent 會越棒啊，所以我覺得 agent 上限絕對是 harness，
不會是 LM，當然
當你的 LM 不斷進步之後，它其實拆這些指定的格式它都不用查了，
它一次就中啊，所以你把你的呃，
你的工具準備好，你的 harness 準備好啊，
我覺得你的 agent 更好用好，這我就自己觀察了啊， 好
我 96、97GB 很夠用啊，兩張那太夠用了，
你這你這加起來 192GB 就可以跑 Q4 的 DeepSeek-Pro 嘍哦，
就可以跑這個非常非常夠用哦，很夠用哦好
同時載入多模型，建議用什麼模型做搭配，
主力在快速模型多應用情境哦，
那其實呢，就是說我我覺得啊，因為你你不太可能有夠大的
嗯，如果你有夠大的 RAM，
那載入多模型那 OK 了哦，那我自己試過 PiAgent，
它是可以用 Sub-agent 去選模型，
選模型啊，那那
也是可以去定義 Sub-agent 去選模型，
只能用它自己的模型啊，那當然就是你，
嗯，如果你要再有多模型呢?
其實我覺得嗯，我的我做過的是一個
嗯，加上一個，當時我用的那個是沒有
沒有 vision 功能，我就載入一個千問的 7B 的 VLM 同時載入，
那我是用 VLM 這個這個方式把它載入，
都可以搭配了，當然要看你 RAM 夠不夠大啊好， 那
LangChain 跟 Fireworks 是做什麼?
LangChain 是一個呃
如果你想開發一個 Claude Code，就用 LangChain 啊，
你就用 LangChain 啊，那 LangChain 就就就可以就可以開發它，
它入門叫做 DeepAgent，你可以開發一個 Claude Code
再就叫再叫那這些東西都非常非常適合開發一個
呃 LM 來用啊，
那開發一個一個 agent 來用啊好那但是就是呃我我是很建
議不是在推出啦，就是我建議我建議 Pi 啦，
我建議 Pi 哦，那 Pi 它其實可以讓你了解一個 agent 在幹嘛啊好那
我看啊
連線不要錢啊，它它不是賣的，它不要錢，它不要錢啊，
你就用它的套件就直接開發就好了啊好那
Fireworks 呢就你是在講 FireworksAI
嘛對不對講這個公司嘛對不對 FireworksAI
嘛啊那 Fireworks
AI 是一個嗯，它是一個雲端雲端唉，
我的麥克風還在不在，它是雲端推論平臺哦，
所以就你就是用它的雲端推論平臺，
它也可以訓練模型啊，那台北有賣，它就上網看它價錢就好，
這個東西我比較少用啊
有沒有開源直接使用啊，方便修改調調整，
它呢就是 Pi 啊，
Pi 就是一個開源可以調整 Pi 跟OpenClaw
/ Go-Pi 跟 OpenCodeInterpreter 是
開源可以隨便隨時調整，隨時放你要的東西啊好，
那為什麼我那麼建議 Pi 啊，不是賣書，因為它很模組化，
它可以隨時放上你要的東西跟你不要的東西就拿掉，
它又很小，而且它很快啊，所以我建議 Pi，
那OpenClaw / Go-Pi 是一個
以 Pi 為原型，但是他把他認為大家最常用的東西全部一起放進去，
讓你一次用個夠好，所以你如果你想試試看，
嗯，很很細微調整的就用 Pi，
如果你覺得還不夠細微，那你就用剛才前面那個呃留言的網朋友提到，
你就用 LangChain 裡面 DeepAgent
自己開發一個呃 coding the harness 啊好，
那目前就沒問題了，那我我看一看剛才
那個東西就寫好了啊好，那你們想看看嗎?
想看我就把它抓出來看啊，我就把這個東西它叫做 scam，
它是放在沙箱中啊，放沙箱中啊，
所以呃，我叫他把它轉成純文字好了，
我這樣我們就不用把它複製出來了啊
我就不用複製出來了，我就這邊我就讓你直接看他看他做，
看他做得好不好了，那我們就就看完之後我們就結束，
因為今天也就我本來只準備一個小時，
那當然保哥說過這個這
這場子會延時啊，
所以就沒關係，我們就等他一下
被被我們進來講了兩個小時
沒到12點沒關係，兩個半的兩個半的沒事沒事可以好玩好玩，
因為就真的不累啊，真的不累是
好，我等下等下放歌放歌補償你一下，放歌補償我就可以去輕鬆一下了
對啊，我真的是沒有，今天很開心啊，
因為好，我們直接看，我直接看啊
對啊，他就他就做完了，他做非常好啊，他做的是非常棒的，
他就看啊，嗯，這邊嘛哈，這邊， 然後這邊
，然後這邊好，這邊有沒有啊， 這邊
ok，所以我不知道你們有有沒有感覺，
就我這個東西在十年前做這個事情啊，
我如果十年前我能幫銀行做到這件事情，
我就可以賺很多錢的，但現在就是一個地端模型就完成了，
就完成了。好，那我們今天的分享就到這邊，
那請保哥先放下歌，讓我讓我讓我讓我舒緩一下
，然後我們就看，因為 Slido 應該沒問題了啊，沒了好，
這個問題來聽說千問比 DeepSeek 好對對沒錯好很多，
又小又快又有直覺多模態，它又能長期運行，
就是我覺得就是說以 DGX Spark 來說
他只能跑 Q2 的在我的 DGX Spark上，
Q2 實在是不行，我剛剛講過 Q4是甜蜜點再往下掉，
像那時候我為了跑 GLM 在我的在我的 DGX Spark 上面，
我跑到 Q1 根本不能用啊購書連結就在投影片有吧好
那沒事就大家想買就買，不想買就沒關係，
去天瓏，因為去天瓏的話呢，呃比較便宜，
好像是79折，博客來好像比較貴啊，
我也就比較便宜啊好那就
我今天分享到這邊，那就把時間還給保哥， 謝謝
好，那我們大家掌聲鼓勵鼓勵，
謝謝 Josh 啊，這個今天非常非常的精彩啊
好，那我們就先到這邊告一段落嘍，