工作清單

從模型部署到 Agent Harness：Qwen 3.8 27B 與 DGX Spark 實機示範

逐字稿文字預覽

啊，就開始錄了，OK，呃， 聲音斷斷續續嗎? 這樣聽得清楚嗎?
好，可啊，不好意思，可能我就那我離麥克風近一點呢，
近一點。OK，那所以呢，
我們從今年1月開始一直被這些 Frontier 模型廠商封號，
封號之後呢，然後我們就開始探討其他的模型選項了，
那這時候再加上呃
地端模型的慢慢的出現了
所以我們就開始考慮在我們的 agent 來使用地端模型啊，
那也沒想到這半年地端模型的發展已經變得有點有點可怕了，
有點誇張啊好，那今天呢，我的主今的這個分享的主題
就是在談我們用一台 DGX Spark 來跑一個 agent 啊，
那這個 agent 呢，我們會跑地端模型，
我們會跑開源的 harness 啊，那我就會，
那今天的分享時間呢可能會很長，因為保哥的場子都是無限制的啊，
不限時啊，所以呢，我我這個場這個分享我會呃可能會帶一點，
同時我在講我有一個準備一個投影片， 那這個投影片我在講時候會會有時候會離開一下去示範嘛
好，所以呢，我們就開始吧哈，
那我先說，如果說我們今天的時間超過了我超過1小時，
我會先休息10分鐘，讓大家去喝個水上個廁所，
然後呢，我就繼續，我儘量把投影片講完嘛，
那就希望大家不要太累，然後我們就順利把這件事情走完了哈好，
那我先自我介紹一下啊，自我介紹
啊，我是胡嘉璽，其實我很多年前照片的時候還年輕啊，
那我目前是嗯嘉崎人智的技術長，
然後呢，我做過很多事情啊，然後呢，我因為我在這個行業很久了，
所以做過很多事情，那剛好最近就這其實我投入 a，
大概是2014年投入 AI，那那個時候其實就是我們就是玩玩 YOLO 啊，
玩玩 LSTM 這一類東西，玩玩一些 CNN 的東西啊，
那2017年開始就比較有
有 GPU 可以用，那時候用1080好，
所以我就一直在這個行業裡面待著了啊，
那我希望大家能同時加入我的 Facebook 的粉專，
跟我們這個粉絲這個這個社群，
因為我我前剛好休假到呃上禮拜哦，
所以就比較比較沒有那麼多
呃更新，我平常一天更新三到5篇 Facebook 文吶，
都是我，我敢說是跟矽谷同步啊，
因為我我很喜歡看他們那邊的消息好，
所以我希望大家加入我的粉絲團， 然後也同時加入 Vibe Coding Taiwan 這個社群來獲得最新
新的 AI 消息，當然我常常會翻車啦，
最近有有常常寫錯東西，但是希望大家體諒，
那我當然儘量就儘我的所知來跟大家分享我知道的東西啊好那我
們在這個今天的分享會最後呢會開放一個 Slido 的問答啊，
那當然這個問答各位可以盡情的提問啊，
當然有些問題我不會，但是我會去問 AI 啊，
那或是我自己去實驗，我會的，我就儘量簡答，
那大家儘量提短的問題， 因為有時候因為問題太大就來不及答啊好那大家別忘記加
入我的粉專跟 Vibe Coding Taiwan OK，
那今天我們講八個部分，我每個地方都會儘量去示範哦
那我們會談談什麼是 agent， 因為大家因為我呃上四天呃禮拜兩天前我去參加呃 GenAI
小聚的年會，其實我覺得大家對 agent 的了解可能還沒有那麼清楚，
就是因為它有點亂啊，我們會講 model，
然後我們會聊一聊最近最紅的 DeepSeek-V4 呃8月13號出了 Pro，
然後7月31號出了 Flash 好，但是其實後來又出一個更更棒的模型啊，
一個 Dense 的小模型，會大概聊一下它的技術技術
但是不聊技術的名詞，聊一下它大概做什麼事情，
然後呢，我們會談一談地端模型的重要性必要性啊，
因為為什麼?因為我的客戶，嗯，常常碰到就是安全邊界的問題，
那所以呢，地端模型部分解決他們的問題啊，
好，然後我們會看看怎麼認識一個 model，如果你要用地端模型，
你勢必要去 Hugging Face 下載 model，你怎麼認識這個 model，
它講了什麼東西，它的名字代表什麼?
好，然後當你有了一個地端模型的機器，
你有了第一個 model，你就要知道怎麼樣讓它來幫你做事，
我們會講一下 Inference Engine 有哪些好用的 Inference Engine 呢，
然後呢，我們會談一談 harness 啊，
那這個東西就很重要，為什麼?
因為不同的 harness 代表了不同的安全邊界啊，
代表不同的呃，當出現問題時你你你會受到多大的影響，
然後最後呢，我們會做示範就是
我用不同的 harness 不同的 model 組成的 agent，
讓它跑一些簡單，從簡單到一些安全性比較高的東西，
然後會跑一跑，然後我中間可能就會示範好那
OK，那我們就開始吧，第一個我們先談談 agent 是什麼東西
其實 agent 很簡單哦，那麼其實大家還一直在一
直在想說 agent 什麼是 AI 什麼是 agent 什麼是
LM 嗎?
其實很簡單哦，就是 agent 它是一個幫你做事的東西，
它可以幫你做任何事情在你的電腦上啊，
所以它有安全的問題，那麼它要做電腦的事情，
它就必須控制你的電腦， 所以呢你的 agent 大部分是裝在你的電腦裡面的啊好，
那麼 agent 它主要分成兩部分，第一部分叫做 llm
LLM 啊，那
麼第二部分呢，就是除了 LLM 之外，
agent 其他東西都叫做 harness 好，
我舉一個最簡單的例子的話啊，一個 NBA 球員，
他的身高體重，他的呃
百米衝刺速度，他的彈跳高度就是 model，
這個變不了啊，這個他改變不了他，
他這是他的天分啊，那他去這個他的身高體重，
百米衝刺速度，他的呃彈跳高度之外，
他去訓練的技能，例如說運球技能三分線技能跟團隊配合的技能，
這叫做 harness 啊， 所以這個 model 加 harness 造就一個 agent 是否多強大，
就想說一個 NBA 球員，他除了身高體重
彈彈跳高度的百米衝刺速度之外，
它有命中率啊，還有什麼助攻阻攻啊，
那這些都會影響它的能力的啊好，
所以呢，我們在談一個 agent 的時候呢，
我們一定會談 lm，它的大腦跟它的其他部分叫做 harness 啊，
我不知道 harness 怎麼翻譯，那我就講 harness，
因為大家都講 harness 啊好，那麼這就是一個 agent 的組成，
那麼我剛才也講過，agent 一定是裝在你的電腦裡面
啊，如果它在瀏覽器上，它就是瀏覽器上的 agent，
它只能處理瀏覽器
之類的事情啊，它控制不了你的電腦，
它不能幫你把 excel pdf 寫進你的電腦中，
它不能 Computer Use 去控制你的電腦來做什麼截圖啊什麼事情不行啊好
，那麼我們就把 agent 分成 model 跟 harness 兩部分之後呢，
我們就來先來看 model 篇啊 model，
那麼 model 是什麼好，其實 model 呢就是一個檔案，
它就是一個壓縮檔啊，它把全世界它看過的資料
壓縮成一個小小的檔案好，
那麼全世界資料有多少呢?
啊，那可能幾千 T 幾萬 TB，
他們其實有數字是就是說幾幾萬億個 token 啊好，
那麼他把全世界資料拿過來，他看過一遍，
他把它大概樣子壓縮成一個大概幾百 G 到幾 TB 的檔案好，
你們會不會用說全世界資料去哪裡找，來這邊找啊，有啊，
有沒有這個東西，有叫做 Common Crawl 啊，Common Crawl
想不想下載?
可以下載，沒問題啊，沒問題啊，沒問題
呃，先準備個 3000 台，第 3000 TB 的硬碟試試看啊
呃，那是壓縮的，壓縮，我不知道啊，它可以下載啊
好，那這就是全世界所有資料，那麼它會經過一個壓縮的演算法啊，
那你們可以去看一看啊，它一直在更新，
每幾個月更新一次啊
好，那麼壓縮的演算法呢， 是什麼?那
其實已經沒有變了
2017 年我們全部都用 self-attention 或叫做 Transformer 來做壓縮演算法啊
好，那麼自從你找到全世界資料，
你找到演算法，把壓縮成一個幾百 G 到幾 TB 的檔案之後呢，
那這個裡面就存了這個全世界資料它的一個副本，
好，那當你在問他問題時，他就會從這個壓縮檔裡面去找出最適合你
問的問題的機率最高的那幾個答案好
那麼 2024 年它出現一個新功能叫做 reason，就是什麼，
它在找答案之前，它其實會自己自問自答去想一下哦，好，
2025 年出現 Toolformer，什麼意思，它開始能生成，
它還是只能生成文章，這是 token 啊，
但它 token 裡面可以帶有程式碼或是函數名稱好
啊，那麼這時候只要我們準備一個什麼?
準備一個 agent loop，我這樣講比較比較，
我不講那麼那麼硬的東西，我準備一個監看者啊，
我在這個 AI 模型生成的這台電腦上面裝一個
監看器，當我監視它出現程式碼或是我所規定的函數的
名稱加參數時，我就把這段程式碼或這個函數拿去執行，
我就開一個 sandbox，開一個沙箱去執行了，好，
執行完的結果呢，可能是一段文字或是一個錯誤訊息，
我把這個訊息再丟回這個 LLM 去接龍，
好，這時候呢，我們就稱為這個 LLM 具備了工具使用能力，
為什麼?因為我們有個 orchestrator 在找一個 sandbox 幫他執行東西好，
那當然現在我們的
LLM 它必須看懂圖， 所以呢我們在這個 LLM 裡面我們會可能會放一些圖的 token，
就我們叫 patch，叫 pixel patch，
那它就能讀懂圖啊，那它不能產生圖，
但是它看得懂圖， 所以 Anthropic Claude 系列是看得懂圖， 但它生不了圖
看得懂圖很重要
為什麼？因為當我們要用 Computer Use 操作電腦畫面時，
我們需要大家看得懂螢幕上面東西啊，好，
那有些做法是外掛一個 VLM，
例如說我們在做地端模型時， 我們可能用的模型是一個單純的文字的 LLM，
這時候呢，我們需要再外掛一個小一， 可能 20bit 的 VLM，VLM 沒有多大，
那他看懂文字圖裡面的，呃，看懂圖可以產生文字就好了啊，好那麼
模型呢，大概就是這樣子啊，那麼一個模型，
目前模型分成兩個兩大類，
第一大類叫做 frontier 閉源的商用模型，
大家都知道就哪幾家啊， 就是那就是那三四家 OpenAI 的 GPT 系列，Anthropic 的 Claude
系列有，有四個，有 4 個強度，
沒有 Haiku、Sonnet、Opus、Fable
好，那麼 Google 有 Gemini Flash、Pro， 那 xAI 有 Grok，先到 4.4.6，非常強哦，好，
那麼另外一家就是搞笑的我就不講，就是 Meta，
那它它到底要幹嘛，我也不知道，它之前說要做開源，
他媽做了一半老跑，然後現在做一個 Muse Spark，
又說要把它開源啊，所以我我就不把 Meta 放進來啊， 好那這個這這個這一個派系呢，
就是它是一個閉源模型，它的權重沒有開放，
所以呢你只能用
你只能用 API 端點的方式呢，或是你用訂閱方式去用它，
那當然各位其實可以知道，就是嗯，
我在前天的小聚呢，那聽了 YC 的演講，
那其實我當時有個疑問，我在我 Facebook 上也會寫，
就是現在這些模型廠商，這些美國啊，
美國之外，我另外我再等一下再講，這些美國的模型廠商，
他們的模型價格合不合理，
我想我們各位可以問問自己自己問問看啊
我是有訂閱 200 美金的
跟 200，我有訂閱 200 美金的跟 GPT Pro 都有訂閱啊， 那我需要啊
好，那其實你們都知道，
當你隨便寫一個專案時，你都會發現你下面的
那個那個那個用的多少錢，那一個月早就超過 200 美金了
其實我大概算一下， 就是我常常聽到人吹噓說我這個月已經用了二三十萬台幣的 token 費用了
其實你隨便寫一個專案大概就一兩百美金的差不多了啊，
好，但是就是它的定價怎麼定的
有沒有想過，第一個他美國的電費啊，
我就不講，美國電費很貴啊，那美國的能源都很貴，
所以美國電費就是第一個，第二個他們的工程師的科學家的薪資是
NBA 球員的薪水啊，是百萬千萬美金等級的，
這第二個成本， 第三個成本他們只能只能用 NV 跟 AMD 或者是 Google TPU，
他們的硬體成本比較貴，NV 很貴嘛，
所以呢，這個成本反映在我們身上你們覺得合不合理啊?
本來我們都覺得很合理，因為軟體公司做一個軟體做一個模型出來，
它不斷的讓那模型被重複使用，它去收錢啊，
這是很合理的事情啊， 就像 Office 就像 Windows 一樣一直一直拿出來賣錢呢
好，那這個東西什麼時候被打破?
等一下講啊，就是這個成本到底合不合理啊好，
那這就是閉源模型了，閉源模型你只能這樣用啊，
那 API 加上它定價我就不多講了，第二個陣營啊，
叫做那閉源模型呢?
它其實有一個大問題就是它服務全世界幾十億人，
所以呢它必須每方面都很全面啊，那它消耗到巨量的參數，
閉源模型呢，幾乎都是很大的參數啊好，
我先講右邊這個女生是誰啊， 右邊這個女生是小米的天才少女叫做羅福莉啊羅福莉，
那她在今年 3 月講過，她說啊，
現在你要進入模型這個市場，不管是開放權重或是閉源模型
你的入場券是 1TB 啊，這是 3 月的事情啊，
但各位記得記不記得去年上，就是上個月發生了什麼事，
就是 Kimi K3 2.8T，然後千問 3 是 2.4T 啊，
所以呢現在看起來就是要玩，
你要你要進入這個戰場，你要開始提供模型，
這種大量模型服務呢，你的成你的機，
你的模型入場券是 2T 以上啊，
那其實像 GPtextra 應該是 5T 啊
那那信託下一代的 Opus6 也是 5T 或 10T 啊，
那像八一代的字節跳動，他們也一直說要開開開放權重一個模型，
號稱是 10T，不知道，反正就是這樣的模型，
其實閉源模型它其實是很難經營的，
它的成本太高， 所以還是小小君那天的話題就是很多很多年輕人都都執著在 Trend 模
型上面啊，其實他們講錯，他們在 finetune 啊，
我們已經沒有人了，這個全世界能 retrain SFT
的公司或團體已經沒幾個了，
我數都數得出來，已經沒幾個，可能就 20 個了啊，
那大部分集中在中國啊好，
那麼這是閉源模型的問題了啊好，
那麼第二個第二個陣營叫做開放權重模型，
它不是開源，它的程式碼沒有開源，但它的權重開放下載，
它在 Hugging Face 你可以下載啊，那它的權重長什麼樣子，
下載回來你就可以自己進去看 ok 啊當然
它的價格就是它只有幾層 attention 啊

來源：transcript.txt

本次執行流程與問題處理

  1. 下達指令

    指令：videonote https://youtu.be/7tNIw_gHeSI?si=G2V1bAUg7sHKv3JS --language zh --adopt-source-subtitles

    來源：https://youtu.be/7tNIw_gHeSI?si=G2V1bAUg7sHKv3JS

    辨識語言：zh ｜ 參數：--language zh --adopt-source-subtitles

  2. 預期流程

    依指令產生的處理順序：

    1. 採用來源字幕（略過語音辨識）
    2. 來源選擇與品質檢查
    3. 文字校正與句子單元
    4. 筆記與發布
    5. 公開網頁發布

  3. 1. 下載與語音辨識

    工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）

    處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿

    產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）

    耗時：15.3 秒

    關係：依序執行

    結果：完成

  4. 2. 全文快速校讀

    工具：videonote_rapid_transcript_review.py

    處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目

    產出：rapid_transcript_review_report.json（產出檔案）

    耗時：120.4 秒

    關係：依序執行

    結果：完成

  5. 3. 建立句子單元

    工具：videonote-build-sentence-units

    處理：將逐字稿切成帶時間軸的句子單元

    產出：sentence_units.json（句子單元）

    耗時：0.5 秒

    關係：依序執行

    結果：完成

  6. 4. 時間軸稽核

    工具：videonote_timeline_audit.py

    處理：檢查時間軸與音訊對齊

    產出：timeline_audit_report.json（時間軸稽核）

    耗時：0.5 秒

    關係：依序執行

    結果：完成

  7. 5. 品質檢查

    工具：videonote_controlled_quality.py（檢查時間軸與品質）

    處理：檢查語言、時間軸與可讀性品質

    產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）

    耗時：720.7 秒

    關係：依序執行

    結果：完成

  8. 6. 播放時間軸回填

    工具：videonote_rebase_display_timeline.py

    處理：將網頁播放時間軸回填為校正字幕時間

    產出：display_timeline_rebase_report.json（時間軸回填報告）

    耗時：0.8 秒

    關係：依序執行

    結果：完成

  9. 7. 來源句整理

    工具：videonote_prepare_source_entries.py

    處理：整理來源句子供時間軸與頁面使用

    產出：sentence_units.json（句子單元）

    耗時：0.8 秒

    關係：依序執行

    結果：完成

  10. 8. 生成筆記摘要

    工具：videonote-generate-note（生成筆記摘要）

    處理：生成筆記摘要與重點

    產出：note.md（筆記 Markdown）、note.html（筆記 HTML）

    耗時：144.0 秒

    關係：依序執行

    結果：失敗

    問題：exit code 1

  11. 9. 建立筆記頁面

    工具：videonote-render-html（產生筆記 HTML）

    處理：產生可閱讀的筆記 HTML 頁面

    產出：note.html（筆記 HTML）

    耗時：0.3 秒

    關係：依序執行

    結果：完成

  12. 10. 發布公開頁面

    工具：videonote-publish（發布公開頁面）

    處理：發布到公開網站與每日列表

    產出：公開筆記網址、result.json（管線結果）

    耗時：0.4 秒

    關係：依序執行

    結果：完成

手動來源字幕

自動來源字幕

Whisper 字幕

Qwen 字幕

Parakeet 字幕

MOSS 字幕

聲學時間證據（PyAnnote / WhisperX）

校正前後逐字稿

目前待解決問題與初步改善方向

進一步精進字幕與筆記
使用 Workbench 上傳校正字幕、中文參考稿或回饋 SRT，重新產生雙語與學習單元。
開啟 Workbench