哈囉，大家好 歡迎收聽科技浪 我是主持人哈利 科技浪是一個白話跟你聊科技的 Podcast 希望可以用簡單易懂 但是又深入的方式，帶你了解時下最火的科技話題 本期節目由犀牛盾贊助播出 好 那過去這一週 就是算是蘋果發表會結束的第二週 就是有一些初步的評測都已經出來了嘛 對不對？ 我不知道大家看到這個 iPhone 18 Pro 有沒有決定要購買呢？ 當然 跟 17 Pro 比起來 確實沒有多少的更新，對不對？ 但我自己還是會換 因為我現在其實原本我的 iPhone 我有很多支手機，那 iPhone 就是有一支 17 Pro 它也算是我主要的手機之一 那我還是會想換成 18 Pro，是為什麼呢？ 其實，老實說啦，單純看這個 就目前看 CP 值，真的是沒有到那麼高，OK 就你換了之後，你得到什麼？ 就更好的電池續航跟晶片效能以及相機 那相機那邊就是有個可變光圈嘛 對不對？ 然後當然還有顏色啦 顏色對我來說還好啦 好，那你就得到這些嘛 那這個真的值得你多花那一兩萬塊嗎？ 我覺得對於很多人來說 就現有的體驗來說是真的沒有到很值得，OK 然後我自己本人，就我目前的使用狀況呢 確實也真的沒有必要 就是多花這一筆錢這樣子 但我還是會換，是為什麼？ 因為我的想法是比較接近，我買了先放著 這個能力我覺得我未來會用到，我買了先放著 我現在還用不到 我們今天這集業配時間比較長一點 剛好願意跟大家分享一些我自己的想法 我們現在都還沒講到業配產品 反正我的想法就是，因為這個 iPhone 18 Pro 他們用了這個新的晶片，叫做 A20 Pro 的晶片嘛 對不對？ 它跟上一代 A19 Pro 比起來呢 當然就是在各方面的表現都有提升啊 那他們 demo 很多打遊戲的散熱效果比較好啊等等的 但那些評測員都沒有 demo 到的一點 是它的 AI 運算的表現 它的 AI 運算表現不是提升一點點而已喔 提升非常多喔 我看有一個網友發了他的測試在 X 上面 他是跑 On-Device 的 Apple Foundation Model 他發現一個長 prompt 的 time to first token 直接從 A19 Pro 的 2000 多毫秒變成 1000 毫秒 直接砍半 整個 time to first token 都快非常多 當然，我知道很多人就會說，蘋果根本就沒有 AI 那你現在買來放著有什麼用？ 我覺得快了啦，真的快了啦 你聽我們之前在分析 Apple Intelligence 的那幾集 Apple Foundation Model 的那幾集 你就會知道蘋果在這邊已經有在做準備了 尤其像這個更強的 Siri，iOS 27 其實我不知道這個中文版到底什麼時候會推出 但我覺得 如果推出的時候 大家中文版用到的是接近英文版的這種滿血狀態的話 會很有感啦 真的 那如果你已經準備好 要下單 iPhone 18 Pro 了 手機殼也必須先準備好 那這次要跟大家介紹我最近最喜歡的 這個太空級防摔 犀牛盾 AirX 極致氣墊緩衝殼 那 AirX 的防護到底有多強呢？ 你知道犀牛盾他們把 AirX 送到瑞典太空中心 進行超過三萬公尺近太空高度的摔落測試 你沒聽錯喔 三萬公尺 那它經歷了，這個手機包著殼，經歷了極致低溫 真空環境跟高空落下來的衝擊之後呢 手機竟然還可以正常使用 這個是創下了全新的世界紀錄的 那 AirX 可以做到這件事情呢 關鍵就在於 AirX 裡面有 360 度的包覆式氣囊 搭配了這個犀牛盾獨家的內傷防護複合系統 可以把摔落瞬間的衝擊力給分散吸收掉 那你可以想像 就是我們幫手機裝上了一圈安全氣囊 可以降低摔落的受損機會 如果你挑手機殼 也很在意顏色跟手感的話 可以看看犀牛盾的 SolidX 強化吸震緩衝殼 這個 SolidX 它的霧透系列可以透出 iPhone 本身的顏色 很百搭，再加上它很細緻的磨砂質感 摸起來很舒服 也抗污耐髒。內側四個角落 也是有緩衝槽的 所以它的外型跟防護都有顧到 也很好拆裝。另外也有其他的 像是主打終身抗黃保固 如果變黃了，可以免費換新的 Clear 透明殼系列 以及全新的裸機感 Bumper 邊框殼 連螢幕、鏡頭保護都可以一起備齊 現在購買任何一款手機殼 保護貼還有限時 7 折起 舊殼也不要急著丟 犀牛盾現在有 RHINOLOOP 手機殼回收計畫的大進化 加入官方會員，完成手機驗證 再啟動舊殼回收的話 新殼就可以折抵 500 塊 那或是你在官網結帳的時候呢 輸入我們哈利的折扣碼 這個科技浪的限時折扣碼 i18-harry，小寫的 i 然後 18，然後 dash harry，都是小寫的 這個我們在本集資訊欄也會提供折扣碼 你就可以訂單直接滿 700 塊，現折 100 塊，OK 所以這個連結跟折扣碼都放在節目的資訊欄 準備換新 iPhone 的朋友，可以記得去看看 來幫新手機先把防護給準備好 本集業配就到這邊結束，謝謝犀牛盾的贊助 各位，我們必須得來聊聊 Jev，J-E-V，Jev 過去這三天的社群媒體 不管是 X 還是 Threads 全部都是 Jev，怎麼滑都是看到 Jev 十篇裡面至少七八篇都是 Jev，如果你不知道的話 這個 Jev 是過去這一週 AI 圈最大的一個新聞 所有人都在討論的一個新的 AI 模型 那它是由一間叫做 TypeSafe AI 的公司在上禮拜推出的 那你如果沒有聽過 TypeSafe AI 這間公司 其實非常正常啦 因為他們基本上在上禮拜之前是 沒有人聽過的一間公司 他們 2024 年成立 但是兩年的時間他們都是在低調打造產品 就是 Stealth Mode 這樣子 那在上禮拜他們才終於就是推出他們的第一個模型 然後就也讓大家了解知道他們這樣子 那這模型一出來，馬上就是全網爆紅啊 整個 AI 圈子沒有任何其他 topic 大家都在講 Jev，那為什麼會這麼紅呢？ 就是現在 AI 模型整天都在推出嘛 就是每個禮拜都有新模型推出來 為什麼這個模型會得到這麼多關注？ 首先，最主要的原因是因為它不是一般的 AI 模型 它不是一個 chatbot，也不是一個 AI agent 它是一個 TypeSafe 把它稱作 System 1 model 的模型 好，那你聽這個名字 原本你第一次看到就覺得，哇 好像很炫砲耶，好像很神秘耶！ 什麼叫做 System 1 model？感覺好像很厲害 然後你往下繼續看他們的這個宣傳文呢 你會覺得越看越扯 他們講了很多東西，像是說 Jev 這個模型呢，是不會有幻覺的 Zero Hallucinations，這個原本應該是 AI 模型 這個 LLM 模型的一個致命痛點的幻覺問題 他們竟然沒有 然後還寫 它的速度跟成本都是遠遠勝過現在的大型語言模型 速度快多少倍？ 不是快一倍兩倍，是快兩百倍 然後成本呢？ 便宜四百倍 哇，看到這邊你真的會覺得說 這個模型到底是何方神聖啊 你就忍不住想要去研究它嘛 那這是它爆紅的第一個原因 它還有另外一個原因 就是它的 Founder TypeSafe AI 的 CEO，其實背景很硬喔 他的名字叫做 Diogo Almeida 是一個蠻騷包的 CEO 因為他去參加一些演講啊，Event 都會穿著一個粉色的那種羽絨大衣，OK 就很亮的很亮的那種粉色 就有點像是那個 One Piece 的那個 Doflamingo 那樣子 那反正，他的技術底子真的很硬喔 他是 ChatGPT 的共同發明者之一 差不多 2022 年 OpenAI 在研究怎麼把 GPT-3 這種只會做文字接龍的大型語言模型 變成是一個 chatbot 像是 ChatGPT 這種會跟你一來一往地聊天的模型 那這背後最核心的技術呢 就是後訓練，就是 RLHF 的這些技術 就是 Diogo Almeida 當時在 OpenAI 研究的 他們甚至後來出了一篇論文 然後這個 Diogo Almeida 是那篇論文的主要作者之一 所以這整件事就是一個完美頭條嘛，對不對？ 哇 這個 ChatGPT 的共同發明者之一 竟然推出了一個 AI 模型 比現在的模型快兩百倍 然後還便宜四百倍 然後還永遠不會產生幻覺。哇！ 天翻地覆，世界要改變啦！ 那當然啦，就一如既往 其實很多這些 marketing 的講法都是比較偏炒作啦 其實事實的狀況就是，天下沒有白吃的午餐 好 你今天要做到我們剛剛講的那三件事情呢 你勢必要犧牲一點你們模型能夠做到的事 那聽完今天這集 podcast 呢 你就會完全理解 Jev 這個模型它到底是什麼 它的運作原理又是什麼 它的應用場景可以應用在哪些地方 能夠解決哪些問題 然後哪些場景是沒有辦法取代現在的 LLM 的 以及它的實測狀況如何 我自己也有簡單地去測試一下 然後最後我覺得也是非常重要的一點 就是 So what？ 有了 Jev 之後，又會發生什麼事情？ 這對於現在的 AI agent 的意義究竟是什麼？ 我覺得 Jev 當然不像是很多的文章一樣 講得會改變世界 但是它確實，必須說，是一個重要的技術趨勢 它確實是會改變一些事情 好，那首先呢 我們就先從 Jev 到底是什麼開始聊起 好，那當然這個 TypeSafe AI 是把它稱作 一個 System 1 model 嘛，對不對？ 好，但你直接這樣子講 沒有人會知道它是什麼的啦 好，其實一個最精準的講法 我會把它稱作一個 LLM-based general-purpose classification model 中文可以翻成基於大型語言模型的通用分類模型 OK，那當然我知道 TypeSafe AI 他們官方絕對不會認同這樣子的定義 因為他們就是很明顯地想要跟 LLM 切割嘛 然後做出差別 才會把它叫做 System 1 model 但是我覺得最精準的講法應該是這樣子 我自己認為 那當然這一句話聽起來很長很複雜 很多人可能一時之間沒有辦法 完全理解它是什麼意思 所以我們把它 break down 我們把它拆出幾個重要的觀念來看 先看最後一句喔 Jev 是一個 classification model 分類模型 意思就是說它只能做分類工作 它不能產生文字、圖片或是程式碼 這邊其實就是跟一般的這些 AI agent、AI chatbot 很不一樣的地方嘛 對不對？ 所謂的分類工作呢 就真的是針對一個情況或是一個物件去幫它做分類 就比如說你拿到一個客服的訊息 一個客人的抱怨的訊息 那你要根據這個訊息 分辨它究竟是一個技術相關的問題 還是一個帳務相關的問題 還是一個物流相關的問題 等等 或者是根據目前你看到的這一則 email 的內容呢 去判斷它是不是釣魚信件 OK，就兩種可能而已，是或是不是 或者是根據履歷的內容以及你的徵才標準 去判斷這個應徵者跟我們職缺的適合程度有幾分 1 到 5 分，究竟有幾分這樣子 好，那像這類型的工作呢，就是 Jev 在做的 而且 Jev 也只能做這類型的工作 它不會產生文字，也不會產生圖片，好 你今天就是丟給它一個你要判斷的情況 以及這個情況之下你目前的選項有哪些 然後 Jev 就會直接吐給你一串機率分布 好，這個機率分布呢 就是你給它的選項當中的機率分布 OK 比如說 A 選項幾% 的機率 B 選項幾% 的機率，C 選項幾% 這樣子 像是你丟給它一個客服的訊息，內容就是說 「我想知道一下我的包裹目前的進度。」 那你下面就寫出，你現在要問的問題是 請問這個客服的訊息呢 它是哪一個類別的問題？ 然後下面有 A 選項：帳務 B 選項：技術，C 選項：物流 D 選項……然後你把這整坨東西丟給 Jev Jev 就會吐一個機率分布給你 比如說帳務機率 2%，技術機率 1% 然後物流機率 92% 然後其他選項機率幾%、幾%、幾% 你透過這個機率分布就可以看到說 Jev 認為這個問題有 92% 的機會是跟物流相關的 所以說，好 這個，八成這個問題就是物流的問題這樣 好，你覺得 Jev 可以幫你很快地去做出這個判斷 然後同時，Jev 也不只是一個單純的分類模型 它是一個通用的分類模型 一個 general-purpose classification model 那這句話在講的呢 就是同樣一個 Jev 模型 可以解決各式各樣不同的分類問題 OK 你不用再額外去訓練它去學習如何分類不同的問題 它自己本來就可以靠著它的 這個世界知識去進行判斷 好，你只要 context 就是你的問題的狀況，問題的敘述 還有這個該給的資訊有給足 它大部分的情況下都有能力可以自己判斷 那當然啦，我覺得有些人可能會覺得說 這不是理所當然的嗎？ 現在哪一個模型不是通用的嘛，對不對？ 但你必須要知道 我覺得通用這件事情 就是你還是得加在 classification model 這個詞之前 因為你要知道 在 ChatGPT 時代之前 我們那時候在講 AI，其實那時候 甚至不是在講 AI 在講 machine learning 那個時候 在講 machine learning 在講機器學習的時候呢 classification，也就是分類問題 一直以來都是一個大類別 很多的機器學習的演算法都是為了分類問題而設計的 那當然沒有任何一個演算法是可以像是現在 Jev 像是現在那個 ChatGPT 這麼通用的 全部都是針對一個你的特定問題 特定領域的特定問題去訓練一個模型出來 就比如說你們今天一個銀行 想要大量去判斷你們客戶的違約機率有多高 你就要準備大量的歷史資料 一筆一筆都清楚地標示了 這個客戶他的交易行為如何 他的個人資料、基本資料，然後他是否有違約 具體很多這種過去的資料 就拿這些資料去訓練一個模型 隨便看你要挑什麼樣子的演算法 有一些比較統計 based 的演算法 也有一些像是神經網路的演算法 反正你挑一個演算法，然後就訓練這個模型 那後續你就可以用 這個模型去為新的客戶去進行預測 預測看這個人有沒有違約的機率這樣子 但很明顯地，同一個模型就只會做這件事情 它不能同時也幫你去判斷一封 email 到底是不是釣魚信件 它只會做你訓練資料有丟給它的事情這樣子 所以 classification model 已經是 machine learning 這個圈子當中已經很老的一個詞了 然後也是大家鑽研很久的一個技術 但是 Jev 我覺得可以說就是站在 classification model 的頂端啦 它是一個通用的模型 任何問題，你不用訓練，不用找訓練資料 丟給它，它就會做了這樣子 那當然啦，有一些如果太偏的 會需要大量領域知識的問題 Jev 也不一定能夠直接就給出一個很好的答案 就比如說，像我們剛剛舉的例子就蠻不錯的嘛 銀行內部要去判斷一個客人他的違約機率 那像這樣子的問題呢，因為網路上 它在這個 Jev，我們待會會講到 Jev 它是一個 LLM-based 它有一個大型語言模型的基底 它一樣是透過網路上的資料訓練出來的模型 網路上的資料你全部都看過 你也不一定可以建立起一個很好的直覺 就是什麼樣子的客人容易違約嘛，對不對？ 通常還是要從銀行自己內部的資料去學習 你才可以建立起這邊的直覺 那這邊的問題可能 Jev 就沒有辦法解得很好 但是其實絕大多數的問題啦 然後很多也都是已經非常有商業價值的問題 Jev 其實就直接可以解決了 待會我們也可以在講應用場景的時候再多講一些 好，那我們剛剛也有大概提到了嘛 就是這個 Jev 的模型呢 它之所以是一個通用的分類模型，它有通用能力呢 也是因為它是用一個 LLM 一個大型語言模型作為基底嘛 對不對？ 那嚴格來說呢 它是用一個預訓練完的 LLM 作為基底 但是在後訓練的部分呢 它的做法跟現在典型的 LLM 跟 Agent 就開始有不一樣了 它是在後訓練的這個階段開始分歧的，OK 我們知道現在這些 LLM 的訓練主要 就是分成兩個階段嘛，預訓練跟後訓練 那預訓練階段 就是讓這個模型大量地去看網路上的訓練資料 然後去建立起基本的世界知識跟語言能力 那後訓練的部分就是建立在這個基本的能力之上 再去把這個模型形塑成人類想要的樣子 或者是會使用工具的樣子 所以 Jev 跟一般 LLM 的差別 就是差在後訓練這一段的訓練方式不同嘛 對不對？ 我們一樣經過一樣的預訓練 就是做出了一個有世界知識的模型 那假設你今天想要讓 這個模型後續變成 ChatGPT 的話 你就會先讓它理解怎麼樣子跟人類溝通 怎麼樣子一搭一唱變成一個 chatbot 然後再教它怎麼樣子去使用工具 怎麼樣去解數學題目 怎麼樣子去解決一個很長時間的 coding 題目等等的 好，慢慢訓練這些事情 然後它就變成了那個 GPT-6。好 那如果你是想要把它變成 Jev 這樣子的模型的話呢 你在後訓練的過程中就不要教它怎麼吐文字了 不要教它給出完整的回答了 就直接教它怎麼吐一個機率分布就好了 就基於你的問題，你就是只能吐一個機率分布，OK 就是把它硬是變成一個單純的選擇機器 大概念基本上就是這樣子啦 好，但如果你想要再更深一步了解的話呢 我們接下來就來聊一些技術細節 那如果你不想聽的話也沒關係 就是本集資訊欄都有時間軸 這個 part 會比較細一點，比較技術一點 你就直接跳到下一個 part 就 OK 了 反正我們知道這個後訓練的部分呢 也是有分很多不同階段的嘛，對不對？ 有這個 supervised fine-tuning 啊 有 RLHF 啊等等的 每個階段都有它的目的 像是 RLHF Reinforcement Learning from Human Feedback 它在做的就是想辦法讓 這個模型的回答更跟人類對齊 就是說更自然，社會接受度更高，然後更安全 給出大家真的會比較喜歡的一個回答 另外一個 part 也是很有名的 是最近這兩年興起的，叫做 RLVR Reinforcement Learning with Verifiable Rewards 這邊在做的就是透過讓模型去解決像數學題 像 coding 的問題 像是一些 puzzle，像是一些 tool use 的 task 這種有明確定義的解答 明確可被驗證的結果的問題 去訓練它的思考的能力，去嘗試解決方法的能力 使用工具的能力，驗證答案的能力等等 這個其實就是很多人在過去這兩年講到 RL 的時候特別在指的東西 就是在講 RLVR TypeSafe 他們基本上不做 RLVR，也不做 RLHF 他們在做的是一種新的後訓練 他們有發明一個新的詞，叫做 RLCD Reinforcement Learning for Calibrated Decisions 的中文是叫做「校準決策」 它的意思就是代表說 它這個模型必須要能夠給出 真的很符合現實的機率分布 白話來說 它並不是只是要求這個模型最後有選到對的分類 選到對的選項而已 它還會要求這個模型給出的機率分布是符合事實的 應該說盡量接近事實 因為真實世界中的很多問題也不是非黑即白的 同樣的一件事情，同樣的一個回覆 其實在各種不同的狀況之下也會有不一樣的解讀 然後有時候也真的就是有一些機率成分在裡面嘛 對不對？ 就比如說 你今天的任務是判斷餐廳 Google 評論下面的留言到底是正面的還是負面的 假設有一句留言是寫說：「這間餐廳真的很扯」有寫到這句話 那可能 80% 的情況之下 這個人是覺得這間餐廳很爛，對不對？ 但其實同樣一句話也是可以 就是比較少人這樣用啦 但是可能 20% 的狀況之下 有些人也是會把這句話拿來當稱讚嘛 對不對？ 他可能說：「真的很扯 竟然做出這麼好吃的 burger！」嘛 對不對？ 所以 TypeSafe AI 透過 RLCD 的訓練目標 就是希望讓 Jev 遇到「這個餐廳真的很扯」這句話的時候呢 它會吐出 80% 負面這樣子的一個答案 那具體來說，這個 RLCD 究竟是怎麼做的？ TypeSafe AI 沒有講 這個算是他們的 Secret Sauce 他們的商業機密的部分啦，對不對？ Jev 的整個模型，他們有講的東西確實沒有很多 它是一個閉源模型 Jev，他們今天 TypeSafe 也就只有釋出 Jev 的這個 API 的 endpoint 所以說你能做的就是看到 Jev 這個 API 你的 input、output 是什麼 就這樣子而已 你實在不知道這個模型它的架構是什麼 然後它經過什麼樣子的訓練 以及甚至它的 pure output 是什麼 你其實也不太知道 但在所有的商業機密當中呢 最重要的，我覺得是 Data 跟 RLCD 其實 Diogo 他本人也有大概講到這一點 這個模型本身的架構其實沒有到非常重要啦 雖然說他們確實說 Jev 的架構有一些更新 它並不是真的就是跟現在的 LLM 完全長得一模一樣 只是訓練方式不一樣而已 並沒有 它架構上也是有一些創新 但那個不是 Jev 它最厲害的地方 Jev 它最厲害的地方是它的 RLCD 的 recipe 它整個食譜跟它的訓練資料這樣子 不知道他們怎麼搞的 好，那這邊畢竟全部都是一個謎 所以我們就也不講太多了 就也沒有意義嘛，對不對？ 好，但針對這個模型的運作原理的技術細節 我這邊可以給出一些我自己的猜測啦 那當然我的猜測不一定對 雖然說我去網路上，後來我去網路上看 我發現也蠻多人跟我的想法一樣的 但是它不一定對啦 但是它，我覺得是對於大家建立起這個 這樣子的模型怎麼運作 我們的直覺是有點幫助的啦 因為大方向應該就是這樣子 我們知道一些大方向的東西 首先我們知道的是它這個 API 的 input output 的 shape，跟它的這些字數的限制等等 像是它的這個 input 基本上你就是放你的問題的敘述 應該說它是叫做 state 啦 你現在的情況，你的前後文是什麼 你現在在解決的是什麼問題 還有 question 的部分 question 就是你要 Jev 去回答的問題 OK 那這邊每個問題就是除了有問題本身的敘述以外呢 也會有那個問題有哪些選項可以選，OK 那選項 每一題的選項最多是 255 個 然後問題的數量本身沒有限制 但是它有總 token 的限制 總 token 的限制有兩個喔 第一個是你整個 API request 就是你的 state 加你的所有問題 加你的所有選項不可以超過 64K 的 token 然後 你的 state 加任意一個問題 加那個問題的所有選項 不可以超過 32K 的 token 這些數字一看就知道 不是 PM 隨便亂定的，它都是有意義的 32K 你一看到就知道應該是跟 context length 有點關係 然後 255、256 − 1，2 的八次方 − 1 很明顯也是一個技術上限制的數字 這邊就是我們的第一個線索 還有另外一個線索，TypeSafe 的 CEO Diogo 他會在 Hacker News 就是一個技術論壇 他會在這個技術論壇上回一些留言，他還蠻活躍的 好，那他在回覆當中 他有一次就有提到 就是說確認了一件事情 說這個 Jev 的運作原理 就是把 LLM 產生的這個 token probability distribution 換成是針對目前問題的選項的 probability distribution。好 其實它的核心概念是這樣子。好 這個是 CEO 認可的講法。那這什麼意思呢？ 首先我們知道現在這些 LLM 我們看到它們的產出都是一個 token 一個 token 吐出來嘛 對不對？ 但它其實並不是算完之後就 直接跳出一個 token 這樣 它其實實際它吐出的產出是一個機率分布，OK 每一個 token 背後它都是先吐出一個機率分布 再從這個機率分布當中選出一個 token 這個機率分布就是橫跨它的整個 vocabulary 就是它能夠吐出的所有 token 當中 每一個 token 作為下一個 token 的機率有多高 那它不一定每次都選機率最高，有時候選機率第二 有時候選機率第三的，看你的 temperature 調整 但反正我們今天就是一直在從 LLM 吐出的機率分布當中選一個 token 這樣 那這樣 Jev 的概念其實也沒有差很多嘛 對不對？ 它也是吐機率分布啊，對不對？ 只不過它的機率分布不是它所有能產生的 token 之間的機率分布 它根本不會產生 token 它是針對目前這個問題的選項的機率分布，OK 那但這邊就有個問題啦，就每次 因為它是個通用模型嘛，對不對？ 它每次的選項數量可能不同啊，針對不同問題 它可能有時候是非題就兩個選項 有時候多選題，不是多選啦，就是選擇題 可能十個選項之類的都有可能嘛 對不對？ 那這邊就是，它怎麼做的呢？ 這部分就開始進入我猜測的部分了 我猜測它的做法，我後來發現也蠻多人這樣講的 就是它每次的 output 就是固定是一個 255 個 element 的 classifier head 簡單來說 它每次就是吐出 255 個 element 的一個機率分布 每一個 element，每一個元素，它的機率是幾% 每次一定都會有 255 個 那假設今天的問題只有五個選項的話 那這五個選項就分別對應到那 255 個 output 中的前五個 好，那第六個開始後面的就全部都不要看 要嘛就是全部都零啊 要嘛就全部 mask 住啊 就反正那邊都不重要，就不用看它們 好，那就它一樣會吐出這 255 個的機率分布 好，其實嚴格來說啦，好，這邊又更技術一點 但就是它在吐的是 logits 那這些 logits 後續才會透過一個叫做 softmax 的 function 把它換成機率分布這樣子 但反正它今天能做到的事情就是 吐出 255 個全部的 logits 但只用前 5 個 然後只拿前 5 個去算一個機率分布 就是只拿前 5 個去丟那個 softmax 然後算出每個的機率是多少 然後加起來會是 100% 所以你有點可以把它想像成是說一般的 LLM 它在吐的這個機率分布是所有 token 的選項嘛 那它可能，當然每個 LLM 的這個 vocabulary 就是總字彙數量也不太一樣 但可能假設你今天這個 LLM 的總字彙數是 10 萬個 你總共可以吐出 10 萬個可能的 token。好 那你就是每次，你都是產出一個 10 萬個 token 之間的機率分布這樣子。好 但是這個 Jev 它的 token 總數呢 它的詞彙總數你可以把它想像成是就只有 255 個 OK，每次這些詞彙都會代表不一樣的東西 但就是針對你目前問題的選項是什麼 它就代表什麼 然後我們要做的也不是只挑選 一個 token 出來就好了 我們要做的是把所有的選項算出一個機率分布 那在這個機率分布當中呢，你可以再算出說誰最高 然後誰就是成為你目前的 choice 同時你也可以算整個機率分布的信心程度 如果這個機率分布超偏某個問題的話 就代表你的信心程度很高 如果是比較平均一點點 就代表你的信心程度稍微低一點 所以他們 API 也會回傳 這些信心程度等等 但這些都是透過原本的機率分布算出來的 它最終的 output 就是一個機率分布 然後你一個 API request 裡面包了很多不同的問題 一次傳過去嘛，對不對？ 我猜他們在做的事情呢 他們是一個個問題會獨立評估 這個其實不是我猜啦，這個是官方他們直接有說 他們說每個問題他們是獨立評估的 但是平行進行評估的 所以說你增加你的問題數量 不會增加延遲的時間太多 OK，好，那他只有講到這邊啦 但是具體怎麼做呢？ 我覺得他應該暗示得蠻清楚的 就是配合我們剛剛發現的另外一個線索 就是你的 state 加任意一個問題加選項 不能超過 32K token 所以說這個 32K token 應該 就是它的 context length，32K 然後你問的所有問題會一個一個被分開拆出來 然後再包成一個 batch 進行一次的推論 一次的 forward pass 這樣子 OK，就有點像是說，就一樣你今天用傳統的 LLM 然後你可能你的 API 你 send 一個 request 給這個 NVIDIA 的機櫃 然後還有另外一個使用者的 request 然後這個 NVIDIA 機櫃會把你們兩個的 request 跟很多其他人的 request 包在一起 一次進行推論 然後一直產出很多個 token，是一樣的道理 只是他們這邊在做的 就是你的每個問題會被分開拆出來這樣子 所以我講了這麼多，我只是想幫你建立一個直覺 就是你今天看到 Jev 回答一個問題 其實它在做的運算其實是很接近 就是一個 LLM 產生一個 token OK，就這樣而已，就它吐一個 token 出來 就完成了它所有的任務 從這邊你就可以了解到 為什麼 Jev 它可以有這麼大量的速度的提升跟成本的節省 快 200 倍，省 400 倍的成本 為什麼呢？ 因為它只吐一個 token 啊 它只跑一次啊，就結束啦 那一般的 LLM，如果給出一個 2000 字的回答 它就是要跑 2000 次啊 它就要跑 2000 個 token 2000 個 forward pass 嘛，對不對？ 整個權重要算過 2000 遍 那這個大方向的直覺，我覺得是不太可能會錯的啦 OK，就很多也是他們官方已經間接承認的東西 我覺得我這邊比較猜測我自己的想法的部分 只是在於它 255 個 classifier head 的 implementation 那些細節的部分啦 但這個直覺是不會錯的 你就是可以這樣子去思考 Jev 那你現在完整理解了 Jev 的運作原理之後呢 你再回來看一個 Jev 模型跟 LLM 模型的差別 好，你就可以非常直覺地去理解到說為什麼 這個 TypeSafe AI 會把它稱作 會這樣子去 market 這個模型 會把它稱作 System 1 模型 然後會講出那些什麼完全不會 hallucinate 之類的一些行銷用語嘛 對不對？ 首先，它會叫做 System 1 模型呢 當然就是一樣是來自於 《Thinking, Fast and Slow》這本書 他們講說人類的大腦有 System 1 跟 System 2 的這兩種思考系統 System 1 是直覺腦 就是你直接想也不想針對這個問題 反射性地直接給出答案 那 System 2 就是思考計畫腦 就是針對 這個問題你會花很多時間去認真地一步一步地思考 去做計畫，去安排，然後再去回答 一般的 LLM 是 System 2 應該說現在絕大多數的 LLM 都是會思考的 在回答問題之前 好，那 Jev 它就是完全不會思考 它反射性地針對這個問題 直接給出一個答案的模型，所以說是 System 1 那我知道有些人會說，欸不對啊 這其實不久之前，大概兩年之前 我們才在講說當時的 LLM 都是 System 1 然後後來才慢慢因為 o1 的出現，模型開始會思考 才開始變成 System 2 嘛，對不對？ 那不是原本的模型也是 System 1 嘛，對不對？ 是不是原本的模型 其實也很接近 Jev 可以做到的事情？ 其實嚴格來說 現在所有的大型語言模型都 可以被迫做出 Jev 的行為 就是你可以硬逼它變成是跟 Jev 類似的模型，OK 然後也真的可以得到跟 Jev 一樣的 Speed Up，OK 只是它的表現可能不一定像是原生的 Jev 這麼好 那怎麼說呢？ 其實網路上在過去這幾天 已經有大量的這些開源社群的人去想辦法做出 一個開源版本的 Jev 模型 使用的就是一些像是 Qwen 這種的 這個要怎麼做呢？ 其實不用經過額外的訓練喔 你只是要它有 Jev 的行為的話 你不用額外再訓練它 那這邊要怎麼做呢？ 其實比你想像中的更簡單喔 假設你今天要用一個像是社群有人用的 這個 Qwen3.5-4B 的模型 你要把它變成 Jev，你要怎麼做？ 就是你一樣丟給它你的 state 跟你的 question 就比如說你的 state 是這個客人說：「哇！你們餐廳的牛排實在是太好吃了！」 那你的 question 就是：「請問這則回覆是正面的還是負面的？」 下面就有兩個選項，選項 A：正面，選項 B：負面 你這邊就要把選項的代號要明確地標出來 要標 A 跟 B 之後你在 prompt 裡面就可以直接明確地跟它說 針對目前的問題以及選項 好，直接給我你會選哪一個選項 OK 所以說，你的整個 prompt 就是這樣 我剛剛講的全部都是 prompt 的部分 那接下來，Qwen 收到這個 prompt 之後 它的第一步就是要開始產生 token 嘛，對不對？ 要產生出第一個 token 好，那我們剛剛也有講到 就是一般的 LLM 在產生一個 token 的時候 它其實是在產生一個機率分布 好，那更嚴格來說呢，它是產生所有可能的 token 都會幫它打一個分數，叫做 logits logits 這個分數後續才會被轉換成機率分布 透過一個叫做 softmax 的功能 但反正它會為所有可能的 token 都打一個分數 那理論上在所有 token 當中 字母 A 的分數應該是最高的嘛，對不對？ 因為我們就是叫它直接給出你的選項啊 所以說它理論上應該最有可能直接吐出 A 這樣子 但它也有可能吐出其他的嘛，對不對？ 就你同樣的一個 prompt 丟給一個 LLM 叫它去回答 它有時候會直接就給你回答「A」 沒錯，這是符合你的需求 但有時候它會回答「答案是 A」 那它第一個 token 呢 就是它其實是「答」這個 token 「答」這個字的機率是最高的，對不對？ 但是所以說就是它不一定 A 這個 token 的分數是最高的 但是你其他的 token 的分數你就完全不要看啊 你就直接拿 token A 的這個分數跟 token B 的這個分數 只看這兩個分數 然後把它放到 softmax function 當中去算一個機率 就是硬是只算這兩個 token 的機率 然後兩個要加起來 100% 那它這邊 softmax 算完之後 可能就是 token A 的機率是 95% 然後 token B 的機率是 5%。好 那這個時候你就是得到跟 Jev 一樣的輸出了嘛 對不對？ 就是一個針對你目前問題的所有選項的 一個機率分布 所以簡單來說 因為 LLM 本身就是在產生機率分布 所以說你也不用特別訓練它 你也不用改目前的 LLM 的架構 你只要單純不去解讀它產生的 token 而是直接讀你想要的 token 的機率分布 你就可以讓它變成一個 Jev 的模型了，OK 就是這麼簡單 那網路上確實也是有人把 Qwen3.5-4B 的模型 變成一個 Jev 的模型 然後它表現跟實際 TypeSafe AI 的 Jev 模型究竟有多接近呢？ 其實真的在簡單跟中等的問題上面都非常的接近喔 簡單的問題基本上是接近 100% 完全表現是非常好的 那唯一是在一些比較困難一點 複雜一點的問題上，它會輸給 Jev 然後在整個機率的校準上，機率的校準上 calibration 上，它也會輸給 Jev 一點 OK，就算是中等的問題 它答對了沒錯，但它的機率分布 沒有到像 Jev 一樣這麼準 但速度跟成本，其實都可以贏過 Jev 這速度可以比 Jev 快一點點 嚴格來說，這樣直接比也沒有到非常公平 因為這個 Qwen 我們是本地直接跑，那 Jev 是 API 還要算網路的來回速度 但你就算扣了 就是給 Qwen 的這個速度一些網路的 punishment 還是就是跟 Jev 差不多快，甚至比 Jev 快一點點 我在想這個 Jev 的模型應該是比 4B 再大一點這樣子 然後同時成本當然也贏過 Jev 嘛，對不對？ 因為這個 Qwen 的模型你隨便一台筆電就可以跑了 所以你成本基本上是零 所以天下所有的 LLM 你都 可以直接把它當作 Jev 在用 然後它立刻就可以得到幾百倍的速度跟幾百倍的 這個成本優化這樣子 但是它能不能真的在這些問題選項上面給出 真的很有校準過的機率分布 真的準確率高的答案呢？ 這個就是 Jev 它特別強的地方了 這個就是因為 Jev 它整個模型原生就是為了這樣子的 use case 去訓練出來的嘛 就是我們剛剛講的這個 RLCD 的部分嘛，對不對？ 那當然你一個模型跑了 RLHF，跑了 RLVR 然後再硬逼它去做這種選擇題 當然不會比一個做了 RLCD 的模型更好嘛 對不對？ 這邊其實就回扣到我們剛剛在技術討論那邊說 這個 RLCD 的 recipe，以及他們訓練的資料 才是 TypeSafe AI 這間公司的護城河 才是他們最強的技術的秘密 好，那模型的架構本身其實真的還好 好，那我們現在再回去看一下它那個 Marketing 裡面講的最狂的一句話嘛 就是 Jev 這個模型是完全不會有幻覺的 不會 Hallucinate 的一個模型 好，那我覺得這句話呢，也是有點半炒作意味啦 就是其實它嚴格來說不到非常精準 應該說要看你怎麼定義 Hallucinate 這件事情 因為 Jev 沒錯，你如果問題就給它五個選項 那它只可能輸出這五個選項的其中一個 嚴格來說它就只會輸出這五個選項的一個機率分布 然後你後續再選出其中一個嘛，對不對？ 那它無論如何，它不可能會選出第六個選項 因為你根本就沒有給它第六個選項 然後它也不可能會把你的選項的裡面的字給寫錯之類的 因為它根本就不用輸出那些字 它只要輸出機率分布 後續選項你怎麼定義 然後你最後選出哪個是你自己在選的 OK 所以 Jev 不可能會 就是嚴格來說它不可能會有 type error 它不可能會有這種型態的錯誤 叫做 type error，它不可能會有 type error 那我相信這也是為什麼他們公司的名稱叫做 TypeSafe AI 嘛 對不對？ 因為它不會有 type error，但是如果你對於 Hallucinate 對於幻覺定義比較廣一點的話 就是包含到很明顯給錯誤的答案，也叫做幻覺的話 那 Jev 也會出錯，它百分之百也會出錯 它可能也會針對一個問題 然後很有信心地給出一個很錯的答案 很糟糕的機率分布啊 那個算不算 hallucinate？ 我覺得對於有些人來說那個也算 但是就看你怎麼定義 hallucinate 我們現在完全理解了 Jev 這個模型 它到底是什麼樣子的一個模型 它怎麼運作的 我們接下來要來講一下實際的應用場景有哪一些 以及我的一些實測心得 那這邊你要先了解的一個觀念呢 我相信你到這邊應該自己也知道了 但是就是，Jev 它不會全面取代 LLM 它只能把目前的 LLM 就是目前的這些 AI agent 工作中一些比較單純的判斷選擇問題快速地處理掉 這個就是 Jev 它的應用場景，這就是它的價值 OK，那像什麼東西呢？ 像是模型路由嘛，對不對？ model routing 好，就今天使用者問了這個問題 你應該用比較弱的模型 還是要比較強的模型才可以去解決 OK 然後還有像是很大量的這種要初期的資料的篩選，OK 好，就是比如說我們剛剛講到 最一開始有講到一個履歷的例子嘛，對不對？ 你今天假設大公司收到好幾千封履歷，好 那你要從這個履歷當中先挑出適合的人選 那當然你可以每一封都全部都叫 GPT-6 Astra 去看，好 那你可能 token 就會燒蠻多的這樣子 但是你如果是用 Jev，好 先把五千封的履歷先挑出其中的兩百封就好了 好，那快速地，Jev 可以很快速地做到這個挑選 然後挑出兩百封 那兩百封再交給 Astra 去一封一封看 這樣是不是你的 token 就會省非常多 然後整個過程也會快很多 對不對？ 這個 GPT-6 Astra 在看履歷的時候呢 可能就是真的根據你給的這個標準呢 然後一條一條地看 這個人的經歷是否有符合 一條一條檢查之類的，然後 每次檢查都還可能還要再燒一些 token 去思考之類有的沒的。好 但 Jev 它今天就是，它看一封履歷的時間 就等同於 GPT-6 Astra 產出一個 token 的時間 一個 token 就它吃了你的徵才標準跟目前這個人的履歷之後 就直接吐出一個機率分布啦 就 1 到 5 你可能是給它選項 1 到 5 這個程度，5 是最符合，1 是最不符合 然後它就直接吐出一個機率分布 然後選 然後你立刻從這個機率分布 就直接算出這個人是 5 這個人是 4 這個人是 2 這個人是 3 這個人是 5 好 然後就很快，就超快 就篩出 200 封了，然後 當然這只是一個例子啊 我們前面講到的那像什麼客服啊 像什麼 email 的處理啊 Jev 也全部都可以做 你能想到 你只要能夠把你的問題去 frame 成一個分類問題 然後有明確的選項可以讓 Jev 去選的話 Jev 都可以解決 只不過 Jev 它模型 它本身有一個限制 就是它沒有視覺能力 它是一個純文字模型 所以說，今天假如你的問題是跟視覺有相關的話 你就是還要再接其他的工具 讓它可以理解這個圖片的內容 比如說接一個 OCR 的工具等等的 OK，好，那我看到網路上很多人都在 demo 的一個應用場景 就是讓 Jev 去做 computer use，去使用電腦 OK，好，那一開始你看一些這些 demo 你真的會覺得，哇 這好像真的是一個 Game Changer 喔 因為 computer use 的問題呢，就是現在的做法啦 就基本上你要叫 GPT-6 Astra 去操作一個網站 它基本上就是它會看到這個網站的截圖 OK 那它就直接根據這個截圖去 reason 現在我這個步驟 我應該要點什麼東西 然後就直接產出它要點的座標跟它的動作 可能是 click 還是 double click Whatever，然後再 call 一個操作的工具 然後就完成這次的點擊 每一個步驟它都要這樣做一個 reasoning 的過程 有時候它還會思考一下嘛 對不對？就看到這張圖片，還要思考個幾句 想一下說，我現在應該要點哪一個按鈕啊？ 然後應該要怎麼點啊？ 然後什麼，反正就會產生很多 token 然後會花很久的時間，OK 那 Jev 如果它真的電腦可以用得很好 很快的話 基本上因為每個步驟其實 你可以想像你都可以把它 frame 成一個分類問題嘛 對不對？ 好 就你今天的目標是要點選這間 網路電商它的最新的鞋子的產品 然後把它放到購物車 那你有這個目標 然後你現在的網頁的狀態是這樣 你有這些按鈕 然後這些按鈕現在目前是呈現這些狀態 那你的選項就是有幾個層次 第一層次是你要選你的動作是什麼 就是按，你要按按鈕嗎？ 還是你要滑動？ 還是你要 blah blah whatever 然後你選完了 第一個動作之後 你接下來第二個問題 就你就它就問說 你要按按鈕的話 那網路上，你的網頁上有這些 所有的按鈕可能加起來 這個幾十個，不要超過 255 個就好了 可能 100 多個之類的 whatever，應該不會這麼多啦 可能 50 個好了 50 個按鈕 請問你要選擇按哪一個？ 這也是一個選擇題啊，你就選了 然後你就完成了這次的操作啊，不是嗎？ 那很明顯這個會比現在的 LLM 快非常多 而且確實在進行 computer use 的過程當中 你當然可能 high-level 的策略，然後要做什麼 還是應該交給 LLM 去思考去制定 沒錯 但過程中會有超多這種小按鈕 點來點去這種簡單很直覺的操作 是不是理論上也都可以交給 Jev 處理？沒錯 Jev 的能力是真的到的 它真的是可以做到這件事情的 然後確實網路上我們也看到蠻多的這些 demo 在使用 Jev 去操作電腦 然後結果也真的都超級好的 尤其有些有跟一般的 LLM 去進行比對的 像是我有看到有一個 GitHub Repo 他們是拿由 Jev 組成的 computer use 系統 跟這個 Claude Opus 的 computer use 去進行比較 然後結果真的是蠻扯的啦 就是 Jev 跟 Opus 都一樣有完成目標 但是 Jev 它的成本比 Opus 低了一百多倍 然後這個 Latency，就是整體的這個速度呢 也比 Opus 快蠻多的 但是並沒有快一百多倍喔 它只有快三倍左右，OK 那聽到這邊你可能就覺得很奇怪 就 Jev 它不是應該要比 Opus 快超級多倍嗎？ 好，就它等於是每一個步驟只有產生一個 token 啊 好，甚至一兩個 token 之類的 那應該快很多才對啊 欸，但是沒有。為什麼？ 好，因為 Jev 它不能獨立地就操作電腦 它要有其他的東西，其他的 首先，Jev 沒有視覺能力 所以它無法直接看網頁目前狀況的截圖 它必須要讀網站的 DOM Tree 看網站本身的原始 HTML 看網站的 accessibility tags 就是網頁中針對網頁各個按鈕 它會有一個這個按鈕 它是什麼東西的標示 它這個標示會存在呢，其實是為了一些特殊的狀況 就比如說你眼睛看不到 對於盲人來說呢，你要使用一個網頁 它可能會就是有一些朗讀的功能啊等等的 那瀏覽器的朗讀功能呢 其實就是在讀這些標示這樣子 那 Jev 就是要靠著這些東西 然後再加上一個 OCR 的模型 這個 OCR 的模型 就是 Optical Character Recognition 嘛 對不對？ 這個就是我們常見的 一個圖像的文字識別模型這樣子 OK，就是它會從 一個圖像裡面擷取出這圖像目前有哪些文字 然後可能有些時候還會跟你講它在哪個地方 然後哪個方位這樣子 那反正 Jev 就只能靠著這些東西去操作電腦嘛 那你可以想像這邊其實也會帶來一些限制 就是包括很多網站的體驗呢 其實你單純靠這些是沒有辦法真的完全正常操作的 首先，很多的網站、很多頁面 它的 accessibility tags 就沒有做得很好 OK 就是它本來就不是非常盲人 friendly 的 就是有一些缺陷這樣子 像是 Notion 啊 它可能就沒有完全 full coverage 那這個時候你可能就只能靠 OCR 了嘛 對不對？ 因為你的 accessibility tags 沒有辦法 讓你直接點到你想要點的按鈕 但 OCR 也有它的缺陷 就是它只能判斷文字嘛，對不對？ 就假設今天這個按鈕是一個圖示的話 你是不是就完全沒有辦法點到了？ Jev 就點不到這個按鈕了 今天如果你的這個網站體驗又是 一個比較互動程度比較高的 比如說有很多 slider 啊，然後有些細膩的操作啊 然後有一些比如說需要視覺推理的部分啊 這種東西，這些所有的操作 其實 Jev 都沒有辦法去做到 然後你要知道，這不是一個模態的問題而已喔 就是我相信下一代的 Jev 絕對會有視覺能力，OK 這個本身不是一個太困難的一件事情嘛，對不對？ 現在所有 LLM 都有視覺能力 Jev 也可以有視覺能力 因為 Jev 本身就是一個 LLM 的基底嘛，對不對？ 但是它有了視覺能力之後也不會解決這個問題 它也不可能跟 Opus 跟這個 Astra 一樣 這樣子去像人類一樣看著螢幕去使用電腦 為什麼？ 因為網頁上能點的東西已經超過你的選項了嘛 對不對？ 就是你的網頁上所有能點的東西 就是可能你幾千個 pixel 乘幾千個 pixel 幾百萬個耶 你有幾百萬個可能可以點的東西耶 那像是 LLM 它就可以每次都輸出一個座標，OK，精準的座標 任何網頁上 它只要看得到的地方 它都可以點得到 然後看得到的東西 它都可以點得到 它完全不用管這個網頁它本身背後怎麼寫的 但是 Jev，它因為只有 255 個選項可以選 而且就算你未來下一代 Jev 選項更多 變成這個兩倍啊 四倍啊，無論如何 不可能真的達到一個網頁所有能夠點的內容 那就只有這些選項可以選 就是只能想辦法 把目前這個網頁所有 可以點的東西想辦法呈現在這個選項當中 那這就會是一個先天上的限制 所以說先天上 Jev 它就不可能能夠完成所有 computer use 的工作 它只能解決 就是網頁寫得好的、很 straightforward 的 很單純的一些反覆的操作，OK 它可以執行得非常好。好 像是其實上禮拜我有測試用 Astra 去幫我訂餐廳 然後你知道多扯嗎？ 原本 Astra 可以很精準地選到我需要的人數跟時間 那個我一點都不意外 我意外的是，Astra 直接幫我把 CAPTCHA 做完耶 那有夠扯的，就那個網站 訂餐網站它有個 CAPTCHA 是，CAPTCHA 就是那個網站拿來擋機器人的嘛 對不對？ 就是你要驗證你不是一個機器人 它有時候會給你一些小測驗嘛，對不對？ 有時候是最簡單的就是辨識花字啊 但花字那個現在已經越來越少了 因為現在對於現在的 AI 來說太簡單了 所以這個網站的 CAPTCHA 是什麼，你知道嗎？ 它是三個角色 卡通角色在那邊跳 然後一直不斷地跳，動態地在那邊跳 然後你要選出跳最高的那一個 那這個對於一般的模型來說都超難的 但是 Astra 竟然解決了 你知道多扯嗎？ 就是 Astra 它的解決方法就是它會截圖 目前看這三個角色誰跳最高 然後它就它一開始就直接截一張圖就直接選了 它就發現這樣選 它會選錯 然後它就自己想一想，就發現說不行 我應該要多截幾張圖 我才可以得到一個動態的狀況 因為剛好有可能這個角色原本會跳最高 但它，我截圖的時候 它剛好在最低點嘛，對不對？ 所以它就開始截很多張圖 然後它的準確率就變超高 然後就一下就把那個 CAPTCHA 解決了這樣子 反正我覺得很酷啦 但像這種問題呢 Jev 就完全沒有辦法去解決，對不對？ 就你怎麼靠 OCR 去解決這樣子的 CAPTCHA？ 就不可能嘛 所以我覺得 Jev 在 computer use 這件事情上面絕對會有價值的 但是它沒有辦法就直接取代掉現在的 這個 GPT-6 Astra 的 computer use 你今天一個使用者可能問 GPT-6 Astra 的問題有無限多種 它可能會操作的網站有無限多種 你不可能預先想到哪些狀況你可以使用 Jev 假設今天你就是很明確地有 一個工作流是要操作特定的網站 然後要做特定的操作的話 你確實如果有這個固定的工作流 你可以讓 Jev 去處理一部分的工作，OK 很標準化的流程，很標準化的網站 你就直接讓 Jev 去做，那就會很快 好，那我自己也有簡單實測一下 Jev 它的能力這樣子 我其實有試很多不同 Category 的問題啦 但是滿多都是假想的問題 我覺得一個最直接最真實的問題 我有叫它去用的是 我叫 Jev 去幫我的真實信件歸類 這個是我真實的信件，是來自我的信箱 我真實收到的工作的信件 我叫它去幫我分類 然後這個其實也是我可能 可以融入工作流的一個部分 因為我工作流 我現在有一個龍蝦在幫我處理管理專案嘛 它會幫我讀信件，幫我理解我目前每個專案的進度 我有時候常常問這個龍蝦的問題 就是我現在有哪些信件是緊急要我回的？ 我覺得龍蝦目前回答這個問題都回答得非常好 但它確實會需要花一點時間 然後每一封去讀，再去判斷 再去思考 所以我這邊就直接叫 Jev 去幫我針對我給它範例的信件 去給出一些回答這樣子 緊急程度是其中一個，但我也有問其他問題 比如說直接幫我為這封信分類 它是一個活動邀約，還是一個 scheduling 相關的 還是一個 finance 相關的 還是 follow-up，還是一個 FYI 等等 然後目前的狀態等等，反正我有問它很多問題啦 那我覺得直接跟大家講結論啦 就是絕大多數的問題 它回答都是完全正確的，然後機率分布 我覺得也是非常接近的 尤其是有一題我覺得非常令我驚豔的喔 就是那一題呢 那封信呢，是一個繳費，活動繳費的提醒，OK 但是 tricky 的地方就是在於 這個繳費期限已經過了，過了一天了，OK 所以現在已經沒有辦法繳費了 那針對這封信 它的緊急程度是多高？ 那這邊確實是有一點討論空間沒錯嘛 對不對？ 就有一些人可能會覺得 那它就不緊急了 應該說現在就完全不緊急了 因為你不用管它，因為已經錯過繳費期限啦 There's nothing you can do，對不對？ 有些人可能會這樣覺得，但是像我自己 我個人覺得這個答案應該是非常緊急 應該是最緊急的 因為繳費期限還沒過太久 還在 24 小時，只是超過 24 小時之內 有可能有些活動單位，假設是重要活動的話 他可能也是會通融一下 然後就是讓我繳費嘛，對不對？ 所以說我自己個人還是會把它排成緊急啦 像是 GPT-6 針對這一題呢 它給出的答案就是「無法判斷」 那 Jev 它針對這題給出的判斷就是「非常緊急」 我覺得非常緊急就是比較好的一個答案 Jev 甚至贏過了 GPT-6 我覺得這個答案是非常好的 雖然說它的整體的機率分布也沒有到非常有自信啦 Jev 它選擇非常緊急的機率是 47% OK，所以它也不是超級自信覺得這是非常緊急的 那這也是 good sign 因為這題它本來就不應該有超級高的信心 所以 overall 我覺得 Jev 給出的答案都是完全沒有問題的啦 那當然我也沒有特別去 challenge 它一些太刁鑽的問題啦 因為我就真的是拿我的真實的 use case 去測試 目前的結果是非常好的 當然啦，我覺得這個本來就是預料中的結果 這也沒什麼好意外的 因為現在的 LLM 本來就是有很好的判斷能力 Jev 對於這些一般的問題的判斷完全正確 我覺得一點都不值得驚訝啦 我覺得還蠻正常的啦 主要還是說它的穩定性 overall 是真的很好的 然後確實延遲跟成本也明顯 明顯是有跟一般的 LLM 比起來很好的 所以我目前測試到現在 我是覺得 Jev 確實可以融入我的工作流當中 只是具體來說怎麼操作 我還要再花點時間去思考然後再去實驗 但我已經可以看到它的融入工作流的潛能了 最後我們來聊一下 Jev 這個模型對於 AI 的意義究竟是什麼？ 因為我覺得有一些人可能稍微把 這個 Jev 吹得有點太強大了 講得好像是 Jev 會改變一切的這種感覺 我自己在看 Jev 這個模型的時候 當我真的開始完全理解它之後 我覺得它不像是一個會大幅改變現在的 AI agent 典範的一個模型 它比較像是在加速一個原本就有在發生的變化 這個變化，這個趨勢呢 就是所謂的 model routing，模型路由的趨勢 它是在加速這個趨勢的進展而已 並不是說把我們帶到了一條新的路上 為什麼會這樣說呢？ 首先 我們知道我們現在在使用 AI agent 的這個方式 並不是成本效率上面最優化的方式嘛 對不對？ 很明顯嘛 就你今天訂閱那個 ChatGPT 200 美金的方案 然後你叫 Astra 去做一件事情 它從頭到尾 從這個問題最一開始的思考，這個計畫 然後到實際做這個 computer use 的每一個步驟 全部都是它自己完成的嘛 對不對？ 它並不會做到一半覺得這個問題比較簡單 它就直接丟給那個 Luna 去解決 它可能會有 multi-agent system 沒錯 但是它就是 multiple Astra 全部都是 Astra 這樣子 但很明顯這邊有很多的成本跟 這個效率的優化空間嘛 對不對？ 很多簡單的事情真的不需要去交給 Astra 做 未來呢，我覺得絕大多數人現在都有共識的一點 未來我們會漸漸地走向一個更多 model routing 的混合系統 有更多模型路由的系統 同樣一個系統當中會有弱跟強的模型 然後會動態地去決定目前這件事情要交給誰去處理 那為什麼 model routing 這樣的系統現在還沒有辦法普及呢？ 不是很多人都覺得這個是未來嗎？ 為什麼大家沒有一直往這邊走呢？ 我覺得目前有個蠻核心的卡點 就是主要是因為模型的能力進步 模型的能力變化實在是太過快速了 導致整個工作流的變化也非常的快速 我們現在的一個 LLM 的工作流呢 可能年初是長這樣 這個年中就變了 你中間很多的步驟可能因為模型能力提升就改變了 好，那你工作流沒有辦法定下來 你就比較難有一個 就是穩定地知道你有哪些事情要做 那你就比較難就是穩定地去指派某一些不同的 AI 模型去做這些事情嘛 那當然對於有一些人 他的工作流可能現在已經蠻標準了 很確定了就是做這些事情 然後就是要大量重複進行一些簡單的操作的時候 他確實就是可以在他的 harness 當中 把這個 model routing 做得蠻不錯的 但是這樣子的人並不是大多數啦 OK 然後 OpenAI 也沒有覺得他們的這個產品 可以成熟到直接把 model routing 就是加到他們的這個 Agent 當中 那他們其實之前有嘗試啦 就是我有點忘了是 GPT-5 那一代還是哪一代 但反正有一代模型呢 就是你有一陣子你是不知道你在用哪個模型的 大家還記得嗎？ 就你有時候，它根據你的問題 它會給你一個比較爛的模型、比較笨的模型 有時候又是比較好的模型 那我記得那陣子就得到超多人的批評 所以後來 OpenAI 就不幹這件事情了 大家還是自己選模型這樣 但你要知道，我覺得很多人會想要自己選模型 並不是因為他們真的想要自己選模型 而是因為 OpenAI 當時的 model router 真的太爛了 然後，我覺得很多人可能他嘴上不願意承認啦 但是如果今天一個 model router 可以真的完美地幫他做模型選擇的話 沒有人會想要自己選模型啦 因為自己選模型就是額外一個思考的步驟 然後額外的手動步驟嘛，對不對？ 那就還是麻煩啦 OpenAI 也知道這一點 他們其實未來所有東西都會合在一起 未來那個 Chat 跟 Work 的這兩個 Tab 也會合在一起 然後所有 Models 也全部合在一起 就是一個統一的介面，任何問題 任何的工作，你都直接丟給它 然後它自己會判斷 要不要用工具 要用哪個模型 要思考多久 反正我講了這麼多 我只想講說這個 model routing 模型路由真的就是未來的趨勢啦 只不過我們還在慢慢地一步一步朝那邊走這樣子 那我覺得 Jev 的出現呢 它就是會加速這個趨勢的普及 OK，為什麼？ 因為首先 Jev 是一個很好的 off-the-shelf 的 model router，OK off-the-shelf 的意思就是 你就直接拿它的 API 來用就好了 你不用再額外去訓練它 它自己本身就有很好的 model routing 的判斷能力 這一點我自己也有測試過 雖然我是用一些假想的問題 但它都判斷得非常好 就是哪些問題簡單，要丟給那個小模型 哪些要丟給大模型等等的 那這件事情本身呢 就是可以降低大家自己實作 model routing 的門檻，對吧？ 至少 Router 本身，這是你不用再煩惱了 你就丟給 Jev，去判斷就 OK 了 你只要自己再把它那個問題跟選項調一下 應該就沒問題了 然後降低實作門檻的同時呢 它又因為 Jev 爆紅了 然後確實也就是真的能夠帶來遠遠超過現在 LLM 的這個速度跟成本上面的優化 所以說我相信很多人會開始正視 model routing 正式想要在 自己的架構中混合一些其他的模型這樣子 當然，Jev 作為 model router 是一種可能性嘛 對不對？ 但你直接使用 Jev 這也算是一個這個 model routing 嘛，對不對？ 就有一些工作交給原本的 LLM 做 有一些是 Jev 直接處理 這個也算是 model routing 啊 這也是一個混合的模型架構嘛 對不對？ 其實像我就是一個典型的例子嘛，對不對？ 現在我的龍蝦基本上就是使用 GPT-5.6 其實我應該去換 Astra，但就是還沒找到時間 然後目前用起來 我的 use case 5.6 已經差不多了 也沒有到非常有動力想要換 反正我現在就是用 5.6，所有事情都是交給它處理 Jev 的推出之後，我剛剛不是有跟大家講嗎？ 測試完了那個 Email 的分類之後 我是真的覺得我可以把 Jev 融入我的工作流了 那沒有 Jev 出來之前，其實嚴格來說 我做不做得到這件事情？也是可以啊 我拿一個 Luna 或者是我拿一個甚至一個本地的開源模型 一個 Qwen 之類的 跑在我自己的 DGX Spark 上面 甚至 Mac mini 都有可能 就是超級小的 其實也是可以啊，對不對？ 但有 Jev 出現呢，我就更想做這件事情啦 所以我覺得接下來會發生的事情呢 就是當然像我這些自己有在架一些工作流的人 就會開始越來越多把 Jev 融入自己的工作流當中 能夠節省一些成本跟時間是絕對的 但也要看你的工作性質 對於蠻多的工作來說，可能不會省到超級多 然後有些工作會省到超爆多 但就是不一樣 像對我來說啦 就是它幫我額外 Tag 一下這個 Email 是哪一種類別啊 什麼緊急程度啊 其實真的對我來說 Impact 沒有到很大啦 它不會省我多少的成本，然後同時可能 就是在我問 那個問題的時候幫我省下幾秒鐘的時間吧 所以對我來說不是一個超級大的 game changer 但對於那些比如說要 screen 幾千封履歷的人來說絕對是有幫助的 然後我覺得再下一步呢 就是標準的 AI agent 就會開始把 Jev 當作一個工具了 可能在 model routing 之前 它就是先自己做 routing 然後把它當作一個工具吧 我覺得比較可能的是這樣子 換言之呢，比如說 Astra 在工作的過程中 假設你叫 Astra 去做一個大量的 screening 大量地去看大量的 email 之類的 它可能就會 call 一下 Jev 就等於說這個 Jev 融入了 AI agent 的 harness 當中的這種感覺 我覺得下一步蠻可能會發生這樣子的事情啦 反正無論如何，你可以想像的 就是 model routing 一定是未來 而且未來不只是你在 LLM 跟 Jev 跟中等的 LLM 之間進行選擇 還會有地端的 LLM 跟雲端的 LLM 的選擇 會全部混在一起 我覺得未來就是這樣 對於我們這些科技宅來說，你想要的話 你可以隨時把這些最新的 capability 融入到你的工作當中 但是對於一般人來說 我相信他們整個過程中他們都不會感覺到 他們，像是 Jev 問世 他們不會看到 Jev，也不會用到 Jev 但是 Jev 會實質上慢慢地改變他們的 AI agent 的速度跟成本 這些是他們會慢慢體感到的 他們不會知道過程中發生了什麼事情 只有我們這些真的科技宅們才真的是知道這些內幕啊 OK 好，那麼這集科技浪就大概跟大家聊到這邊 如果你覺得本集節目對於你了解 Jev 來說是有點幫助的 你覺得節目是有趣好聽的話呢 歡迎給我們一個五星評分、留言 然後把科技浪分享給你的親朋好友們 我們就下週再見囉，拜拜！