# 影片筆記：EP155 - 席捲 AI 圈的 Jev，到底在紅什麼？AI Agent 真的要大改了嗎？


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

TypeSafe AI 推出的新模型 **Jev** 被定義為「基於大型語言模型的通用分類模型」（LLM-based general-purpose classification model），透過僅輸出機率分布而非生成文字，實現了極高的速度與成本優勢；它不會取代傳統 LLM，而是作為 **Model Routing** 的關鍵組件，加速混合模型系統與 AI Agent 的效率優化。

## 核心重點

1.  **Jev 的核心定義與原理**：
    *   Jev 是由 TypeSafe AI 推出的 **System 1 model**（直覺腦模型）。
    *   官方定義為「基於大型語言模型的通用分類模型」。
    *   **運作機制**：不生成文字、圖片或程式碼，僅輸出機率分布（Probability Distribution）。
    *   **訓練方式**：採用 **RLCD** (Reinforcement Learning for Calibrated Decisions，校準決策)，確保模型輸出的機率分布符合現實事實。
    *   **技術限制**：閉源 API，總 Token 限制 64K，單一問題限制 32K，每題最多 255 個選項。

2.  **速度與成本優勢來源**：
    *   傳統 LLM 生成 2000 字需進行 2000 次 Forward Pass。
    *   Jev 僅需一次 Forward Pass 吐出一個 Token/機率分布，因此宣稱速度快 200 倍、成本低 400 倍。
    *   可平行評估多個問題，增加問題數量不會顯著增加延遲。

3.  **應用場景：Model Routing 與資料篩選**：
    *   **Model Routing**：Jev 可用於判斷問題難度，將簡單判斷交給 Jev，複雜推理交給強模型（LLM）。
    *   **資料篩選**：適用於履歷篩選、郵件分類等大量且標準化的分類任務，可大幅節省 Token 與時間。
    *   **Computer Use**：可處理標準化網站操作（透過 DOM Tree 與 OCR），但受限於無視覺能力，無法處理複雜視覺推理（如動態 CAPTCHA）。

4.  **LLM 轉 Jev 的可行性**：
    *   無需額外訓練，現有 LLM（如 Qwen3.5-4B）可透過 Prompt 技巧模擬 Jev 行為。
    *   方法：僅計算特定選項的 logits，並透過 softmax 僅在這兩個選項間分配 100% 機率。
    *   自造 Jev 在簡單問題上準確率接近 100%，但在複雜問題與機率校準上不如原生 Jev。

5.  **產業影響與未來趨勢**：
    *   Jev 不會改變 AI Agent 的典範，而是加速 **Model Routing** 趨勢的普及。
    *   未來標準 AI Agent 會將 Jev 視為工具整合進工作流（Harness），實現端雲混合模型的選擇。
    *   一般用戶雖無感知，但 Jev 將實質改變 AI Agent 的速度與成本。

## 詳細大綱

### I. 節目開場與 iPhone 18 Pro 討論
*   **節目介紹**：科技浪 Podcast，由犀牛盾贊助。
*   **iPhone 18 Pro 升級點**：
    *   晶片：A20 Pro（對比上一代 A19 Pro）。
    *   優勢：電池續航、晶片效能、相機（可變光圈）。
    *   關鍵差異：AI 運算表現大幅提升。
*   **AI 運算實測數據**：
    *   測試項目：On-Device 的 Apple Foundation Model。
    *   指標：Long prompt 的 time to first token。
    *   數據對比：A19 Pro 約 2000+ 毫秒 vs. A20 Pro 約 1000 毫秒（直接砍半）。
*   **未來展望**：
    *   Apple Intelligence 與 Siri 的準備。
    *   預期 iOS 27 中文版若達到英文版滿血狀態，用戶體驗會有感。

### II. 贊助商推廣：犀牛盾 (RhinoShield)
*   **AirX 極致氣墊緩衝殼**：太空級防摔，360 度包覆式氣囊，創下瑞典太空中心三萬公尺近太空高度摔落測試紀錄。
*   **SolidX 強化吸震緩衝殼**：霧透系列，細緻磨砂質感。
*   **其他產品線**：Clear 透明殼系列（終身抗黃保固）、Bumper 邊框殼。
*   **優惠與活動**：保護貼限時 7 折起，RHINOLOOP 手機殼回收計畫，折扣碼 `i18-harry`。

### III. AI 模型 Jev 介紹與背景
*   **Jev 簡介**：
    *   由 TypeSafe AI 公司推出（2024 年成立，此前處於 Stealth Mode）。
    *   創辦人：Diogo Almeida，ChatGPT 共同發明者之一，OpenAI 早期研究 RLHF 技術的主要作者之一。
*   **市場關注原因**：
    *   宣稱特性：Zero Hallucinations（零幻覺）、速度快 200 倍、成本低 400 倍。
    *   主持人觀點：行銷講法偏炒作，天下沒有白吃的午餐，需犧牲部分能力。

### IV. Jev 的核心定義與運作原理
*   **模型定義**：
    *   官方稱呼：System 1 model。
    *   主持人精準定義：LLM-based general-purpose classification model。
    *   核心功能：僅做分類工作，不產生文字、圖片或程式碼。
    *   輸出形式：機率分布（Probability Distribution），而非具體文字回答。
*   **通用分類能力**：
    *   無需額外訓練即可處理各式各樣的分類問題。
    *   依賴預訓練建立的基礎世界知識。
    *   限制：過於依賴內部數據的領域（如銀行客戶違約機率），Jev 可能無法給出最佳答案。
*   **訓練過程差異**：
    *   預訓練：與一般 LLM 相同。
    *   後訓練：採用 **RLCD** (Reinforcement Learning for Calibrated Decisions)，要求模型給出的機率分布符合現實事實。

### V. Jev 的技術細節與推論機制
*   **API 限制與結構**：
    *   閉源模型，僅開放 API endpoint。
    *   總 Token 限制：64K。
    *   單一問題限制：32K。
    *   選項數量：每題最多 255 個選項。
*   **運作原理推測**：
    *   將 LLM 產生的 Token Probability Distribution 轉換為針對問題選項的 Probability Distribution。
    *   固定輸出 255 個 Element 的 Classifier Head（Logits）。
    *   僅對前 N 個 Element 進行 Softmax 計算，得出機率分布。
*   **效率與成本優勢來源**：
    *   Jev 僅需進行一次 Forward Pass，因此速度快 200 倍，成本低 400 倍。
    *   平行評估：多個問題獨立評估但平行進行。

### VI. Jev 的應用場景與限制 (第 2/3 段重點)
*   **System 1 vs. System 2**：
    *   引用《Thinking, Fast and Slow》：System 1 為直覺腦，System 2 為思考計畫腦。
    *   一般 LLM 屬於 System 2，Jev 屬於 System 1。
*   **將 LLM 轉化為 Jev 行為的方法**：
    *   無需額外訓練，現有 LLM 可透過 Prompt 技巧模擬 Jev 行為。
    *   技術實現：僅提取目標選項的 logits 分數，放入 softmax 強制分配 100% 機率。
*   **自造 Jev 與原生 Jev 的性能比較**：
    *   簡單問題：自造 Jev 準確率接近 100%。
    *   複雜問題：輸給原生 Jev。
    *   機率校準：原生 Jev 因經過 RLCD 訓練，機率校準更精準。
    *   速度與成本：自造 Jev（本地運行）成本幾乎為零。
*   **應用場景**：
    *   **Model Routing**：判斷問題難度，決定使用弱模型或強模型。
    *   **初期資料篩選**：履歷篩選、郵件分類。
    *   **Computer Use**：處理標準化、重複性高的操作，但受限於無視覺能力。
*   **實測案例**：
    *   郵件分類實測：Jev 在過期繳費提醒等情境下，答案比 GPT-6 Astra 更符合人類直覺。
    *   Computer Use 對比：Jev 成本比 Claude Opus 低一百多倍，速度約快 3 倍，但無法處理動態 CAPTCHA。

### VII. Jev 對 AI 產業的意義與未來趨勢 (第 3/3 段重點)
*   **非革命性取代，而是加速趨勢**：
    *   Jev 不會改變 AI Agent 典範，而是加速「Model Routing」趨勢。
    *   當前 LLM 工作流成本效率非最優化，Jev 提供現成的路由判斷能力。
*   **講者個人工作流與使用體驗**：
    *   當前主要使用 GPT-5.6。
    *   Jev 對講者個人 Impact 不大，僅節省幾秒鐘與少量成本。
    *   對特定場景（如篩選數千封 Email 或履歷）幫助顯著。
*   **未來趨勢預測**：
    *   標準 AI Agent 會將 Jev 當作工具使用，整合進 AI Agent 的 Harness 中。
    *   未來將包含端端（Edge）LLM 與雲端 LLM 的混合選擇。
*   **用戶感知差異**：
    *   科技宅能知曉內幕並融入工作流。
    *   一般用戶不會直接看到 Jev，但會體感 AI Agent 速度與成本的改變。

## 工具 / 模型 / 名詞整理

*   **硬體/產品**：
    *   iPhone 18 Pro
    *   iPhone 17 Pro
    *   犀牛盾 (RhinoShield)
    *   AirX 極致氣墊緩衝殼
    *   SolidX 強化吸震緩衝殼
    *   Clear 透明殼系列
    *   Bumper 邊框殼
    *   NVIDIA 機櫃
    *   DGX Spark
    *   Mac mini
*   **軟體/模型/技術**：
    *   Jev (AI 模型)
    *   TypeSafe AI (公司)
    *   LLM (大型語言模型)
    *   AI Agent
    *   System 1 model
    *   RLHF (Reinforcement Learning from Human Feedback)
    *   RLVR (Reinforcement Learning with Verifiable Rewards)
    *   RLCD (Reinforcement Learning for Calibrated Decisions)
    *   Softmax (函數)
    *   Logits
    *   Token
    *   Context Length
    *   Forward Pass
    *   API Endpoint
    *   Classifier Head
    *   Model routing (模型路由)
    *   Computer use
    *   DOM Tree
    *   Accessibility tags
    *   OCR (Optical Character Recognition)
    *   CAPTCHA
    *   Multi-agent system
    *   Harness
    *   Apple Foundation Model
    *   Apple Intelligence
    *   Siri
    *   iOS 27
    *   A20 Pro 晶片
    *   A19 Pro 晶片
    *   ChatGPT
    *   OpenAI
    *   GPT-3
    *   GPT-6 (提及)
    *   GPT-5 (提及)
    *   GPT-5.6 (講者使用)
    *   GPT-6 Astra (講者提及)
    *   Claude Opus
    *   Luna (講者提及)
    *   Qwen3.5-4B
    *   Astra (講者提及)
    *   Qwen (講者提及)
*   **人物/公司/其他**：
    *   哈利 (主持人)
    *   Diogo Almeida (TypeSafe AI CEO, ChatGPT 共同發明者)
    *   Doflamingo (One Piece 角色)
    *   瑞典太空中心
    *   科技浪 (Podcast 名稱)
    *   X (社群媒體平台)
    *   Threads (社群媒體平台)
    *   Hacker News (技術論壇)
    *   RHINOLOOP (犀牛盾活動)
    *   i18-harry (折扣碼)

## 操作流程整理

1.  **使用 Jev API 進行分類**：
    *   輸入包含 State、問題與選項的資料。
    *   確保總 Token 不超過 64K，單一問題不超過 32K。
    *   單一問題選項數量不超過 255 個。
    *   接收模型輸出的機率分布（Probability Distribution）。
    *   根據機率分布做出決策或路由判斷。

2.  **將現有 LLM 轉化為 Jev 行為（自造 Jev）**：
    *   使用現有 LLM（如 Qwen3.5-4B）。
    *   設計 Prompt 明確標註選項代號（如 A、B）。
    *   忽略其他 token，僅提取目標選項的 logits 分數。
    *   將目標選項分數放入 softmax，強制分配 100% 機率。
    *   直接讀取目標選項的機率分布，而非解讀產生的 token 序列。

3.  **Model Routing 工作流整合**：
    *   AI Agent 執行過程中遇到大量篩選或簡單判斷任務。
    *   呼叫 Jev 進行分類或路由判斷。
    *   根據 Jev 的輸出，決定是否交由強模型（LLM）處理複雜推理。
    *   實現端雲混合模型的選擇，優化速度與成本。

## 值得注意的限制或風險

1.  **Jev 的技術限制**：
    *   純文字模型，無視覺能力。
    *   無法處理非標準化網站、互動性高或需視覺推理的操作（如動態 CAPTCHA）。
    *   選項限制：最多 255 個選項，無法覆蓋網頁上所有可點擊像素。
    *   過於依賴內部數據的領域（如銀行客戶違約機率），Jev 可能無法給出最佳答案。

2.  **自造 Jev 的局限性**：
    *   在複雜問題與機率校準（calibration）上不如原生 Jev。
    *   準確率與校準度取決於模型是否原生為 Jev 架構。

3.  **行銷與現實落差**：
    *   主持人指出行銷講法偏炒作，天下沒有白吃的午餐，需犧牲部分能力。
    *   Jev 宣稱「Zero Hallucinations」，但實際上是指不會產生選項外的內容，而非絕對正確。

## 逐字稿辨識疑點

*   **iPhone 18 Pro / 17 Pro**：逐字稿中提及「iPhone 18 Pro」與「17 Pro」，若當前現實時間點尚未發布 18 Pro，此處可能為口誤或未來預測，但依要求保留原樣。
*   **A20 Pro 晶片**：逐字稿明確提及「A20 Pro 的晶片」，若與現實已知晶片命名規則不符，標為疑點。
*   **iOS 27**：逐字稿提及「iOS 27」，若與現實版本編號不符，標為疑點。
*   **GPT-6 Astra**：逐字稿中多次提及此名稱，目前市場常見為 GPT-4o 或 GPT-4 Turbo 等，「GPT-6」與「Astra」組合可能為口誤、內部代號或聽寫錯誤。
*   **Luna**：講者提到「它並不會做到一半覺得這個問題比較簡單，它就直接丟給那個 Luna 去解決」，「Luna」可能為特定模型名稱、內部代號或口誤。
*   **GPT-5**：講者提到「我有點忘了是 GPT-5 那一代還是哪一代」，若指 OpenAI 歷史版本，目前公開主要為 GPT-4 系列，GPT-5 可能為預測性稱呼或口誤。
*   **GPT-5.6**：逐字稿中明確提及此版本號，需查證是否為口誤或特定內部版本。
*   **Astra**：逐字稿中提及此名稱，需查證是否為特定模型或產品名稱。
*   **DGX Spark**：逐字稿中提及此硬體名稱，需查證是否為正確產品型號。
*   **Qwen3.5-4B**：Qwen 系列通常為 1.5, 2, 2.5 等版本，「3.5」可能為口誤或未來版本預測，依逐字稿保留。
*   **RLCD**：TypeSafe AI 發明的新詞，保留原樣，但需查證是否為 RLHF/RLVR 之誤寫或新術語