影片筆記：比 LLM 快 200 倍，输出成本为 0：参与创造 ChatGPT 的人，把 AI 的“说话”能力删掉了

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

TypeSafe AI 推出的模型 Jeff 透過剝離語言生成能力，直接輸出結構化決策與信心指數，宣稱在特定任務上比傳統 LLM 快 200 倍且成本趨近於零，引發業界關於其是否僅為「高級分類器」的爭議，並引發對未來 Agent 架構中「System-1 快速判斷」與「System-2 複雜推理」分工的討論。

核心重點

1. Jeff 模型的核心創新：

• 由 ChatGPT 早期參與者迪奥哥·阿尔梅達（Diogo Almeida）及其公司 TypeSafe AI 開發。
• 不生成自由文本：不「說話」，不輸出文章或分析文字，而是直接輸出經過概率校準的結構化決策（分類、路由、打分）。
• 三種輸出形式：Null（二元判斷）、Choice（選項選擇）、Score（打分排序）。
• 並行計算：可將複雜狀態拆分為多個獨立問題並行詢問，而非順序生成文字。

1. 性能與成本優勢：

• 官方宣稱速度提升 20-200 倍，成本降低 40-400 倍。
• 原因：省去了字符串生成（Token 生成）的開銷，輸出空間提前確定，且支持並行計算。
• 實際測試案例：一晚 500 多次 API 呼叫僅花費約 3 美分，延遲增加 47 毫秒。

1. RLCD（校準決策強化學習）：

• 核心目標是確保模型輸出的概率具有統計意義（統計校準）。
• 若模型宣稱有 70% 把握，長期來看應有 70% 正確。
• 概率作為控制信號：高概率自動執行，中概率升級模型，低概率轉人工。

1. 業界爭議與觀點：

• 批評者：認為這只是現有技術（受限解碼、LogProbs、溫度縮放）的重新組合，本質上是「分類器」或「聰明的工具」，而非 GPT 的直接競爭者。
• 支持者：強調其無需重新訓練即可用自然語言定義任務，適應性強，且避免了為「不需要的生成能力」付費。
• 風險：Jeff 曾給出錯誤答案但信心值為 1.00，引發對概率可信度的質疑。

1. 未來 Agent 架構建議：

• 建議將複雜推理交給前沿模型（System-2），將高頻、窄範圍的判斷交給 Jeff 這類「System-1 模組」。
• 由外部 Harness（調度器）決定誰在何時被調用，什麼結果可通過，什麼需升級。

詳細大綱

I. 背景與問題意識

• 起源：迪奥哥·阿尔梅達（Intract GPT 作者之一，參與過 GPT-4 RLHF 與指令遵循工作）在 X 上提問：為何聊天模型已超越人類水平，卻未帶來 AGI 或大規模自動化？
• 核心矛盾：模型越來越會說話，但軟體系統真正需要的往往只是一個「決定」（是/否、選哪個工具），而非一段分析文字。
• Jeff 的定義：TypeSafe AI 公開的模型，特點是「不會說話」，不寫文章、不生成自由文本，直接給出決定與信心值。

II. Jeff 的技術架構與輸出形式

• 輸入複雜，輸出簡單：輸入可包含對話、狀態、數據；輸出為預定義類型的概率決策。
• 三種輸出形式：

1. Null：處理二元判斷（如是否有越獄風險），返回概率而非文字。
2. Choice：從預設選項中選擇（如 8 個工具中選 1 個），返回選項及概率。
3. Score：處理打分與排序（如優先級、可信度）。

• 並行計算：可將複雜軟體狀態拆分為多個獨立問題，一次並行詢問，而非順序生成文字。
• System-1 模組：引用丹尼爾·卡尼曼（Daniel Kahneman）理論，Jeff 被定位為負責快速、直覺式判斷的 System-1，取代 System-2 的緩慢推理。

III. 業界反應與爭議

• 觀點一：這只是分類器
• 獨立研究者 Alexis Gallagher 認為 Jeff 很酷，但本質上類似 Modern Bird 等模型，屬於舊技術。
• 以太坊基金會 AI 負責人 David Krapis 認為將 Jeff 與通用 ML 比較有誤導性，它更像是一個「聰明的工具」或分類器，而非 GPT 的直接競爭者。
• Robert 指出，受限解碼、LogProbs 取概率、溫度縮放（Temperature Scaling）等技術早已存在，TypeSafe 的創新在於將「校準」放入訓練目標，並直接返回 Decision 而非等待解析的文字。
• 觀點二：無需重新訓練的優勢
• XBOM 的 AI 研究員 Lan Butler 反駁：傳統分類器需要數據集與重新訓練，而 Jeff 可用自然語言直接定義判斷任務，適應性更強。
• 實際應用測試
• 開發者將 Jeff 用於模型路由、Computer Use 決策。
• 案例：Observed 開發者測試一晚，500 多次 API 呼叫僅花費約 3 美分，延遲增加 47 毫秒。
• 風險案例：Jeff 曾給出錯誤答案但信心值為 1.00，引發對概率可信度的質疑。

IV. RLCD：校準決策強化學習

• 定義：RLCD 全稱為「校準決策強化學習」（Calibrated Decision Reinforcement Learning）。
• 核心目標：確保模型輸出的概率具有統計意義（統計校準）。
• 若模型宣稱有 70% 把握，長期來看應有 70% 正確。
• 區別於準確率：模型可能準確率高但不知道自己何時會錯；RLCD 讓模型在易錯時降低概率。
• 系統控制信號：概率不再只是裝飾，而是控制信號。
• 高概率（如 99.8%）：自動執行。
• 中概率（如 70%）：升級到更強/更貴模型。
• 低概率：轉人工或驗證。
• 目前狀態：TypeSafe 尚未公開完整論文與訓練流程，缺乏第三方基準測試，需更多證據證明其優於現有校準方法。

V. 關於「幻覺」與成本效益

• 幻覺的定義：
• Jeff 不會產生「類型外」的幻覺（如生成不存在的函數或格式錯誤的 JSON），因為輸出空間已預先定義。
• 但仍可能產生「合法答案內的錯誤」（如選擇批准，但正確應為拒絕）。
• 速度與成本的解釋：
• 官方數據：快 20-200 倍，便宜 40-400 倍（Benchmark 最高達 193.6 倍快，444.6 倍便宜）。
• 原因：省去了字符串生成（Token 生成）的開銷，輸出空間提前確定，且支持並行計算。
• 延遲與價格：端到端延遲約 70-500 毫秒；輸入價格每百萬 Token 4.2 美分，輸出不單獨計費。
• 比較偏差：
• TypeSafe 的 Benchmark 針對的是「System-1 任務」（窄決策），而非開放式寫作或數學題。
• 與通用 LLM 相比，Jeff 避免了為「不需要的生成能力」付費。
• 官方承認評估可能存在偏見，由內部團隊設計。

VI. 未來 Agent 架構建議

• 分工原則：
• 前沿模型：處理開放、複雜、需理解模糊目標、長程規劃與深度推理的問題。
• 代碼：處理確定性規則（如金額閾值）。
• Jeff (System-1 模組)：處理大量、高頻、窄範圍且不斷變化的判斷。
• Verify：判斷結果是否滿足明確標準。
• Memory：長期保存信息。
• Tools：真正改變外部世界的動作。
• Harness 的角色：外部調度器決定誰在何時被調用，什麼結果可通過，什麼需升級。
• 核心提問：當軟體只需要一個決定時，為何一定要讓 AI 先開口說話？

工具 / 模型 / 名詞整理

• X：社交媒體平台（原文提及迪奥哥·阿尔梅達在此發帖）。
• AGI：通用人工智能（Artificial General Intelligence）。
• Intract GPT：迪奥哥·阿尔梅達參與創作的模型/項目。
• GPT-4：OpenAI 的大型語言模型。
• RLHF：基於人類反饋的強化學習（Reinforcement Learning from Human Feedback）。
• ChatGPT：OpenAI 的聊天機器人產品。
• TypeSafe AI：迪奥哥·阿尔梅達的公司。
• Jeff：TypeSafe AI 推出的新模型名稱（原文部分聽寫為 Jav, Jive, Jab, JF，統一指代該模型）。
• Modern Bird：被提及可快速完成結構化判斷的模型。
• XBOM：原文提及「XBOM 的 AI 研究員」，疑點：機構名稱，需查證。
• Lan Butler：XBOM 的 AI 研究員。
• Alexis Gallagher：獨立 AI 研究者。
• David Krapis：以太坊基金會 AI 負責人。
• Robert：試文透客（疑點：人名或機構名聽寫，需查證）。
• RLVR：原文提及「RLVR 就更適合...」，疑點：通常指 RLHF 或 RLVR (Reinforcement Learning with Verifiable Rewards)，需查證。
• RLCD：校準決策強化學習（Calibrated Decision Reinforcement Learning）。
• LogProbs：對數概率（Log Probabilities）。
• Temperature Scaling：溫度縮放，一種概率校準方法。
• System-1 / System-2：丹尼爾·卡尼曼提出的認知系統理論。
• Daniel Kahneman：丹尼爾·卡尼曼，諾貝爾獎得主，提出 System-1/2 理論。
• Harness：原文聽寫為「Harness」或「Harnes」，指 Agent 系統中的調度器或控制層。
• Computer Use：指代某種 Agent 功能或場景，指計算機使用能力。
• Observed：一位開發者的名稱或項目名。
• GPT Cloud：原文提及「GPT Cloud 這種通用模型」，疑點：通常指 GPT-4 或 Azure OpenAI，需查證。
• Mardenberg：原文提及「Mardenberg 專門的小型分類器」，疑點：模型名稱聽寫錯誤，需查證（可能指 Llama 或其他小型模型）。
• Side-by-side demo：並排演示。

操作流程整理

1. 定義任務與輸出空間：

• 確定需要做出的決策類型（Null, Choice, 或 Score）。
• 預先定義所有可能的輸出選項或評分標準。

1. 輸入數據處理：

• 將對話、系統狀態、數據等複雜輸入整合。
• 可將複雜軟體狀態拆分為多個獨立問題。

1. 並行推理與決策：

• 將問題並行輸入 Jeff 模型。
• 模型不生成自由文本，直接計算概率。

1. 概率校準與輸出：

• 模型輸出決策結果及對應的信心概率（通過 RLCD 訓練確保統計校準）。

1. Harness 調度與執行：

• 高概率：自動執行決策。
• 中概率：觸發升級機制，交由更強/更貴模型處理。
• 低概率：轉交人工審核或驗證。

1. 反饋與優化：

• 根據實際結果調整模型或路由策略。

值得注意的限制或風險

1. 概率可信度風險：Jeff 曾給出錯誤答案但信心值為 1.00，顯示其概率校準可能在極端情況下失效或存在偏差。
2. 缺乏第三方驗證：TypeSafe 尚未公開完整論文與訓練流程，缺乏第三方基準測試，其優於現有校準方法的結論需更多證據支持。
3. 任務範圍限制：Jeff 僅適用於「System-1 任務」（窄決策），不適用於開放式寫作、數學題或需要深度推理的複雜場景。
4. 評估偏差：官方承認評估可能存在偏見，由內部團隊設計，可能高估了其性能。
5. 技術本質爭議：業界認為其本質上仍是分類器，創新點在於將「校準」放入訓練目標並直接返回 Decision，而非發明全新技術。

逐字稿辨識疑點

• XGP：原文「參與創造 XGP 之後」，通常語境下應為 ChatGPT 或 GPT，XGP 疑為聽寫錯誤。
• Jason：原文多次出現「Jason」，結合上下文「生成自由文本...吐出一串 Jason」，應為 JSON。
• Jav / Jive / Jab / JF：原文中模型名稱聽寫不一致，分別出現為 Jeff, Jav, Jive, Jab, JF，均指代 TypeSafe AI 推出的同一個模型。
• XBOM：原文「XBOM 的 AI 研究員」，機構名稱不常見，需查證是否為 X.com 相關部門或其他機構。
• RLVR：原文「RLVR 就更適合...」，在 RLHF 語境下，可能指 RLVR (Reinforcement Learning with Verifiable Rewards) 或聽寫錯誤。
• 試文透客：原文「Robert 試文透客」，人名與機構/職位混雜，需查證 Robert 的全名或所屬機構。
• GPT Cloud：原文「GPT Cloud 這種通用模型」，非標準產品名稱，可能指 GPT-4 或雲端服務。
• Mardenberg：原文「Mardenberg 專門的小型分類器」，非知名模型名稱，需查證是否為 Llama、Mistral 或其他小型模型的聽寫錯誤。
• Harnes：原文「Harnes 就可以設置一個預值」，應為 Harness（調度器/控制層）。
• CoundDefense：原文「這個時候 CoundDefense 就不再是...」，疑點：詞彙聽寫錯誤，需查證是否指 Confidence（信心值）或其他術語。
• Resonings and Proves：原文「Resonings and Proves」，應為 Reasoning and Proofs（推理與證明）。
• pront：原文「塞進一個巨大 pront 里」，應為 Prompt（提示詞）。
• 赞款：原文「付款、赞款」，應為 退款。
• 复合：原文「人工复合、优化复合」，應為 複審 或 審核。

可延伸追問

1. RLCD 訓練的具體數學原理與現有概率校準方法（如 Temperature Scaling）的實質差異為何？
2. 在什麼樣的業務場景下，使用 Jeff 的成本效益比會顯著高於使用經過提示工程優化的 LLM？
3. 如何解決 Jeff 在極端情況下（如信心值 1.00 但錯誤）的概率校準失效問題？
4. 未來是否會出現專門針對「決策任務」優化的大型模型，而非僅限於小型分類器？
5. Harness 調度器的開源情況與生態系統發展現狀為何？