# 影片筆記：比 LLM 快 200 倍，输出成本为 0：参与创造 ChatGPT 的人，把 AI 的“说话”能力删掉了


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

TypeSafe AI 推出的模型 **Jeff** 透過剝離語言生成能力，直接輸出結構化決策與信心指數，宣稱在特定任務上比傳統 LLM 快 200 倍且成本趨近於零，引發業界關於其是否僅為「高級分類器」的爭議，並引發對未來 Agent 架構中「System-1 快速判斷」與「System-2 複雜推理」分工的討論。

## 核心重點

1.  **Jeff 模型的核心創新**：
    *   由 ChatGPT 早期參與者迪奥哥·阿尔梅達（Diogo Almeida）及其公司 TypeSafe AI 開發。
    *   **不生成自由文本**：不「說話」，不輸出文章或分析文字，而是直接輸出經過概率校準的結構化決策（分類、路由、打分）。
    *   **三種輸出形式**：Null（二元判斷）、Choice（選項選擇）、Score（打分排序）。
    *   **並行計算**：可將複雜狀態拆分為多個獨立問題並行詢問，而非順序生成文字。

2.  **性能與成本優勢**：
    *   官方宣稱速度提升 20-200 倍，成本降低 40-400 倍。
    *   原因：省去了字符串生成（Token 生成）的開銷，輸出空間提前確定，且支持並行計算。
    *   實際測試案例：一晚 500 多次 API 呼叫僅花費約 3 美分，延遲增加 47 毫秒。

3.  **RLCD（校準決策強化學習）**：
    *   核心目標是確保模型輸出的概率具有統計意義（統計校準）。
    *   若模型宣稱有 70% 把握，長期來看應有 70% 正確。
    *   概率作為控制信號：高概率自動執行，中概率升級模型，低概率轉人工。

4.  **業界爭議與觀點**：
    *   **批評者**：認為這只是現有技術（受限解碼、LogProbs、溫度縮放）的重新組合，本質上是「分類器」或「聰明的工具」，而非 GPT 的直接競爭者。
    *   **支持者**：強調其無需重新訓練即可用自然語言定義任務，適應性強，且避免了為「不需要的生成能力」付費。
    *   **風險**：Jeff 曾給出錯誤答案但信心值為 1.00，引發對概率可信度的質疑。

5.  **未來 Agent 架構建議**：
    *   建議將複雜推理交給前沿模型（System-2），將高頻、窄範圍的判斷交給 Jeff 這類「System-1 模組」。
    *   由外部 **Harness**（調度器）決定誰在何時被調用，什麼結果可通過，什麼需升級。

## 詳細大綱

### I. 背景與問題意識
*   **起源**：迪奥哥·阿尔梅達（Intract GPT 作者之一，參與過 GPT-4 RLHF 與指令遵循工作）在 X 上提問：為何聊天模型已超越人類水平，卻未帶來 AGI 或大規模自動化？
*   **核心矛盾**：模型越來越會說話，但軟體系統真正需要的往往只是一個「決定」（是/否、選哪個工具），而非一段分析文字。
*   **Jeff 的定義**：TypeSafe AI 公開的模型，特點是「不會說話」，不寫文章、不生成自由文本，直接給出決定與信心值。

### II. Jeff 的技術架構與輸出形式
*   **輸入複雜，輸出簡單**：輸入可包含對話、狀態、數據；輸出為預定義類型的概率決策。
*   **三種輸出形式**：
    1.  **Null**：處理二元判斷（如是否有越獄風險），返回概率而非文字。
    2.  **Choice**：從預設選項中選擇（如 8 個工具中選 1 個），返回選項及概率。
    3.  **Score**：處理打分與排序（如優先級、可信度）。
*   **並行計算**：可將複雜軟體狀態拆分為多個獨立問題，一次並行詢問，而非順序生成文字。
*   **System-1 模組**：引用丹尼爾·卡尼曼（Daniel Kahneman）理論，Jeff 被定位為負責快速、直覺式判斷的 System-1，取代 System-2 的緩慢推理。

### III. 業界反應與爭議
*   **觀點一：這只是分類器**
    *   獨立研究者 Alexis Gallagher 認為 Jeff 很酷，但本質上類似 Modern Bird 等模型，屬於舊技術。
    *   以太坊基金會 AI 負責人 David Krapis 認為將 Jeff 與通用 ML 比較有誤導性，它更像是一個「聰明的工具」或分類器，而非 GPT 的直接競爭者。
    *   Robert 指出，受限解碼、LogProbs 取概率、溫度縮放（Temperature Scaling）等技術早已存在，TypeSafe 的創新在於將「校準」放入訓練目標，並直接返回 Decision 而非等待解析的文字。
*   **觀點二：無需重新訓練的優勢**
    *   XBOM 的 AI 研究員 Lan Butler 反駁：傳統分類器需要數據集與重新訓練，而 Jeff 可用自然語言直接定義判斷任務，適應性更強。
*   **實際應用測試**
    *   開發者將 Jeff 用於模型路由、Computer Use 決策。
    *   案例：Observed 開發者測試一晚，500 多次 API 呼叫僅花費約 3 美分，延遲增加 47 毫秒。
    *   **風險案例**：Jeff 曾給出錯誤答案但信心值為 1.00，引發對概率可信度的質疑。

### IV. RLCD：校準決策強化學習
*   **定義**：RLCD 全稱為「校準決策強化學習」（Calibrated Decision Reinforcement Learning）。
*   **核心目標**：確保模型輸出的概率具有統計意義（統計校準）。
    *   若模型宣稱有 70% 把握，長期來看應有 70% 正確。
    *   區別於準確率：模型可能準確率高但不知道自己何時會錯；RLCD 讓模型在易錯時降低概率。
*   **系統控制信號**：概率不再只是裝飾，而是控制信號。
    *   高概率（如 99.8%）：自動執行。
    *   中概率（如 70%）：升級到更強/更貴模型。
    *   低概率：轉人工或驗證。
*   **目前狀態**：TypeSafe 尚未公開完整論文與訓練流程，缺乏第三方基準測試，需更多證據證明其優於現有校準方法。

### V. 關於「幻覺」與成本效益
*   **幻覺的定義**：
    *   Jeff 不會產生「類型外」的幻覺（如生成不存在的函數或格式錯誤的 JSON），因為輸出空間已預先定義。
    *   但仍可能產生「合法答案內的錯誤」（如選擇批准，但正確應為拒絕）。
*   **速度與成本的解釋**：
    *   **官方數據**：快 20-200 倍，便宜 40-400 倍（Benchmark 最高達 193.6 倍快，444.6 倍便宜）。
    *   **原因**：省去了字符串生成（Token 生成）的開銷，輸出空間提前確定，且支持並行計算。
    *   **延遲與價格**：端到端延遲約 70-500 毫秒；輸入價格每百萬 Token 4.2 美分，輸出不單獨計費。
*   **比較偏差**：
    *   TypeSafe 的 Benchmark 針對的是「System-1 任務」（窄決策），而非開放式寫作或數學題。
    *   與通用 LLM 相比，Jeff 避免了為「不需要的生成能力」付費。
    *   官方承認評估可能存在偏見，由內部團隊設計。

### VI. 未來 Agent 架構建議
*   **分工原則**：
    *   **前沿模型**：處理開放、複雜、需理解模糊目標、長程規劃與深度推理的問題。
    *   **代碼**：處理確定性規則（如金額閾值）。
    *   **Jeff (System-1 模組)**：處理大量、高頻、窄範圍且不斷變化的判斷。
    *   **Verify**：判斷結果是否滿足明確標準。
    *   **Memory**：長期保存信息。
    *   **Tools**：真正改變外部世界的動作。
*   **Harness 的角色**：外部調度器決定誰在何時被調用，什麼結果可通過，什麼需升級。
*   **核心提問**：當軟體只需要一個決定時，為何一定要讓 AI 先開口說話？

## 工具 / 模型 / 名詞整理

*   **X**：社交媒體平台（原文提及迪奥哥·阿尔梅達在此發帖）。
*   **AGI**：通用人工智能（Artificial General Intelligence）。
*   **Intract GPT**：迪奥哥·阿尔梅達參與創作的模型/項目。
*   **GPT-4**：OpenAI 的大型語言模型。
*   **RLHF**：基於人類反饋的強化學習（Reinforcement Learning from Human Feedback）。
*   **ChatGPT**：OpenAI 的聊天機器人產品。
*   **TypeSafe AI**：迪奥哥·阿尔梅達的公司。
*   **Jeff**：TypeSafe AI 推出的新模型名稱（原文部分聽寫為 Jav, Jive, Jab, JF，統一指代該模型）。
*   **Modern Bird**：被提及可快速完成結構化判斷的模型。
*   **XBOM**：原文提及「XBOM 的 AI 研究員」，疑點：機構名稱，需查證。
*   **Lan Butler**：XBOM 的 AI 研究員。
*   **Alexis Gallagher**：獨立 AI 研究者。
*   **David Krapis**：以太坊基金會 AI 負責人。
*   **Robert**：試文透客（疑點：人名或機構名聽寫，需查證）。
*   **RLVR**：原文提及「RLVR 就更適合...」，疑點：通常指 RLHF 或 RLVR (Reinforcement Learning with Verifiable Rewards)，需查證。
*   **RLCD**：校準決策強化學習（Calibrated Decision Reinforcement Learning）。
*   **LogProbs**：對數概率（Log Probabilities）。
*   **Temperature Scaling**：溫度縮放，一種概率校準方法。
*   **System-1 / System-2**：丹尼爾·卡尼曼提出的認知系統理論。
*   **Daniel Kahneman**：丹尼爾·卡尼曼，諾貝爾獎得主，提出 System-1/2 理論。
*   **Harness**：原文聽寫為「Harness」或「Harnes」，指 Agent 系統中的調度器或控制層。
*   **Computer Use**：指代某種 Agent 功能或場景，指計算機使用能力。
*   **Observed**：一位開發者的名稱或項目名。
*   **GPT Cloud**：原文提及「GPT Cloud 這種通用模型」，疑點：通常指 GPT-4 或 Azure OpenAI，需查證。
*   **Mardenberg**：原文提及「Mardenberg 專門的小型分類器」，疑點：模型名稱聽寫錯誤，需查證（可能指 Llama 或其他小型模型）。
*   **Side-by-side demo**：並排演示。

## 操作流程整理

1.  **定義任務與輸出空間**：
    *   確定需要做出的決策類型（Null, Choice, 或 Score）。
    *   預先定義所有可能的輸出選項或評分標準。
2.  **輸入數據處理**：
    *   將對話、系統狀態、數據等複雜輸入整合。
    *   可將複雜軟體狀態拆分為多個獨立問題。
3.  **並行推理與決策**：
    *   將問題並行輸入 Jeff 模型。
    *   模型不生成自由文本，直接計算概率。
4.  **概率校準與輸出**：
    *   模型輸出決策結果及對應的信心概率（通過 RLCD 訓練確保統計校準）。
5.  **Harness 調度與執行**：
    *   **高概率**：自動執行決策。
    *   **中概率**：觸發升級機制，交由更強/更貴模型處理。
    *   **低概率**：轉交人工審核或驗證。
6.  **反饋與優化**：
    *   根據實際結果調整模型或路由策略。

## 值得注意的限制或風險

1.  **概率可信度風險**：Jeff 曾給出錯誤答案但信心值為 1.00，顯示其概率校準可能在極端情況下失效或存在偏差。
2.  **缺乏第三方驗證**：TypeSafe 尚未公開完整論文與訓練流程，缺乏第三方基準測試，其優於現有校準方法的結論需更多證據支持。
3.  **任務範圍限制**：Jeff 僅適用於「System-1 任務」（窄決策），不適用於開放式寫作、數學題或需要深度推理的複雜場景。
4.  **評估偏差**：官方承認評估可能存在偏見，由內部團隊設計，可能高估了其性能。
5.  **技術本質爭議**：業界認為其本質上仍是分類器，創新點在於將「校準」放入訓練目標並直接返回 Decision，而非發明全新技術。

## 逐字稿辨識疑點

*   **XGP**：原文「參與創造 XGP 之後」，通常語境下應為 ChatGPT 或 GPT，XGP 疑為聽寫錯誤。
*   **Jason**：原文多次出現「Jason」，結合上下文「生成自由文本...吐出一串 Jason」，應為 **JSON**。
*   **Jav / Jive / Jab / JF**：原文中模型名稱聽寫不一致，分別出現為 Jeff, Jav, Jive, Jab, JF，均指代 TypeSafe AI 推出的同一個模型。
*   **XBOM**：原文「XBOM 的 AI 研究員」，機構名稱不常見，需查證是否為 **X.com** 相關部門或其他機構。
*   **RLVR**：原文「RLVR 就更適合...」，在 RLHF 語境下，可能指 **RLVR** (Reinforcement Learning with Verifiable Rewards) 或聽寫錯誤。
*   **試文透客**：原文「Robert 試文透客」，人名與機構/職位混雜，需查證 Robert 的全名或所屬機構。
*   **GPT Cloud**：原文「GPT Cloud 這種通用模型」，非標準產品名稱，可能指 **GPT-4** 或雲端服務。
*   **Mardenberg**：原文「Mardenberg 專門的小型分類器」，非知名模型名稱，需查證是否為 **Llama**、**Mistral** 或其他小型模型的聽寫錯誤。
*   **Harnes**：原文「Harnes 就可以設置一個預值」，應為 **Harness**（調度器/控制層）。
*   **CoundDefense**：原文「這個時候 CoundDefense 就不再是...」，疑點：詞彙聽寫錯誤，需查證是否指 **Confidence**（信心值）或其他術語。
*   **Resonings and Proves**：原文「Resonings and Proves」，應為 **Reasoning and Proofs**（推理與證明）。
*   **pront**：原文「塞進一個巨大 pront 里」，應為 **Prompt**（提示詞）。
*   **赞款**：原文「付款、赞款」，應為 **退款**。
*   **复合**：原文「人工复合、优化复合」，應為 **複審** 或 **審核**。

## 可延伸追問

1.  RLCD 訓練的具體數學原理與現有概率校準方法（如 Temperature Scaling）的實質差異為何？
2.  在什麼樣的業務場景下，使用 Jeff 的成本效益比會顯著高於使用經過提示工程優化的 LLM？
3.  如何解決 Jeff 在極端情況下（如信心值 1.00 但錯誤）的概率校準失效問題？
4.  未來是否會出現專門針對「決策任務」優化的大型模型，而非僅限於小型分類器？
5.  Harness 調度器的開源情況與生態系統發展現狀為何？