# 影片筆記:JEV彻底引爆全网:这才是AI的全新形态! p01 中文配音 ## ⚠️ 可先使用,仍有待修正項目 本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。 - 待修正:逐字稿全文快速校讀未完成(已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。) ## 一句話總結 TypeSafe AI 發布了基於 Transformer 架構但非大語言模型的「JEFF」系統一模型,該模型不輸出文本而是返回校準的概率決策,具備極高速度與極低成本,並透過自信度指標實現自動化邏輯分支,旨在解決傳統 LLM 在自動化應用中的效率與成本瓶頸。 ## 核心重點 * **模型定義與架構**:JEFF 被定義為「系統一模型」(System-1 Model),基於 Transformer 架構但**不是**大語言模型(LLM)。它不輸出文本,而是返回「校準決策」(Calibrated Decisions)的概率分數。 * **技術原理**: * 採用 **RLCD**(基於校準決策的強化學習)進行訓練,作為 RLHF 的替代方案。 * 使用**並行採樣器架構**,一次性生成所有結果,而非像 GPT-4o 那樣每次生成一個 Token。 * 基於**結構化程序狀態**而非序列消息構建。 * 實現**類型安全(Type Safety)**,預定義輸出格式,確保不輸出結構以外的內容,省去解析與驗證步驟。 * 使用 **Choice Score 原語**,返回類型化的選擇評分或帶有概率的答案,全部並行評估。 * **性能優勢**: * **速度**:JEFF 端到端響應時間為 70-500 毫秒,比傳統大模型(如 GPT-4o/Terra)快 40 到 200 倍。 * **成本**:JEFF 每百萬 Token 成本極低(0.042 美元),比 Fable 5.1 便宜 238 倍。 * **準確率與自信度**:JEFF 的自信度經過校準,自信度越高,準確率越高。這使得模型可以透過自信度指標實現自動化邏輯分支(自信度高則執行,低則忽略),避免大模型的過度自信與幻覺問題。 * **市場反應與應用**: * 發布 24 小時內,付費團隊數量是此前任何模型的兩倍多,普及速度遠超 GPT-4o 系列。 * 實際應用案例包括 Adversal 公司(指令安全分類)和 Brio AI(商務郵件處理),展現了更高的速度與更低的成本。 * **訓練與理念**: * 完全採用**合成數據**訓練,不使用用戶數據。 * 堅持**反基準測試**理念,放棄公開基準測試,僅提供一次性評估,推動用戶自行構建評估體系。 * 創始人 Diogo Amata 認為當前行業過度優化人類語言,缺乏關鍵環節以實現 API 調用和實際自動化。 ## 詳細大綱 ### 一、 背景與創始人觀點 * **Diogo Amata 的背景**:OpenAI 前研究員,參與構建聊天機器人並共同發明 RLHF(基於人類反饋的強化學習)。 * **離開原因**:對行業過度優化人類語言感到失望,認為這無法帶來真正的自動化。 * **核心痛點**:模型在對話上超越人類,但缺乏關鍵環節以實現 API 調用和實際自動化。 * **TypeSafe AI 成立**:Amata 離開 OpenAI 後創辦 TypeSafe AI,融資 4000 萬美元,研發兩年。 ### 二、 JEFF 模型核心技術與定義 * **模型定位**: * 基於 Transformer 架構,但**不是**大語言模型(LLM)。 * 不輸出文本,而是返回概率(校準決策)。 * 被稱為「機器原生人工智能」或「前沿智能函數」。 * 輸入非結構化狀態,輸出類型化的概率決策。 * **技術原理**: * **RLCD(基於校準決策的強化學習)**:作為對 RLHF 的回應,是一種訓練方法。 * **並行採樣器架構**:一次性生成所有結果,而非像 GPT-4o 那樣每次生成一個 Token。 * **結構化程序狀態**:基於結構化程序狀態而非序列消息構建。 * **類型安全(Type Safety)**:預定義輸出格式,確保不輸出結構以外的內容,省去解析與驗證步驟。 * **Choice Score 原語**:用於提問,返回類型化的選擇評分或帶有概率的答案,全部並行評估。 ### 三、 性能對比與優勢 * **速度對比**: * JEFF:70-500 毫秒(端到端)。 * 傳統大模型(如 GPT-4o/Terra):3-329 秒。 * TechCrunch 演示數據:Jeff 響應 0.114 秒,Terra 用 8.566 秒。 * 結論:速度快了 40 到 200 倍。 * **成本對比**: * 大模型:輸入每百萬 Token 2 美分到 10 美元,輸出費用是輸入的 5 倍。 * JEFF:每百萬 Token 0.042 美元,按 10 億單位計費,輸出成本極低。 * 數據顯示 JEFF 比 Fable 5.1 便宜 238 倍。 * **自信度(Confidence Score)**: * JEFF 的自信度經過校準,自信度越高,準確率越高。 * 相似輸入得到相似答案。 * 應用邏輯:自信度低(如 5x10,類似拋硬幣)則忽略;自信度高(如 9x50)則果斷執行。 * 解決大模型過度自信且評估前後不一的問題。 ### 四、 評估與證據 * **工作流評估**: * 無標準答案標籤,不對評估框架微調。 * 每個模型運行相同的工作流,根據 GT6 Extra 的平均表現評分。 * JEFF 在帕雷托前沿(Pareto Frontier)上,範圍近兩個數量級。 * 數據來源:100.936 倍提速,444.6 倍成本縮減(Virtue 四捨五入為 100.94 倍提速,400 倍成本縮減,約 45 倍實際應用上限)。 * **The Register 的反駁與質疑**: * 質疑 JEFF 不生成自然語言,無法演示實時智能。 * 指出演示經過高度簡化,使用了有利於 JEFF 的密集狀態描述。 * 認為 Jeff 的零錯誤率是由模式匹配保證,而非測出來的。 * **TypeSafe 的回應**: * 歡迎質疑,自稱懷疑論者。 * 定價透明,但無法證明未獲補貼。 * 承認演示可能美化表現,但強調工作流評估更接近生產環境。 ### 五、 市場反應與應用場景 * **AI Gateway 數據**: * 發布 24 小時內,付費團隊數量是此前任何模型的兩倍多。 * 12 小時超越所有競品,18 小時覆蓋 1% 付費團隊,24 小時接近 13%。 * 普及速度遠超 GPT-4o 系列和 Fable 5.1。 * **實際應用案例**: * **Adversal 公司**:從指令安全分類器(基於 GPT-4o Mini)換成 JEFF,速度提升 5-18 倍,準確度更高。 * **Brio AI**:處理商務郵件,Jeff 準確率略勝 Gemini,但成本低 10-20 倍。 * **遊戲與黑客松**: * 危機競速:在成百上千頁面間穿梭,展現高處理效率。 * 支持基數上限為 200,超過後會獨立評估各鏈接,偶爾減速。 * Jeff 往往能以更少步驟完成任務。 * **開發者反饋**: * 視為更經濟、更穩健的智能集成方案。 * 唯一能提供真實概率反饋的模型,適合自動化工作流。 ### 六、 內部機制與未來展望 * **訓練數據**: * 完全採用合成數據訓練。 * 資產數據被稱為「人生中最成功的豪賭」,優於 RLHF。 * TypeSafe 自詡為核心數據研究實驗室,員工主導統計學可控合成數據領域。 * 不會用用戶數據訓練。 * **理念與哲學**: * **系統一(System 1)**:源自卡尼曼《思考,快與慢》,指快速、直覺的決策。TypeSafe 認為此類模型比傳統方案更可靠。 * **反基準測試**:完全放棄公開基準測試,僅提供一次性評估,推動用戶自行構建評估體系。 * **Jeff 名字由來**:源自經濟學家 William Jevons(註:逐字稿聽寫為 Tauffell,疑點見下),提出「傑文斯悖論」(效率提升導致需求增加)。TypeSafe 認為智能成本降低將解鎖更多應用場景。 * **對前沿實驗室(Frontier Labs)的批評**:主打產品是恐懼和炒作,追求真正智能而非無限財富豪賭或創造神。 * **未來發展**: * 開發更多新模態版本。 * 從後補名單邀請開發者,詢問科幻構想。 * 預計競爭會出現,但 TypeSafe 認為大模型太便宜且受補貼,人們懶於創新。 ## 工具 / 模型 / 名詞整理 * **公司/組織**: * OpenAI * TypeSafe AI * The Register * TechCrunch * AI Gateway * Adversal 公司 * Brio AI * OpenRouter * PO 研究中心 * CNBC * 帕雷托前沿(Pareto Frontier,概念/指標) * **模型/產品**: * JEFF(TypeSafe 的首個系統一模型) * GPT-4o / GPD-4O Mini(逐字稿中出現 GPD 5.6, GPT 5.6, GPT-4o Mini 等多種變體,疑點見下) * Terra / Tara(指代某大模型,疑點見下) * Fable 5.1(逐字稿中出現 Fable 5.1, Fable 5.6 等,疑點見下) * Gemini * DeepSeek * 大語言模型(LLM) * 智能異服語句(疑點,可能指智能代理語句或類似概念) * Map(用於將 PB 級數據精煉為特徵) * **技術/概念**: * RLHF(基於人類反饋的強化學習) * RLCD(基於校準決策的強化學習) * Transformer 架構 * Choice Score(原語) * 類型安全(Type Safety) * 校準決策(Calibrated Decisions) * 機器原生人工智能 * 前沿智能函數 * 系統一(System 1) * 傑文斯悖論(Jevons Paradox,逐字稿聽寫為 Tauffell 的悖論) * 合成數據 * 帕雷托前沿 * 反基準測試 ## 操作流程整理 1. **輸入非結構化狀態**:將非結構化數據輸入 JEFF 模型。 2. **並行評估與決策生成**: * 模型基於 Transformer 架構,使用並行採樣器架構一次性生成所有結果。 * 不生成文本 Token,而是計算並返回類型化的概率決策。 3. **獲取 Choice Score**: * 模型返回類型化的選擇評分或帶有概率的答案。 * 所有選項並行評估,返回包含自信度(Confidence Score)的結構化數據。 4. **邏輯分支處理**: * 檢查自信度指標。 * 若自信度高(例如 9x50),則果斷執行對應操作。 * 若自信度低(例如 5x10,類似拋硬幣),則忽略該結果或進入其他邏輯分支。 5. **輸出結果**: * 返回結構化的決策結果,無需額外的解析與驗證步驟。 ## 值得注意的限制或風險 * **演示簡化問題**:The Register 質疑 JEFF 的演示經過高度簡化,使用了有利於 JEFF 的密集狀態描述,可能無法完全反映生產環境表現。 * **模式匹配風險**:質疑者認為 JEFF 的零錯誤率可能由模式匹配保證,而非真正的智能測試。 * **補貼爭議**:TypeSafe 承認定價透明,但無法證明其成本結構未獲補貼。 * **基數限制**:在遊戲與黑客松案例中,支持基數上限為 200,超過後會獨立評估各鏈接,偶爾減速。 * **反基準測試的局限性**:完全放棄公開基準測試,僅提供一次性評估,可能使外部用戶難以進行標準化的性能比較。 ## 逐字稿辨識疑點 * **Diogo Amata / Ameta / Almeta / Amita**:逐字稿中創始人名字多次變換,可能為 Diogo Amata 的聽寫錯誤。 * **GPD 5.6 / GPT 5.6 / GPT-4o Mini**:逐字稿中出現「GPD 5.6」、「GPT 5.6」、「GPT 5.6 系列」,可能為 GPT-4o 或 GPT-4 系列的聽寫錯誤,或指代特定版本,需查證。 * **Terra / Tara**:逐字稿中交替出現「Terra」和「Tara」,可能指代同一個競爭對手模型(如 Gemini 或其他),需查證。 * **Fable 5.1 / Fable 5.6**:逐字稿中出現「Fable 5.1」和「Fable 5.6」,可能指代某特定模型版本,需查證。 * **Jason**:在描述輸出結果時,逐字稿寫為「Jason」,可能為「JSON」的聽寫錯誤。 * **NEO**:在描述 Choice Score 返回結果時,出現「NEO 他們會返回類型化的選擇評分」,可能為聽寫錯誤或特定術語,需查證。 * **智信度**:在工單分類例子中,出現「智信度 0.82」,可能為「置信度」的聽寫錯誤。 * **不耳直答案**:可能為「不確定答案」的聽寫錯誤。 * **智能異服語句**:可能為「智能代理語句」或類似概念的聽寫錯誤。 * **威廉 Tauffell**:可能為經濟學家 William Jevons(傑文斯)的聽寫錯誤,因為後續提到了「悖論」。 * **100 93.6 倍 / 100 94 倍**:數字格式混亂,可能為「100.936 倍」的聽寫錯誤。 * **444.6 倍 / 400 倍 / 45 倍**:成本縮減倍數在不同段落表述不一致,可能為聽寫或數據引用差異。 * **5x10 / 9x50**:自信度數值表述模糊,可能為特定內部標記或聽寫錯誤。 * **GT6 Extra**:可能為特定評估框架或模型的聽寫錯誤。 * **Runiker / Renneker**:可能為人名或公司名的聽寫錯誤。 * **Branet Sharma / Nikhil Matokar**:可能為人名聽寫錯誤。 * **TypeCrunch**:可能為「TechCrunch」的聽寫錯誤。 * **前沿實驗室(Frontier Labs)**:可能指代特定公司或泛指前沿 AI 實驗室,需查證。 ## 可延伸追問 * JEFF 模型的「並行採樣器架構」具體技術實現細節為何? * TypeSafe AI 如何定義和計算「校準決策」的概率分數? * 在生產環境中,JEFF 的自信度指標與實際準確率之間的相關性數據是否公開? * TypeSafe AI 的「反基準測試」策略對開發者評估模型性能有何具體影響? * JEFF 模型在處理非結構化數據時的具體輸入格式要求是什麼?