影片筆記：Jev + Browser Use 实测：我试过最快的 AI Agent 到底有多强？

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=29 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片測試了由 TagC 提出的「System-1」模型 Jeff（或稱 Jev/JF），該模型主打極速判斷、低成本及結構化輸出。通過客服路由、否定處理、提示注入防禦等場景驗證其能力，並結合 Browser Use 與 Mercury 2.5 模型，展示了在約 7 秒內以極低成本完成航班查詢的「Jeff Ultrafast」專案。

核心重點

1. Jeff 模型定位：

• 由 TagC 提出，屬於「System-1」模型。
• 核心特點：極快判斷、極低成本、直接供軟體使用的結構化輸出。
• 主要用途：軟體內部的快速決策路由，而非生成式聊天或應用編寫。

1. 核心功能類型：

• Choice：從提供選項中選擇一項。
• Score：根據定義等級打分。
• Probability：給出「是或否」陳述為真的概率。

1. 實測場景與結果：

• 客服路由：能準確將重複扣費與退款請求路由至 billing 部門，評估高退款概率與低緊急度。
• 否定處理：能正確區分「要退款」與「明確拒絕退款」（如只需發票），證明模型能處理否定語意而非僅匹配關鍵字。
• 強制選擇限制：當選項不包含正確答案時（如食堂營業時間），模型會強制選擇最接近選項（如歸類為 sales），說明「零幻覺」僅指不編造新類別，不代表答案正確。
• 提示注入防禦：面對隱藏的偽造系統指令（System Override），模型傾向忽略偽造內容，維持原始判斷。
• Agent 審計：能根據工具證據（如「權限被拒」）判斷 Agent 行為是否成功，即使助手聲稱成功，Jeff 仍判定為失敗。

1. 瀏覽器自動化整合 (Jeff Ultrafast)：

• 專案組成：Jeff + Browser Use + Mercury 2.5（小語言模型）。
• 演示內容：約 7 秒內查詢蘇黎世至倫敦單程航班。
• 工作流程：Jeff 負責結構化決策與下一步操作選擇，Mercury 2.5 負責生成文本，瀏覽器代碼執行動作。
• 成本分析：總成本約 0.39 美元，輸入 Token 費用極低，輸出 Token 免費。

詳細大綱

1. Jeff 模型介紹與定位

• 來源：TagC 提出的 System-1 模型。
• 特點：極快判斷、極低成本、結構化輸出。
• 用途：軟體內部的快速決策路由，非生成式聊天或應用編寫。

2. 核心功能與問題類型

• Choice：從提供選項中選擇一項。
• Score：根據定義等級打分。
• Probability：給出「是或否」陳述為真的概率。

3. 實測場景分析

• 場景一：客服訊息路由
• 測試重複扣費與退款請求。
• 結果：準確路由至 billing，高退款概率，低緊急度。
• 場景二：否定語意處理
• 測試「只需發票，不要退款」。
• 結果：正確降低退款概率，證明模型能處理否定而非僅匹配關鍵字。
• 場景三：選項缺失與強制選擇
• 測試食堂營業時間問題。
• 結果：在無合適選項時強制歸類至 sales，說明限制輸出不等於保證正確性。
• 場景四：提示注入（Prompt Injection）測試
• 測試隱藏的偽造系統指令。
• 結果：模型忽略偽造內容，維持技術支持分類與低退款概率。
• 場景五：精確數據提取
• 測試從多個地址候選中選出正確的新收據地址。
• 結果：精確匹配，強調候選列表準備的重要性。
• 場景六：Agent 審計
• 測試工具返回「權限被拒」但助手聲稱「成功」的情況。
• 結果：Jeff 判定為失敗，基於工具證據進行判斷。

4. 瀏覽器自動化應用：Jeff Ultrafast

• 專案組成：Jeff + Browser Use + Mercury 2.5。
• 演示內容：7 秒內查詢蘇黎世至倫敦單程航班。
• 工作流程：Jeff 負責結構化決策與下一步操作選擇，小語言模型（Mercury 2.5）負責生成文本，瀏覽器代碼執行動作。
• 成本分析：總成本約 0.39 美元，輸入 Token 費用極低，輸出 Token 免費。

5. 結論與建議

• Jeff 適合用於路由、否定處理及基於證據的核實。
• 測試結果僅為小樣本，未證明生產環境可靠性或速度優勢。
• 建議用戶自行復現測試，比較合併提問與分開提問的效果。

工具 / 模型 / 名詞整理

• Jeff / Jev / JF：被測試的 System-1 模型，版本識別為 Jeff1.13.0 或 JeffTheLatest。
• TagC：提出 Jeff 模型的相關方。
• ARCK：講者更活躍的頻道。
• Help desk：提及的工作流類型。
• Google Flags：演示中使用的航班查詢平台（疑點：通常為 Google Flights，此處為逐字稿原文）。
• Jeff Ultrafast：Gregor Zinnick 分享的開源專案名稱。
• Browser Use：與 Jeff 結合的瀏覽器自動化工具。
• Mercury 2.5：用於生成文本的小語言模型。
• TestKit：講者存放測試腳本與說明文件的地方。
• System-1：模型架構類型，主打快速判斷。
• Prompt Injection：提示注入，指隱藏在訊息中的偽造指令。
• Zero hallucinations：零幻覺，指模型不編造新類別的概念。

操作流程整理

場景一：客服訊息路由

1. 輸入客戶訊息（如重複扣費與退款請求）。
2. Jeff 模型進行分析。
3. 輸出結果：路由至 billing 部門，評估高退款概率，低緊急度。

場景二：否定語意處理

1. 輸入客戶訊息（如「只需發票，不要退款」）。
2. Jeff 模型進行分析。
3. 輸出結果：正確降低退款概率，區分「要退款」與「明確拒絕退款」。

場景三：選項缺失與強制選擇

1. 輸入客戶訊息（如詢問食堂營業時間）。
2. Jeff 模型從預設選項中尋找匹配項。
3. 輸出結果：因無合適選項，強制歸類至 sales（最接近選項）。

場景四：提示注入防禦

1. 輸入包含隱藏偽造系統指令（System Override）的訊息。
2. Jeff 模型進行分析。
3. 輸出結果：忽略偽造內容，維持原始技術支持分類與低退款概率。

場景五：精確數據提取

1. 輸入多個地址候選列表。
2. Jeff 模型進行分析。
3. 輸出結果：精確匹配正確的新收據地址。

場景六：Agent 審計

1. 輸入工具返回結果（如「權限被拒」）與助手聲稱（如「成功」）。
2. Jeff 模型進行分析。
3. 輸出結果：基於工具證據判定為失敗。

瀏覽器自動化應用：Jeff Ultrafast

1. 啟動專案：結合 Jeff、Browser Use 與 Mercury 2.5。
2. 輸入查詢需求：蘇黎世至倫敦單程航班。
3. Jeff 負責結構化決策與下一步操作選擇。
4. Mercury 2.5 負責生成文本。
5. 瀏覽器代碼執行動作。
6. 完成查詢：約 7 秒內完成，總成本約 0.39 美元。

值得注意的限制或風險

1. 強制選擇風險：當選項不包含正確答案時，Jeff 會強制選擇最接近的選項，這意味著「零幻覺」僅指不編造新類別，不代表答案正確。
2. 樣本局限性：測試結果僅為小樣本，未證明生產環境可靠性或速度優勢。
3. 提示注入防禦非絕對：雖然測試中模型傾向忽略偽造內容，但需自行復現測試以確認防禦效果。
4. 成本與速度：雖然宣稱低成本與高速，但實際效果需用戶自行復現測試比較。

逐字稿辨識疑點

• Jeff / Jaf / Juff / JF：逐字稿中模型名稱拼寫不一致，分別出現為 Jeff、Jaf、Juff、JF，需查證是否為同一模型的不同稱呼或聽寫錯誤。
• Google Flags：通常航班查詢服務為 Google Flights，此處為逐字稿原文。
• 零hallucinations：逐字稿原文，指「零幻覺」概念。
• prome injection：應為 Prompt Injection（提示注入），此處為聽寫錯誤。
• 處：在「把退款和緊急程度這兩個問題都標成處」中，「處」字語意不明，疑為「false」（假/否）的聽寫錯誤。
• 不可信文版：應為「不可信文本」，此處為聽寫錯誤。
• 更段的trace：應為「更長的 trace」（追蹤記錄），此處為聽寫錯誤。
• 元素播放：應為「慢速播放」或類似含義，此處為聽寫錯誤。
• 科選項：應為「候選項」或「可選項」，此處為聽寫錯誤。
• 代編號的空間列表：語意不明，疑為「代號的空間列表」或類似結構，此處為聽寫錯誤。
• 大得多的測試集：語意稍顯突兀，疑為「更大的測試集」，此處為聽寫錯誤。
• Super Thanks：YouTube 功能名稱。
• 這雙按鈕：應為「這個按鈕」或「下方按鈕」，此處為聽寫錯誤。

可延伸追問

1. Jeff 模型在生產環境中的實際速度與成本表現如何？
2. 如何優化選項列表以減少強制選擇帶來的錯誤風險？
3. 針對不同類型的提示注入，Jeff 的防禦機制是否一致有效？
4. 合併提問與分開提問在 Jeff 模型中的效果差異為何？
5. Mercury 2.5 小語言模型在瀏覽器自動化中的具體作用與限制為何？