# 影片筆記：Jev + Browser Use 实测：我试过最快的 AI Agent 到底有多强？


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
- 待修正：逐字稿可先使用，但有待校正清單（segment=29 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

影片測試了由 TagC 提出的「System-1」模型 **Jeff**（或稱 Jev/JF），該模型主打極速判斷、低成本及結構化輸出。通過客服路由、否定處理、提示注入防禦等場景驗證其能力，並結合 **Browser Use** 與 **Mercury 2.5** 模型，展示了在約 7 秒內以極低成本完成航班查詢的「Jeff Ultrafast」專案。

## 核心重點

1.  **Jeff 模型定位**：
    *   由 **TagC** 提出，屬於「System-1」模型。
    *   核心特點：極快判斷、極低成本、直接供軟體使用的結構化輸出。
    *   主要用途：軟體內部的快速決策路由，而非生成式聊天或應用編寫。

2.  **核心功能類型**：
    *   **Choice**：從提供選項中選擇一項。
    *   **Score**：根據定義等級打分。
    *   **Probability**：給出「是或否」陳述為真的概率。

3.  **實測場景與結果**：
    *   **客服路由**：能準確將重複扣費與退款請求路由至 billing 部門，評估高退款概率與低緊急度。
    *   **否定處理**：能正確區分「要退款」與「明確拒絕退款」（如只需發票），證明模型能處理否定語意而非僅匹配關鍵字。
    *   **強制選擇限制**：當選項不包含正確答案時（如食堂營業時間），模型會強制選擇最接近選項（如歸類為 sales），說明「零幻覺」僅指不編造新類別，不代表答案正確。
    *   **提示注入防禦**：面對隱藏的偽造系統指令（System Override），模型傾向忽略偽造內容，維持原始判斷。
    *   **Agent 審計**：能根據工具證據（如「權限被拒」）判斷 Agent 行為是否成功，即使助手聲稱成功，Jeff 仍判定為失敗。

4.  **瀏覽器自動化整合 (Jeff Ultrafast)**：
    *   專案組成：**Jeff** + **Browser Use** + **Mercury 2.5**（小語言模型）。
    *   演示內容：約 7 秒內查詢蘇黎世至倫敦單程航班。
    *   工作流程：Jeff 負責結構化決策與下一步操作選擇，Mercury 2.5 負責生成文本，瀏覽器代碼執行動作。
    *   成本分析：總成本約 0.39 美元，輸入 Token 費用極低，輸出 Token 免費。

## 詳細大綱

### 1. Jeff 模型介紹與定位
*   來源：TagC 提出的 System-1 模型。
*   特點：極快判斷、極低成本、結構化輸出。
*   用途：軟體內部的快速決策路由，非生成式聊天或應用編寫。

### 2. 核心功能與問題類型
*   **Choice**：從提供選項中選擇一項。
*   **Score**：根據定義等級打分。
*   **Probability**：給出「是或否」陳述為真的概率。

### 3. 實測場景分析
*   **場景一：客服訊息路由**
    *   測試重複扣費與退款請求。
    *   結果：準確路由至 billing，高退款概率，低緊急度。
*   **場景二：否定語意處理**
    *   測試「只需發票，不要退款」。
    *   結果：正確降低退款概率，證明模型能處理否定而非僅匹配關鍵字。
*   **場景三：選項缺失與強制選擇**
    *   測試食堂營業時間問題。
    *   結果：在無合適選項時強制歸類至 sales，說明限制輸出不等於保證正確性。
*   **場景四：提示注入（Prompt Injection）測試**
    *   測試隱藏的偽造系統指令。
    *   結果：模型忽略偽造內容，維持技術支持分類與低退款概率。
*   **場景五：精確數據提取**
    *   測試從多個地址候選中選出正確的新收據地址。
    *   結果：精確匹配，強調候選列表準備的重要性。
*   **場景六：Agent 審計**
    *   測試工具返回「權限被拒」但助手聲稱「成功」的情況。
    *   結果：Jeff 判定為失敗，基於工具證據進行判斷。

### 4. 瀏覽器自動化應用：Jeff Ultrafast
*   專案組成：Jeff + Browser Use + Mercury 2.5。
*   演示內容：7 秒內查詢蘇黎世至倫敦單程航班。
*   工作流程：Jeff 負責結構化決策與下一步操作選擇，小語言模型（Mercury 2.5）負責生成文本，瀏覽器代碼執行動作。
*   成本分析：總成本約 0.39 美元，輸入 Token 費用極低，輸出 Token 免費。

### 5. 結論與建議
*   Jeff 適合用於路由、否定處理及基於證據的核實。
*   測試結果僅為小樣本，未證明生產環境可靠性或速度優勢。
*   建議用戶自行復現測試，比較合併提問與分開提問的效果。

## 工具 / 模型 / 名詞整理

*   **Jeff / Jev / JF**：被測試的 System-1 模型，版本識別為 Jeff1.13.0 或 JeffTheLatest。
*   **TagC**：提出 Jeff 模型的相關方。
*   **ARCK**：講者更活躍的頻道。
*   **Help desk**：提及的工作流類型。
*   **Google Flags**：演示中使用的航班查詢平台（疑點：通常為 Google Flights，此處為逐字稿原文）。
*   **Jeff Ultrafast**：Gregor Zinnick 分享的開源專案名稱。
*   **Browser Use**：與 Jeff 結合的瀏覽器自動化工具。
*   **Mercury 2.5**：用於生成文本的小語言模型。
*   **TestKit**：講者存放測試腳本與說明文件的地方。
*   **System-1**：模型架構類型，主打快速判斷。
*   **Prompt Injection**：提示注入，指隱藏在訊息中的偽造指令。
*   **Zero hallucinations**：零幻覺，指模型不編造新類別的概念。

## 操作流程整理

### 場景一：客服訊息路由
1.  輸入客戶訊息（如重複扣費與退款請求）。
2.  Jeff 模型進行分析。
3.  輸出結果：路由至 billing 部門，評估高退款概率，低緊急度。

### 場景二：否定語意處理
1.  輸入客戶訊息（如「只需發票，不要退款」）。
2.  Jeff 模型進行分析。
3.  輸出結果：正確降低退款概率，區分「要退款」與「明確拒絕退款」。

### 場景三：選項缺失與強制選擇
1.  輸入客戶訊息（如詢問食堂營業時間）。
2.  Jeff 模型從預設選項中尋找匹配項。
3.  輸出結果：因無合適選項，強制歸類至 sales（最接近選項）。

### 場景四：提示注入防禦
1.  輸入包含隱藏偽造系統指令（System Override）的訊息。
2.  Jeff 模型進行分析。
3.  輸出結果：忽略偽造內容，維持原始技術支持分類與低退款概率。

### 場景五：精確數據提取
1.  輸入多個地址候選列表。
2.  Jeff 模型進行分析。
3.  輸出結果：精確匹配正確的新收據地址。

### 場景六：Agent 審計
1.  輸入工具返回結果（如「權限被拒」）與助手聲稱（如「成功」）。
2.  Jeff 模型進行分析。
3.  輸出結果：基於工具證據判定為失敗。

### 瀏覽器自動化應用：Jeff Ultrafast
1.  啟動專案：結合 Jeff、Browser Use 與 Mercury 2.5。
2.  輸入查詢需求：蘇黎世至倫敦單程航班。
3.  Jeff 負責結構化決策與下一步操作選擇。
4.  Mercury 2.5 負責生成文本。
5.  瀏覽器代碼執行動作。
6.  完成查詢：約 7 秒內完成，總成本約 0.39 美元。

## 值得注意的限制或風險

1.  **強制選擇風險**：當選項不包含正確答案時，Jeff 會強制選擇最接近的選項，這意味著「零幻覺」僅指不編造新類別，不代表答案正確。
2.  **樣本局限性**：測試結果僅為小樣本，未證明生產環境可靠性或速度優勢。
3.  **提示注入防禦非絕對**：雖然測試中模型傾向忽略偽造內容，但需自行復現測試以確認防禦效果。
4.  **成本與速度**：雖然宣稱低成本與高速，但實際效果需用戶自行復現測試比較。

## 逐字稿辨識疑點

*   **Jeff / Jaf / Juff / JF**：逐字稿中模型名稱拼寫不一致，分別出現為 Jeff、Jaf、Juff、JF，需查證是否為同一模型的不同稱呼或聽寫錯誤。
*   **Google Flags**：通常航班查詢服務為 Google Flights，此處為逐字稿原文。
*   **零hallucinations**：逐字稿原文，指「零幻覺」概念。
*   **prome injection**：應為 Prompt Injection（提示注入），此處為聽寫錯誤。
*   **處**：在「把退款和緊急程度這兩個問題都標成處」中，「處」字語意不明，疑為「false」（假/否）的聽寫錯誤。
*   **不可信文版**：應為「不可信文本」，此處為聽寫錯誤。
*   **更段的trace**：應為「更長的 trace」（追蹤記錄），此處為聽寫錯誤。
*   **元素播放**：應為「慢速播放」或類似含義，此處為聽寫錯誤。
*   **科選項**：應為「候選項」或「可選項」，此處為聽寫錯誤。
*   **代編號的空間列表**：語意不明，疑為「代號的空間列表」或類似結構，此處為聽寫錯誤。
*   **大得多的測試集**：語意稍顯突兀，疑為「更大的測試集」，此處為聽寫錯誤。
*   **Super Thanks**：YouTube 功能名稱。
*   **這雙按鈕**：應為「這個按鈕」或「下方按鈕」，此處為聽寫錯誤。

## 可延伸追問

1.  Jeff 模型在生產環境中的實際速度與成本表現如何？
2.  如何優化選項列表以減少強制選擇帶來的錯誤風險？
3.  針對不同類型的提示注入，Jeff 的防禦機制是否一致有效？
4.  合併提問與分開提問在 Jeff 模型中的效果差異為何？
5.  Mercury 2.5 小語言模型在瀏覽器自動化中的具體作用與限制為何？