影片筆記：EP408 - Jev 最好用的五個用法：每一個都給你可以照抄的範例｜什麼樣的判斷才該換成它

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 全文快速校讀發現待確認修正

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：⚠️ 全文快速校讀：已套用暫定修正，請確認（segment=102 已先套用暫定修正：同樣 2,000 筆，大模型要跑幾 10 分鐘、 → 大模型要跑幾 10 分鐘、；segment=200 已先套用暫定修正：第一題寫「收件人、金額、日期這三個欄位， 內容裡都有而且都不是空的嗎」。 → 第一題寫「收件人、金額、日期這三個欄位，內容裡都有而且都不是空的嗎」。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=0 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=2 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

本集介紹由 Type Safe 公司推出的模型 Jev，其核心價值在於「不生成文字、僅做快速選擇並輸出機率」，適合用於高頻率、低推理需求的判斷場景。影片詳細拆解了五個實用用法（分類、路由、瀏覽器操作、決策把關、指令守門員），並提供設定準確率門檻與技術接入的具體範例。

核心重點

1. Jev 模型特性：

• 不生成文字：僅針對預設選項進行選擇，輸出機率與確定性（confidence）。
• 極速與低成本：單次判斷不到一秒，因無文字生成，輸出完全免費。
• 準確率定位：與頂級模型一致率約 91.5%，與同價位小模型一致率約 93.5%。強項是快與便宜，而非更準確。

1. 適用場景原則：

• 判斷會被快速運算很多次（量大）。
• 判斷不需要複雜推理（直覺性判斷）。
• 不適用於僅發生幾次的判斷，或需要推理的判斷。

1. 五大實用用法：

• 大量資訊分類與 Cluster：處理問卷開放題或 PR 歸類，量越大越划算。
• 路由（Routing）：根據請求性質將流量導向不同等級的模型或人工，節省成本。
• 自動瀏覽器操作：作為自動化流程中的「下一步動作」選擇器。
• 決策前把關：在發送 AI 生成內容前，進行多題是非題檢查，過濾不確定內容。
• 指令守門員：在自動化工具執行指令前，檢查是否會造成不可逆破壞。

1. 門檻（Threshold）設定：

• 透過人工判斷少量資料，計算不同門檻下的誤判數量（False Positive 與 False Negative），選擇可接受的平衡點。
• 錯代價低時設高門檻，不確定項目交由人工處理。

詳細大綱

一、 Jev 模型特性與核心原則

• 基本定義：
• 由 Type Safe 公司開發。
• 不生成文字，不寫文章或程式，不解釋判斷邏輯。
• 功能：接收選項，選出一個並輸出確定性（confidence）。
• 速度：單次判斷不到一秒。
• 成本：輸出完全免費（因無文字生成）。
• 準確性評估：
• 獨立評測顯示，Jev 與頂級模型判斷一致率為 91.5%。
• 與同價位小模型一致率為 93.5%。
• 結論：Jev 強在快與便宜，並非更準確。
• 適用場景規則：
• 條件一：判斷會被快速運算很多次（量大）。
• 條件二：判斷不需要推理（直覺性判斷）。
• 不適用：僅發生幾次的判斷，或需要推理的判斷。

二、 Jev 的輸出格式與題型

• 輸入要求：資料 + 具名問題清單（標題、判斷說明、選項）。
• 題型一：是非題
• 輸出：0 到 1 之間的校準機率（即確定程度）。
• 無額外信心分數。
• 題型二：選擇題
• 輸出：選中的選項 + 每個選項各自的機率 + 一個 confidence 分數。
• 用途：用於路由判斷，觀察分佈差異。
• 題型三：評分題
• 輸出：分數（可為小數）+ confidence。
• 級距：最少兩級，最多十級。

三、 五個實用用法詳解

用法 1：大量資訊分類與 Cluster（最推薦入門）

• 場景：問卷開放題統計、專案紀錄分類。
• 做法：
• 分類：設定互相排斥的選項。若希望包含「都不適合」，需手動加入該選項，否則模型會硬選。
• Cluster（聚類）：當不知道類別時，不給類別，改為兩兩成對問是非題（「這兩件事是否同一主題」），讓相關項目自動聚集。後續再用便宜語言模型為群組命名。
• 效益：量越大，與大模型的差距越明顯。例如 2,000 個 PR 僅需 9 分美元，約 2 分鐘。
• 實作限制：Jev 一次上限 64,000 tokens。需分批平行發送以縮短時間。
• 門檻設定：錯代價低時可設高門檻，不確定項目交由人工每日處理。

用法 2：路由（Routing）

• 場景：線上流程分流，決定請求交給哪個模型或人工。
• 做法：
• 模型分流：選項為不同模型的定位（如：簡單事實查詢、多步推理、長篇內容）。說明各模型擅長點。
• 人工分流：選項為不同部門職責（如：帳務、技術、業務）。
• 關鍵觀察：不看最高分有多高，要看第一名與第二名的差距。
• 若差距小（如 0.03），代表 Jev 分不出來，應暫停問人，避免流程跑錯。
• 效益：請求量越大，節省昂貴模型成本的差異越顯著。

用法 3：自動瀏覽器操作

• 場景：工具自動上網查資料、跑報表、填表單。
• 做法：
• 將畫面元素列為純文字清單。
• Jev 從清單中選一個動作（點哪裡）。
• 重複此過程直到目標達成或被擋住。
• 需要打字時，再交給小模型處理。
• 注意：最終「是否做對」的判斷仍由主要大模型負責，Jev 僅負責決定下一步。
• 應用案例：權限測試（模擬不同身分登入，檢查是否有越權訪問）。
• 門檻設定：由動作性質決定。僅讀取可設低門檻；涉及資料修改、發送或金錢，需設高門檻。

用法 4：決策前把關（Guardrails）

• 場景：AI 生成內容（回信、報價、文案、週報）發送前的審核。
• 做法：
• 同一份草稿，一次問三題是非題（例如：欄位是否完整、語氣是否合適、數字是否有出處）。
• 三題都過則直接發送；有一題不確定則送人工審核；明顯不通過則退回重做。
• 效益：節省人工注意力，從「每份都看」變為「只看不確定的」。
• 限制：Jev 只說「不行」，不解釋原因。退回重做時需帶入未通過的題目資訊。
• 評分題應用：Bug 嚴重程度自動分級（三級或五級）。
• 原則：分數僅用於排序，不用於自動處置（關單）。

用法 5：指令守門員（保險機制）

• 場景：自動化工具執行指令前的安全檢查。
• 做法：
• 在指令執行前，將整條指令送給 Jev 問是非題。
• 問題範例：「這條指令會不會造成不可逆的破壞？」
• 說明中提供 3-5 個例子，讓模型推斷其餘情況。
• 可用於擋寫入敏感檔案（如金鑰檔案）。
• 效益：平常無存在感，但能防止崩潰性錯誤。
• 門檻設定：必須設得很高。因為「擋錯」僅是多按一次確認，「放錯」則是資料無法恢復。寧可多擋，不可少擋。
• 提醒：非最後防線，仍需備份與權限設定。

四、 技術實作與接入方式

• 門檻（Threshold）設定方法：

1. 人工判斷 100-200 筆資料（每類數十筆）。
2. 在不同門檻下計算兩種錯誤數量：

• 該放過卻被擋下（False Positive）。
• 該擋卻放過去（False Negative）。

1. 選擇可接受的平衡點作為最終門檻。

• 程式接入（Claude Plugin）：
• 若使用可執行程式的 AI，可安裝官方 Skill。
• 指令 1：claude plugin marketplace add typesafe/skills
• 指令 2：claude plugin install typesafe/ai@typesafe/skills
• 配置：將 Key 放入專案 .env 檔案。
• 機制：Skill 本身不執行，僅為規則書。AI 讀取規則書生成題目與程式，送資料給 Jev 並讀回結果。
• 無程式接入：
• 使用市面上的自動化平台，將 Jev 作為流程步驟，連接信箱、表單或試算表。

五、 今晚行動建議

1. 從用法 1 開始：找一疊已知該看但沒時間看的資料（問卷、客訴、紀錄）。
2. 設定選項：寫出互相排斥的類別，並加入「都不適合」選項。若不知類別，使用 Cluster 做法（兩兩問相關）。
3. 第一週不執行：僅讓 Jev 判斷並印出結果，人工對照以量出門檻。

工具 / 模型 / 名詞整理

• Type Safe：公司名稱。
• Jev：模型名稱（疑點：拼寫可能為拼寫錯誤，需查證，常見類似名稱可能為 Jevon 或其他，但依逐字稿保留為 Jev）。
• EP404：提及的過往集數編號。
• Claude：提及的 AI 模型/平台名稱。
• claude plugin marketplace：Claude 的插件市場。
• typesafe/skills：官方提供的 Skill 名稱路徑。
• typesafe/ai@typesafe/skills：具體安裝的 Skill 路徑。
• .env：環境變數檔案格式。
• Podcast：提及的收聽平台類型。
• AI 懶人報：頻道或節目名稱。

操作流程整理

1. 準備資料與選項：

• 整理需要判斷的資料。
• 設計互相排斥的選項，或針對未知類別設計兩兩比對的是非題（Cluster）。
• 若為安全檢查，準備 3-5 個範例讓模型推斷規則。

1. 設定門檻（Threshold）：

• 人工標記 100-200 筆資料。
• 測試不同門檻，計算誤判數量（False Positive 與 False Negative）。
• 根據業務需求（寧可擋錯還是放錯）設定最終門檻。

1. 執行判斷：

• 分類/路由：發送資料給 Jev，獲取選項與機率。
• 瀏覽器操作：將畫面元素轉為文字清單，讓 Jev 選擇下一步動作。
• 決策把關：將 AI 生成內容拆分為多個是非題，檢查是否通過。
• 指令守門：在執行指令前，將指令內容送給 Jev 檢查風險。

1. 後續處理：

• 通過：直接執行或發送。
• 不確定（低於門檻）：轉交人工審核。
• 不通過：退回重做或取消執行。
• 路由分流：根據 Jev 的選擇，將請求導向不同模型或人工部門。

值得注意的限制或風險

1. 準確率限制：Jev 的準確率僅與同價位小模型相當，低於頂級大模型，不應用於需要高準確率的單一判斷。
2. Token 限制：Jev 一次輸入上限為 64,000 tokens，大量資料需分批平行發送。
3. 無解釋能力：Jev 只輸出結果與機率，不解釋原因。若需退回重做，需自行帶入未通過的題目資訊。
4. 門檻設定風險：

• 若門檻設定不當，可能導致大量誤判（False Positive 或 False Negative）。
• 在「指令守門員」場景中，門檻必須設得很高，以防範不可逆破壞。

1. 非最後防線：即使有 Jev 把關，仍需備份與權限設定，不可完全依賴自動化。

逐字稿辨識疑點

• Jev：逐字稿中多次提及模型名稱為 "Jev"。此名稱較不常見，可能為聽寫錯誤或特定新模型名稱。依規則標為疑點，未自行更正為 "Jevon" 或其他名稱。
• claude plugin marketplace add typesafe 斜線 skills：指令中的 "斜線" 可能指代路徑分隔符號 "/"，逐字稿口語描述為 "斜線"，筆記中保留原意但標註為指令內容。
• typesafe at typesafe 斜線 ai：指令描述中出現 "at" 與 "斜線" 的混合描述，可能為口語表達路徑結構，依逐字稿保留。
• EP404：筆記中提及過往集數編號為 EP404，但影片標題為 EP408，需確認是否為口誤或不同集數。

可延伸追問

1. Jev 模型的具體定價策略與免費額度限制為何？
2. 如何自動化計算 False Positive 與 False Negative 以動態調整門檻？
3. 除了 Claude Plugin，還有哪些自動化平台支援直接接入 Jev？
4. Jev 在處理多語言資料時的準確率表現如何？
5. 如何將 Jev 的輸出結果整合到現有的 CI/CD 流程中？