# 影片筆記:18.DeepSeek开源harness,新风口还是没得选 ## ⚠️ 全文快速校讀發現待確認修正 本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。 - 待修正:⚠️ 全文快速校讀:已套用暫定修正,請確認(segment=112 已先套用暫定修正:Deepseek 自己的提供 API 去用这些大模型, → 一般的人都不会自己在、不会用这个 Deepseek 自己的提供 API 去用这些大模型,或者用 Deepseek 的 service 去用这些大模型,他可能在任意地方去 serve。;segment=134 已先套用暫定修正:那他就等于这个、这个系统没有。 → 那这个时候他就非常的独立了,那他就等于这个、这个系统没有。) - 待修正:逐字稿可先使用,但有待校正清單(segment=4 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語;segment=9 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置,斷句可能不符合文法/口語) ## 一句話總結 影片探討 DeepSeek 開源 Agent Harness 的戰略意圖,分析其作為企業級 AI 基礎設施的價值與挑戰,並結合 Stripe 收購 OpenRouter 及 Nvidia 投入開放權重模型的產業動態,指出 Harness 正從單純的 Prompt 工程演進為具備驗證、權限控制與系統化組件能力的「AI 操作系統」,但目前在企業級可靠性與垂直領域應用上仍面臨巨大挑戰。 ## 核心重點 1. **Agent Harness 的定義與演進**: * Harness 被定義為支援「長期任務」(Long Horizon Task)的系統化工程組件,包含評估、驗證、自我糾正及工具調用。 * 發展路徑從早期的 Prompt Engineering、Context Engineering,演進為現階段的模組化 Harness。 * 它不是新物種,而是 Agent 發展過程中產生的更複雜、更大規模的工程系統。 2. **DeepSeek 開源 Harness 的戰略解讀**: * **模組化設計**:將 Harness 拆解為 Plugin 形式,降低工程難度,允許組件替換。 * **提升採用率**:針對自建模型服務(非 API)的企業,提供配套環境以優化體驗,特別是針對較小權重(smaller weights)的模型。 * **信任機制**:企業傾向將 Open Weights Model 部署在自家數據中心,開源 Harness 是建立信任、讓企業敢於部署 DeepSeek 模型的途徑。 * **戰略轉向**:可能標誌著 DeepSeek 從純通用大模型向提供完整生態系統(含 Harness)的戰略調整。 3. **企業級應用的現實挑戰**: * **可靠性差距**:現有 Harness 成功率約 90%(一個 9),無法滿足金融、保險等行業對 99.9% 或 99.99% 穩定性及確定性的要求。 * **垂直領域差異**:Coding Agent 因有人類審核較易落地;企業垂直應用涉及私有 API、特定業務邏輯與身份驗證,難以通用化。 * **控制權問題**:企業需要對 Agent 行為有「Better Control」,防止模型在執行複雜工作流時「掛掉」或亂掉,以及防止敏感數據(如信用卡信息)被不當挪用。 4. **產業動態與未來趨勢**: * **Stripe 收購 OpenRouter**:Stripe 以約 60 億美元收購 OpenRouter,旨在拓展業務版圖、分散風險並講述 AI 故事,顯示平台樞紐型產品的價值。 * **Nvidia 投入開放權重模型**:Nvidia 宣布投入 60 億美元開發開放權重模型,並預期推出 Nvidia 版本的 Harness 系統,同時觀察到 Google 人才流向 Nvidia。 * **Harness 的終極形態**:可能演變為「AI 操作系統」或「企業 AI 操作系統」,成為內建於大模型的標準配置,甚至像 Internet 基礎設施一樣免費。 * **神經符號系統(Neurosymbolic)**:企業環境必須存在神經符號系統以實現高效性與 100% 控制權,Harness 系統因涉及符號化與確定性控制,不會被模型完全「吃掉」。 ## 詳細大綱 ### 1. Agent Harness 的深度解析 #### 1.1 定義與價值 * **功能定位**: * 支援 Long Horizon Task(數小時的長期任務)。 * 提供完整的 Evaluation、Validation 與 Self-correction 機制。 * 從單一對話式 Agent 擴展為系統化、工程化的組件。 * **發展階段**: * **初期**:Prompt Engineering。 * **中期**:Context Engineering。 * **現在**:Harness(系統化執行任務,包含呼叫 API、執行代碼、安全合規檢查)。 #### 1.2 DeepSeek 開源策略分析 * **模組化設計**: * 拆解為 Plugin/插件,降低 Engineering 難度。 * 將 Agent 的 Best Practice 以可拼裝形式組合。 * **開源動機**: * **提升採用率**:企業自建 DeepSeek 模型服務時,需要配套 Harness 環境來優化體驗,特別是針對 smaller weights 的模型。 * **信任與獨立性**:企業不信任直接使用 API,傾向部署 Open Weights Model 在自家數據中心。開源 Harness 是讓企業信任並部署模型的途徑。 * **戰略轉向**:CEO 梁文鋒曾強調專注通用大模型,此次開源可能標誌戰略重心轉移。 #### 1.3 企業級應用的挑戰 * **可靠性差距**: * 企業需要高確定性(Deterministic)與高可用性(99.9% 或 99.99%)。 * 現有 Harness 約 90% 正確率(一個 9),無法滿足銀行、保險等行業的嚴苛合規。 * **State-bench 指標**:通過重複運行同一任務檢查結果一致性,發現現有 Harness 在企業級部署中仍不夠可靠。 * **垂直領域 vs. 通用領域**: * **Coding Agent**:Harness 主要應用於此,因有人類在環(Human in the loop)審核。 * **企業垂直應用**:涉及私有 API、特定業務邏輯、身份驗證等,難以通用化。 * **領域特定模型**:如 Harvey(法律)、Tenet(保險),結合特定領域數據訓練,需搭配專屬 Harness。 * **控制權與安全性**: * 企業需要對 Agent 行為有「Better Control」。 * 案例:模型執行指令時容易「掛掉」或亂掉,無法嚴格遵循複雜工作流。 * 案例:支付系統中,模型可能直接挪用用戶信用卡信息,因決策與執行在同一層級,導致人類失去控制。 #### 1.4 未來趨勢與爭議 * **自我改進與連續訓練**: * **Self-improving Agent**:系統性決定所有組件可自我調整。 * **迷思**:Continuous Training/Fine-tuning 目前難以向用戶展示價值,耗費數據且提升有限。 * **Token 節省**:部分 Harness(如 Pi)透過極簡 System Prompt 和少量 Tool 來節省 Token,但不等於高質量交付。 * **模型與 Harness 的關係**: * **綁定優勢**:Frontier Lab(Anthropic, OpenAI)可能透過訓練專屬 Harness 獲得優勢。 * **通用 vs. 專用**:直接做通用 Harness 難度極高;若能像 Cursor 一樣反向控制模型,可能是創業機會。 * **神經符號系統(Neurosymbolic)**: * 企業環境必須存在神經符號系統,以實現高效性與 100% 的控制權。 * 即使模型能力增強,Harness 系統因涉及符號化(Symbolify)與確定性控制,仍將必要存在。 * **AI 操作系統**:Harness 最終可能演變為「AI Operating System」或「企業 AI 操作系統」。 ### 2. 產業動態與驗證機制 #### 2.1 AI 系統中的驗證與權限管理 * **Code Generation 的現狀**:將東西寫成 code 或 code generation 的問題已基本解決。 * **未解決的痛點**: * Permission escalation(權限提升)的處理。 * Agent 何時能、不能執行特定任務的判斷。 * 可能需要第三方系統或 Layer 介入。 * **Harness 的定位**: * 目前看來可能不在 Harness 系統內部,但屬於驗證(Validation)的一部分。 * **類比 CPU**:即使 CPU 已高度規模化且穩定,仍需確保 bit 沒有亂掉,這需要類似 Harness 的檢查系統。 * **類比高速信號傳輸**:類似 Checksum 機制,用於確保數據完整性。 * **商業化與普及趨勢**: * 若由 Open AI 等大模型廠商提供,Harness 可能成為大模型的內建功能(Built-in)。 * 可能演變為像 Internet 技術一樣的免費通用基礎設施,無法單獨收費。 #### 2.2 Stripe 收購 OpenRouter * **事件回顧**: * 此前討論認為 OpenRouter 沒有護城河。 * 結果被 Stripe 以「天價」收購(約 60 億美元 / 6 billion)。 * 被視為「打臉」案例,但顯示有 Volume 和用戶即可具備價值。 * **收購動機分析**: * **業務模式相似性**:兩者皆為平台樞紐型(Platform Hub)東西,負責集散。 * **戰略擴張**:Stripe 並非核心 GenAI 賽道,透過收購拓寬賽道並 Diversify(分散)業務。 * **講述 AI 故事**:Stripe 可能較為 Desperate(急切),尋找獨特且契合的入口來講 AI 故事。 * **投資回報預期**:花費 60 億美元買機會,預期下季度財報可能賺回成本。 #### 2.3 Nvidia 與 Open Weights Model * **Nvidia 重大投資**: * 宣布投入 60 億美元(真金白銀)開發 Open Weights Model。 * 目標:做最好的 US(美國)Open Weights Model。 * 前景:令人振奮,預期下一步可能 Launch Nvidia 版本的 Harness System。 * **人才流動**: * 觀察到許多 Google 同事轉投 Nvidia。 * 涉及 Infra(基礎設施)與 Training(訓練)領域。 * **效能體驗對比**: * 使用 Nemotron 體驗良好。 * 硬體環境:DGX 的 Spark 機器。 * 模型對比:跑 Qwen 3.8(千問 3.8)的速度比 Nemotron 慢約 10 倍。 ## 工具 / 模型 / 名詞整理 * **Deepseek**:提及開源其 Core Harness 系統的公司/模型。 * **Agent Harness**:討論的核心概念,指代讓 Agent 執行長期任務的系統化組件。 * **OpenAI**:被提及作為模型提供商之一。 * **Gemini**:被提及作為模型提供商之一。 * **Claude Code**:被提及擁有 Managed Agent 功能,其 Harness 設計被認為不錯。 * **Anthropic**:被列為 Frontier Lab 之一。 * **Pi**:被提及為一個迷你版、輕量級的 Harness 系統,特點是節省 Token。 * **Cursor**:被提及為最終能創業自己模型並反向控制的產品/公司。 * **Harvey**:被提及為法律領域(Legal)的特定模型。 * **Tenet**:被提及為保險領域的特定模型。 * **State-bench**:Will 團隊開源的 Agent Memory Benchmark 工具。 * **Google Workspace**:被提及為企業內部可能調用的工具來源。 * **Microsoft Identity**:被提及為企業內部可能調用的身份驗證工具。 * **OpenRouter**:被 Stripe 收購的平台樞紐型產品。 * **Stripe**:收購 OpenRouter 的支付平台。 * **Nvidia**:宣布投入 60 億美元開發 Open Weights Model 的硬體公司。 * **Nemotron**:Nvidia 推出的模型,體驗良好。 * **Spark**:提及為 DGX 的 Spark 機器。 * **DGX**:Nvidia 的硬體設備。 * **千問 3.8 (Qwen 3.8)**:與 Nemotron 進行速度對比的模型。 * **Open weights model**:開放權重模型。 * **CPU**:用於類比 Harness 的檢查系統。 * **Frontier lab**:講者對 Anthropic、Gemini、OpenAI 的非正式稱呼。 * **Neurosymbolic**:神經符號系統,指結合神經網路與符號邏輯的 AI 架構。 ## 操作流程整理 1. **Harness 的演進與組裝**: * 從 Prompt Engineering 演進至 Context Engineering。 * 將 Agent 拆解為 Plugin 組件,根據需求替換組件。 * 組合 Agent 的 Best Practice,形成可拼裝的系統。 2. **企業部署策略**: * 企業選擇自建 DeepSeek 模型服務(而非使用 API)。 * 部署 Open Weights Model 在自家數據中心。 * 引入開源的 Harness 環境以優化使用體驗,特別是針對 smaller weights 的模型。 3. **驗證與控制機制**: * 建立類似 CPU 檢查系統或 Checksum 機制的驗證層。 * 處理 Permission escalation(權限提升)問題。 * 判斷 Agent 何時能、不能執行特定任務。 * 引入第三方系統或 Layer 介入驗證。 4. **產業動態跟蹤**: * 關注 Stripe 收購 OpenRouter 後的業務整合。 * 追蹤 Nvidia 投入 Open Weights Model 的進展及人才流動。 * 比較不同模型(如 Nemotron 與 Qwen 3.8)在特定硬體(DGX Spark)上的效能。 ## 值得注意的限制或風險 1. **企業級可靠性不足**: * 現有 Harness 成功率約 90%(一個 9),無法滿足金融、保險等行業對 99.9% 或 99.99% 穩定性的要求。 * 無法滿足嚴苛的合規與罰款風險。 2. **垂直領域通用化困難**: * 企業垂直應用涉及私有 API、特定業務邏輯與身份驗證,難以通用化。 * 領域特定模型(如 Harvey、Tenet)需搭配專屬 Harness,增加了複雜度。 3. **控制權與安全性風險**: * 企業需要對 Agent 行為有「Better Control」,但現有模型在執行複雜工作流時容易「掛掉」或亂掉。 * 支付系統中,模型可能直接挪用用戶信用卡信息,因決策與執行在同一層級,導致人類失去控制。 4. **自我改進與連續訓練的迷思**: * Continuous Training/Fine-tuning 目前難以向用戶展示價值,耗費數據且提升有限。 * 無法解決「災難性遺忘」問題。 5. **商業化挑戰**: * Harness 可能演變為像 Internet 基礎設施一樣的免費通用基礎設施,難以單獨收費。 * 若由 Open AI 等大模型廠商提供,可能成為內建功能,壓縮第三方 Harness 的生存空間。 ## 逐字稿辨識疑點 * **Deepseek 的「core 的 harness」**:逐字稿中提及「他把自己的这套 core 的 harness 给 open source 了」,「core 的」聽起來像是口語修飾或特定術語,需查證 Deepseek 官方是否使用此特定命名。 * **「小一点 weights 的 model」**:逐字稿中多次提到「小一点 weights 的 model、小一点的 model」,通常模型大小以參數數量(Parameters)或浮點數精度(如 FP16, INT8)描述,「weights」一詞在此處用法較不常見,疑點標記。 * **「9 的状态,90% 做对」**:講者用「9」來代表 90% 的成功率(一個 9),這與業界通常用「9」代表 99.9%(三個 9)的可用性標準略有不同,需確認講者是否為口誤或特定簡化說法。 * **「neurosymbolic」**:逐字稿中出現此詞,指神經符號 AI,需確認講者是否準確使用了該術語,或是否為聽寫錯誤。 * **「codify」**:逐字稿末尾提到「codify 那就是把你现在的...」,此詞在上下文中語意不完整,疑點標記。 * **「Apple to apple compare」**:逐字稿中寫為「apple to apple compare」,標準英語為「apples to apples」,疑點標記。 * **「Frontier lab」**:講者提及「Anthropic、Gemini、OpenAI」為「frontier lab」,此為非正式稱呼,需查證是否為業界通用術語或講者自創。 * **「State-bench」**:講者稱其開源了「State-bench」,需查證該 Benchmark 的確切名稱是否為「State-bench」或類似名稱。 * **「電話信號傳輸」**:逐字稿中出現「包括電話信號傳輸」,結合上下文「高速信號傳輸」及「Checksum」,疑點為是否為口誤,實際語境可能指「電信」或特定高速傳輸標準,但依規則保留原樣。 * **「打你的话」**:逐字稿中出現「用你的理论打你的话」,語意不通,疑點為聽寫錯誤或口誤。 * **「配套来的」**:逐字稿中出現「那我就配套来的」,語意稍顯模糊,疑點為口誤。 * **「咱们会回答」**:逐字稿中出現「咱们会回答」,結合上下文「看看他们怎么去運行」,疑點為是否