影片筆記：[中配]Qwen 3.8-27B 本地部署与 DeepSeek Harness 结合：开源 AI 堆栈实战演示

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
• 待修正：部分時間軸可能不精確（unit 245: 6 chars owns 11.400s (max 8.000s)）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片演示了在本地消費級硬件（如 Apple Silicon 或 DGX Park 集群）上部署 Qwen 3.8-27B 等本地模型，並結合 DeepSeek Harness 構建 AI 代理系統。內容涵蓋了模型的性能基準、視覺語言能力（VLM）測試、不同「推理努力」級別對 Token 消耗與輸出質量的影響，以及 Harness 提供的可觀測性與軌跡（Trace）功能。

核心重點

• 本地模型性能：該模型被宣稱為可在消費級硬件上運行的最佳本地模型之一，其 AI 代理指數達到 51，僅落後於 KIMIK3（2.8 萬億參數），且在真實世界性能上接近最高設置下的 Cloud 4.8。
• 硬體與部署：
• Apple Silicon 用戶推薦使用 MLX 版本。
• Linux/Windows 用戶可嘗試 VLM 和 Stealing（疑點）。
• 講者環境為 DGX Park 兩節點集群，運行 MVIP4 版本（疑點）。
• 推理速度：單線程約 15-20 零排/秒；並發情況下約 60-70 零排/秒。
• 設置方式：運行腳本自動設置服務器，下載模型及草稿模型以啟用推測解碼。
• DeepSeek Harness 代理系統：
• 核心設計理念為「一切皆可插綁」。
• 通過 YAML 文件配置提供者與模型（如 DeepSeek vFlash ZR3.827BMLX 版本）。
• 利用完整上下文窗口處理多個並發請求。
• 視覺語言能力（VLM）測試：
• 模型能理解圖像與文本，準確描述內容。
• 具備編碼能力，可使用 OpenCV 進行邊緣檢測與腳點（疑點）疊加。
• 計數與定位測試中，模型識別車輛總數（回答 26 輛，實際 11 輛）及白色車輛（回答 8 輛，實際約 5 輛）存在誤差，但能直接輸出 Python 代碼生成坐標並繪製邊界框，整體準確度尚可。
• 推理努力（Reasoning Effort）的影響：
• 分為四個級別：完全關閉、低、中、超高（無高）。
• 設置為超高或中時，可能將整個完成預算用作思考預算，導致無輸出。
• 實驗對比：
• 完全關閉：輸出約 2 萬 Token，耗時約 15 分鐘，內容有編造數字。
• 低：生成不錯的網站，視覺效果良好。
• 中：添加漂亮動畫，質量顯著提高，但 Token 消耗大幅增加。
• 超高：視覺質量不錯，動畫與中等相似，但顏色與風格不同。
• Token 消耗數據：
• 推理關閉：輸入 8.2 萬 Token，輸出 2 萬 Token。
• 超高：輸入近 50 萬 Token，輸出 6 萬 Token，耗時約 86 分鐘。
• 中等：輸入 8 萬 Token（疑點：原文數據可能有誤或指其他指標），輸出 3.1 萬 Token，耗時 35 分鐘。
• 可觀測性與軌跡功能：
• DeepSeek Harness 提供詳細的軌跡（Trace）功能，顯示上下文中的所有事件。
• 可檢視系統提示、用戶消息、可用技能列表。
• 具體展示模型採取的行動、工具調用內容、模式、結果與時間，有助於找出代理失敗點並更新工具。
• 項目背景：
• DeepSeek Harness 在不到一周內獲得超過 16 萬個 GitHub 新標（Star）。
• 目前不接受外部貢獻，由 DeepSeek 團隊開發。
• 講者計劃進行更多視覺分析實驗。

詳細大綱

1. 模型性能與基準測試

• 強調該模型在消費級硬件上的運行能力。
• 引用 AI 代理指數為 51，對比 KIMIK3（2.8 萬億參數）。
• 提及真實世界性能接近 Cloud 4.8 的最高設置。

2. 硬體環境與部署配置

• 硬體選擇建議：
• Apple Silicon：推薦 MLX 版本。
• Linux/Windows：建議嘗試 VLM 和 Stealing（疑點）。
• 講者實際環境：
• 使用 DGX Park 兩節點集群。
• 運行 MVIP4 版本（疑點）。
• 性能數據：
• 單線程推理速度：15-20 零排/秒。
• 並發推理速度：60-70 零排/秒。
• 設置流程：
• 運行腳本自動設置服務器。
• 下載模型及草稿模型以啟用推測解碼。

3. DeepSeek Harness 代理系統設置

• 配置方式：通過 YAML 文件配置提供者與模型。
• 示例模型：DeepSeek vFlash ZR3.827BMLX 版本。
• 技術特點：利用完整上下文窗口處理多個並發請求。

4. 視覺語言能力測試（VLM）

• 圖像分析：模型能理解圖像與文本，準確描述內容。
• 編碼能力：
• 使用 OpenCV 編寫框架進行邊緣檢測。
• 進行腳點（疑點）疊加。
• 計數與定位實驗：
• 識別車輛總數：模型回答 26 輛，實際數出 11 輛。
• 識別白色車輛：模型回答 8 輛，實際約 5 輛。
• 繪製邊界框：模型直接輸出 Python 代碼生成坐標，在圖像上繪製邊界框，雖不完美但整體準確。

5. 推理努力（Reasoning Effort）的影響

• 級別設定：完全關閉、低、中、超高（無高）。
• 潛在問題：設置為超高或中時，可能將整個完成預算用作思考預算，導致無輸出。
• 網站生成實驗結果：
• 完全關閉：輸出約 2 萬 Token，花約 15 分鐘，內容有編造數字。
• 低：生成不錯網站，視覺效果良好。
• 中：添加漂亮動畫，質量顯著提高，但 Token 消耗大幅增加。
• 超高：視覺質量不錯，動畫與中等相似，但顏色與風格不同。
• Token 消耗對比數據：
• 推理關閉：輸入 8.2 萬 Token，輸出 2 萬 Token。
• 超高：輸入近 50 萬 Token，輸出 6 萬 Token，耗時約 86 分鐘。
• 中等：輸入 8 萬 Token（疑點），輸出 3.1 萬 Token，耗時 35 分鐘。

6. DeepSeek Harness 的可觀測性與軌跡功能

• 提供詳細的軌跡（Trace）功能，顯示上下文中的所有事件。
• 可檢視內容包括：系統提示、用戶消息、可用技能列表。
• 具體展示：模型採取的行動、工具調用內容、模式、結果與時間。
• 應用價值：有助於找出代理失敗點並更新工具。

7. 項目背景與結論

• DeepSeek Harness 在不到一周內獲得超過 16 萬個 GitHub 新標（Star）。
• 目前不接受外部貢獻，由 DeepSeek 團隊開發。
• 講者計劃進行更多視覺分析實驗。

工具 / 模型 / 名詞整理

• 模型/技術名稱：
• DeepSeek Harness
• DeepSeek vFlash ZR3.827BMLX 版本
• KIMIK3（2.8 萬億參數）
• Cloud 4.8
• MVIP4 版本（疑點：模型或環境名稱）
• MLX 版本
• VLM（視覺語言模型）
• Stealing（疑點：可能為特定框架或模型名稱）
• GPT5.5
• Leap Seek Harness（疑點：可能為 DeepSeek Harness 的口誤或聽寫錯誤）
• Deep-Sea Carnest（疑點：可能為 DeepSeek Harness 的聽寫錯誤）
• 工具/庫/平台：
• Hugging Face
• DGX Park
• OpenCV（Python 計算機視覺包）
• Python
• GitHub
• VDia（贊助計算資源，疑點：可能為特定贊助商或平台名稱）
• 網絡搜索（工具）

操作流程整理

1. 環境準備：

• 根據硬體選擇合適的模型版本（Apple Silicon 選 MLX，Linux/Windows 選 VLM/Stealing）。
• 講者環境為 DGX Park 兩節點集群，運行 MVIP4 版本。

1. 服務器設置：

• 運行腳本自動設置服務器。
• 下載模型及草稿模型以啟用推測解碼。

1. 代理系統配置：

• 通過 YAML 文件配置提供者與模型（如 DeepSeek vFlash ZR3.827BMLX 版本）。
• 利用完整上下文窗口處理多個並發請求。

1. 視覺能力測試：

• 使用 OpenCV 進行邊緣檢測與腳點（疑點）疊加。
• 進行計數與定位測試，驗證模型識別車輛數量的準確性。
• 讓模型輸出 Python 代碼生成坐標，繪製邊界框。

1. 推理努力實驗：

• 設置不同的推理努力級別（完全關閉、低、中、超高）。
• 觀察並記錄不同級別下的 Token 消耗、耗時及輸出質量（如網站生成的視覺效果、動畫等）。

1. 可觀測性檢視：

• 使用 DeepSeek Harness 的軌跡（Trace）功能檢視上下文事件。
• 檢查系統提示、用戶消息、工具調用內容及模型行動。
• 根據軌跡找出代理失敗點並更新工具。

值得注意的限制或風險

• 推理預算耗盡風險：設置為超高或中推理努力時，可能將整個完成預算用作思考預算，導致無輸出。
• 計數與定位誤差：模型在識別車輛總數（回答 26 輛，實際 11 輛）及白色車輛（回答 8 輛，實際約 5 輛）時存在誤差，邊界框繪製雖整體準確但不完美。
• Token 消耗巨大：超高推理努力模式下，輸入 Token 近 50 萬，輸出 6 萬，耗時約 86 分鐘，資源消耗顯著。
• 內容編造：在推理關閉模式下，模型輸出內容可能存在編造數字的情況。
• 貢獻限制：DeepSeek Harness 目前不接受外部貢獻，由 DeepSeek 團隊開發。

逐字稿辨識疑點

• KIMIK3：逐字稿提及此模型名稱，需查證是否為正確模型名稱。
• Cloud 4.8：逐字稿提及此名稱，需查證是否為正確模型或服務名稱。
• MVIP4：講者提及運行此版本，需查證是否為正確模型或環境配置名稱。
• Stealing：講者建議在 Linux/Windows 上嘗試此選項，需查證是否為正確框架或模型名稱。
• 腳點：講者提及模型識別圖像中的「腳點」，需查證是否為「特徵點」、「關鍵點」或特定術語的聽寫錯誤。
• VDia：講者感謝此方贊助計算資源，需查證是否為正確贊助商或平台名稱。
• Leap Seek Harness：講者提及此名稱，需查證是否為 DeepSeek Harness 的口誤。
• Deep-Sea Carnest：講者提及此名稱，需查證是否為 DeepSeek Harness 的聽寫錯誤。
• Token 數據矛盾：講者提到「中等」推理時輸入令牌為「8」（疑點：可能漏掉單位或數字，後文又說 8 萬），需查證原始數據。

可延伸追問

• 如何具體配置 YAML 文件以自定義 DeepSeek Harness 的模型提供者？
• 在消費級硬件上運行 MLX 版本時，有哪些具體的性能優化建議？
• 如何通過 DeepSeek Harness 的軌跡功能診斷代理失敗的根本原因？
• 對於計數與定位任務，如何通過後處理或提示工程提高模型的準確性？
• 在實際應用中，如何平衡推理努力級別與 Token 成本之間的關係？