# 影片筆記：[中配]Qwen 3.8-27B 本地部署与 DeepSeek Harness 结合：开源 AI 堆栈实战演示


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
- 待修正：部分時間軸可能不精確（unit 245: 6 chars owns 11.400s (max 8.000s)）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

影片演示了在本地消費級硬件（如 Apple Silicon 或 DGX Park 集群）上部署 Qwen 3.8-27B 等本地模型，並結合 **DeepSeek Harness** 構建 AI 代理系統。內容涵蓋了模型的性能基準、視覺語言能力（VLM）測試、不同「推理努力」級別對 Token 消耗與輸出質量的影響，以及 Harness 提供的可觀測性與軌跡（Trace）功能。

## 核心重點

*   **本地模型性能**：該模型被宣稱為可在消費級硬件上運行的最佳本地模型之一，其 AI 代理指數達到 51，僅落後於 KIMIK3（2.8 萬億參數），且在真實世界性能上接近最高設置下的 Cloud 4.8。
*   **硬體與部署**：
    *   Apple Silicon 用戶推薦使用 MLX 版本。
    *   Linux/Windows 用戶可嘗試 VLM 和 Stealing（疑點）。
    *   講者環境為 DGX Park 兩節點集群，運行 MVIP4 版本（疑點）。
    *   推理速度：單線程約 15-20 零排/秒；並發情況下約 60-70 零排/秒。
    *   設置方式：運行腳本自動設置服務器，下載模型及草稿模型以啟用推測解碼。
*   **DeepSeek Harness 代理系統**：
    *   核心設計理念為「一切皆可插綁」。
    *   通過 YAML 文件配置提供者與模型（如 DeepSeek vFlash ZR3.827BMLX 版本）。
    *   利用完整上下文窗口處理多個並發請求。
*   **視覺語言能力（VLM）測試**：
    *   模型能理解圖像與文本，準確描述內容。
    *   具備編碼能力，可使用 OpenCV 進行邊緣檢測與腳點（疑點）疊加。
    *   計數與定位測試中，模型識別車輛總數（回答 26 輛，實際 11 輛）及白色車輛（回答 8 輛，實際約 5 輛）存在誤差，但能直接輸出 Python 代碼生成坐標並繪製邊界框，整體準確度尚可。
*   **推理努力（Reasoning Effort）的影響**：
    *   分為四個級別：完全關閉、低、中、超高（無高）。
    *   設置為超高或中時，可能將整個完成預算用作思考預算，導致無輸出。
    *   **實驗對比**：
        *   **完全關閉**：輸出約 2 萬 Token，耗時約 15 分鐘，內容有編造數字。
        *   **低**：生成不錯的網站，視覺效果良好。
        *   **中**：添加漂亮動畫，質量顯著提高，但 Token 消耗大幅增加。
        *   **超高**：視覺質量不錯，動畫與中等相似，但顏色與風格不同。
    *   **Token 消耗數據**：
        *   推理關閉：輸入 8.2 萬 Token，輸出 2 萬 Token。
        *   超高：輸入近 50 萬 Token，輸出 6 萬 Token，耗時約 86 分鐘。
        *   中等：輸入 8 萬 Token（疑點：原文數據可能有誤或指其他指標），輸出 3.1 萬 Token，耗時 35 分鐘。
*   **可觀測性與軌跡功能**：
    *   DeepSeek Harness 提供詳細的軌跡（Trace）功能，顯示上下文中的所有事件。
    *   可檢視系統提示、用戶消息、可用技能列表。
    *   具體展示模型採取的行動、工具調用內容、模式、結果與時間，有助於找出代理失敗點並更新工具。
*   **項目背景**：
    *   DeepSeek Harness 在不到一周內獲得超過 16 萬個 GitHub 新標（Star）。
    *   目前不接受外部貢獻，由 DeepSeek 團隊開發。
    *   講者計劃進行更多視覺分析實驗。

## 詳細大綱

### 1. 模型性能與基準測試
*   強調該模型在消費級硬件上的運行能力。
*   引用 AI 代理指數為 51，對比 KIMIK3（2.8 萬億參數）。
*   提及真實世界性能接近 Cloud 4.8 的最高設置。

### 2. 硬體環境與部署配置
*   **硬體選擇建議**：
    *   Apple Silicon：推薦 MLX 版本。
    *   Linux/Windows：建議嘗試 VLM 和 Stealing（疑點）。
*   **講者實際環境**：
    *   使用 DGX Park 兩節點集群。
    *   運行 MVIP4 版本（疑點）。
*   **性能數據**：
    *   單線程推理速度：15-20 零排/秒。
    *   並發推理速度：60-70 零排/秒。
*   **設置流程**：
    *   運行腳本自動設置服務器。
    *   下載模型及草稿模型以啟用推測解碼。

### 3. DeepSeek Harness 代理系統設置
*   配置方式：通過 YAML 文件配置提供者與模型。
*   示例模型：DeepSeek vFlash ZR3.827BMLX 版本。
*   技術特點：利用完整上下文窗口處理多個並發請求。

### 4. 視覺語言能力測試（VLM）
*   **圖像分析**：模型能理解圖像與文本，準確描述內容。
*   **編碼能力**：
    *   使用 OpenCV 編寫框架進行邊緣檢測。
    *   進行腳點（疑點）疊加。
*   **計數與定位實驗**：
    *   識別車輛總數：模型回答 26 輛，實際數出 11 輛。
    *   識別白色車輛：模型回答 8 輛，實際約 5 輛。
    *   繪製邊界框：模型直接輸出 Python 代碼生成坐標，在圖像上繪製邊界框，雖不完美但整體準確。

### 5. 推理努力（Reasoning Effort）的影響
*   **級別設定**：完全關閉、低、中、超高（無高）。
*   **潛在問題**：設置為超高或中時，可能將整個完成預算用作思考預算，導致無輸出。
*   **網站生成實驗結果**：
    *   **完全關閉**：輸出約 2 萬 Token，花約 15 分鐘，內容有編造數字。
    *   **低**：生成不錯網站，視覺效果良好。
    *   **中**：添加漂亮動畫，質量顯著提高，但 Token 消耗大幅增加。
    *   **超高**：視覺質量不錯，動畫與中等相似，但顏色與風格不同。
*   **Token 消耗對比數據**：
    *   推理關閉：輸入 8.2 萬 Token，輸出 2 萬 Token。
    *   超高：輸入近 50 萬 Token，輸出 6 萬 Token，耗時約 86 分鐘。
    *   中等：輸入 8 萬 Token（疑點），輸出 3.1 萬 Token，耗時 35 分鐘。

### 6. DeepSeek Harness 的可觀測性與軌跡功能
*   提供詳細的軌跡（Trace）功能，顯示上下文中的所有事件。
*   可檢視內容包括：系統提示、用戶消息、可用技能列表。
*   具體展示：模型採取的行動、工具調用內容、模式、結果與時間。
*   應用價值：有助於找出代理失敗點並更新工具。

### 7. 項目背景與結論
*   DeepSeek Harness 在不到一周內獲得超過 16 萬個 GitHub 新標（Star）。
*   目前不接受外部貢獻，由 DeepSeek 團隊開發。
*   講者計劃進行更多視覺分析實驗。

## 工具 / 模型 / 名詞整理

*   **模型/技術名稱**：
    *   DeepSeek Harness
    *   DeepSeek vFlash ZR3.827BMLX 版本
    *   KIMIK3（2.8 萬億參數）
    *   Cloud 4.8
    *   MVIP4 版本（疑點：模型或環境名稱）
    *   MLX 版本
    *   VLM（視覺語言模型）
    *   Stealing（疑點：可能為特定框架或模型名稱）
    *   GPT5.5
    *   Leap Seek Harness（疑點：可能為 DeepSeek Harness 的口誤或聽寫錯誤）
    *   Deep-Sea Carnest（疑點：可能為 DeepSeek Harness 的聽寫錯誤）
*   **工具/庫/平台**：
    *   Hugging Face
    *   DGX Park
    *   OpenCV（Python 計算機視覺包）
    *   Python
    *   GitHub
    *   VDia（贊助計算資源，疑點：可能為特定贊助商或平台名稱）
    *   網絡搜索（工具）

## 操作流程整理

1.  **環境準備**：
    *   根據硬體選擇合適的模型版本（Apple Silicon 選 MLX，Linux/Windows 選 VLM/Stealing）。
    *   講者環境為 DGX Park 兩節點集群，運行 MVIP4 版本。
2.  **服務器設置**：
    *   運行腳本自動設置服務器。
    *   下載模型及草稿模型以啟用推測解碼。
3.  **代理系統配置**：
    *   通過 YAML 文件配置提供者與模型（如 DeepSeek vFlash ZR3.827BMLX 版本）。
    *   利用完整上下文窗口處理多個並發請求。
4.  **視覺能力測試**：
    *   使用 OpenCV 進行邊緣檢測與腳點（疑點）疊加。
    *   進行計數與定位測試，驗證模型識別車輛數量的準確性。
    *   讓模型輸出 Python 代碼生成坐標，繪製邊界框。
5.  **推理努力實驗**：
    *   設置不同的推理努力級別（完全關閉、低、中、超高）。
    *   觀察並記錄不同級別下的 Token 消耗、耗時及輸出質量（如網站生成的視覺效果、動畫等）。
6.  **可觀測性檢視**：
    *   使用 DeepSeek Harness 的軌跡（Trace）功能檢視上下文事件。
    *   檢查系統提示、用戶消息、工具調用內容及模型行動。
    *   根據軌跡找出代理失敗點並更新工具。

## 值得注意的限制或風險

*   **推理預算耗盡風險**：設置為超高或中推理努力時，可能將整個完成預算用作思考預算，導致無輸出。
*   **計數與定位誤差**：模型在識別車輛總數（回答 26 輛，實際 11 輛）及白色車輛（回答 8 輛，實際約 5 輛）時存在誤差，邊界框繪製雖整體準確但不完美。
*   **Token 消耗巨大**：超高推理努力模式下，輸入 Token 近 50 萬，輸出 6 萬，耗時約 86 分鐘，資源消耗顯著。
*   **內容編造**：在推理關閉模式下，模型輸出內容可能存在編造數字的情況。
*   **貢獻限制**：DeepSeek Harness 目前不接受外部貢獻，由 DeepSeek 團隊開發。

## 逐字稿辨識疑點

*   **KIMIK3**：逐字稿提及此模型名稱，需查證是否為正確模型名稱。
*   **Cloud 4.8**：逐字稿提及此名稱，需查證是否為正確模型或服務名稱。
*   **MVIP4**：講者提及運行此版本，需查證是否為正確模型或環境配置名稱。
*   **Stealing**：講者建議在 Linux/Windows 上嘗試此選項，需查證是否為正確框架或模型名稱。
*   **腳點**：講者提及模型識別圖像中的「腳點」，需查證是否為「特徵點」、「關鍵點」或特定術語的聽寫錯誤。
*   **VDia**：講者感謝此方贊助計算資源，需查證是否為正確贊助商或平台名稱。
*   **Leap Seek Harness**：講者提及此名稱，需查證是否為 DeepSeek Harness 的口誤。
*   **Deep-Sea Carnest**：講者提及此名稱，需查證是否為 DeepSeek Harness 的聽寫錯誤。
*   **Token 數據矛盾**：講者提到「中等」推理時輸入令牌為「8」（疑點：可能漏掉單位或數字，後文又說 8 萬），需查證原始數據。

## 可延伸追問

*   如何具體配置 YAML 文件以自定義 DeepSeek Harness 的模型提供者？
*   在消費級硬件上運行 MLX 版本時，有哪些具體的性能優化建議？
*   如何通過 DeepSeek Harness 的軌跡功能診斷代理失敗的根本原因？
*   對於計數與定位任務，如何通過後處理或提示工程提高模型的準確性？
*   在實際應用中，如何平衡推理努力級別與 Token 成本之間的關係？