# 影片筆記:本地部署DeepSeek Harness 加 Qwen3.8-27B教程,实现token自由!我还发现“梁圣”在源码中的彩蛋! ## 一句話總結 講者演示如何在本地環境部署 **DeepSeek Harness** 框架並接入 **Qwen 3.8-27B** 模型,通過插件化架構實現 Agent 能力組合與數據安全,同時實測展示了該模型在單一任務下的強大生產力,但也揭示了多任務並發時對硬體記憶體與顯存的極高需求。 ## 核心重點 * **DeepSeek Harness 定位**:被描述為類似「樂高底板」的 Agent 框架,具備高度自由度與插件化架構,用戶可自定義模型、工具、存儲及 UI,且運行過程透明開源。 * **Qwen 3.8-27B 能力**:具備原生視覺語言能力(可讀圖)及強大的 Agent 能力,在單一任務(如生成遊戲代碼、撰寫科幻小說)中展現出接近人類水平的生產力。 * **本地部署流程**:需安裝 Node.js 與 LM Studio,透過配置 API Key 與自定義模型連接,將本地模型接入 DeepSeek Harness 進行對話與任務執行。 * **硬體瓶頸警告**:實測同時執行三個高負載任務(飛行小遊戲、科幻小說、天體生成)時,導致 32G 記憶體電腦資源耗盡、系統卡死,驗證了本地部署大模型對硬體資源的巨大消耗。 ## 詳細大綱 ### 一、 DeepSeek Harness 介紹與特性 * **框架定位**:非單純的 Codex 或 Cloud 替代品,而是類似「樂高底板」的 Agent 框架。 * **核心優勢**: * **插件化架構**:Agent 能力皆為插件,可任意組合、按需替換。 * **高度自由**:用戶決定使用何種模型、加載何種工具、調度方式及存儲方式。 * **UI 自定義**:支援更換 UI 皮膚。 * **透明性**:運行過程有跡可循且公開透明,區別於其他閉源軟體。 * **生態兼容性**:原始碼設計考慮了調用同類本地 Agent 能力(如 Codex),展現大格局。 ### 二、 DeepSeek Harness 安裝與配置 * **前置條件**:需安裝 Node.js。 * **安裝步驟**: 1. 從官網下載安裝 Node.js。 2. 從 DeepSeek Harness 官網複製快速體驗命令。 3. 在 PowerShell 中執行命令,輸入 `Y` 確認下載。 4. 獲取外部 UI 地址並透過瀏覽器開啟。 * **API Key 配置**: * 需從 DeepSeek Harness 官網的 API 開放平台創建 API Key。 * 確保帳戶有餘額方可使用。 * **工作區(Workspace)設定**: * 定義為具體項目的「生產車間」,用於存放文件資料及生成處理結果。 * **權限等級選擇**: 1. **只讀**:僅讀取文件,不更改電腦。 2. **工作區域寫入**(推薦):僅對指定資料夾進行寫入。 3. **全部權限**:適合進階用戶。 ### 三、 Qwen 3.8-27B 本地部署與測試 * **LM Studio 安裝**: 1. 下載安裝 LM Studio。 2. 設定語言為中文。 3. 搜尋並下載 Qwen 3.8 系列模型。 * **硬體與量化選擇建議**: * **16G 顯存**:可選擇 17B 模型(部分資源可能佔用記憶體)。 * **16G 記憶體**:選擇 Q6 量化版本。 * **29G+ 顯存**:選擇 Q8 量化版本。 * **連通性測試**: * 在 LM Studio 中加載模型並發送訊息,確認能收到回覆。 * **視覺能力測試**: * 驗證 Qwen 3.8-27B 作為原生視覺語言模型的能力。 * 實測數筆數量(15支筆),模型成功數出正確數量,且未受筆桿與筆帽分離的干擾。 ### 四、 本地模型接入 DeepSeek Harness * **LM Studio 服務端設置**: 1. 開啟運行按鈕。 2. 加載 Qwen 3.8-27B 模型。 * **Harness 端配置**: 1. 進入設置 > 模型 > 添加自定義配置方。 2. **Provider ID**:必須小寫字母開頭。 3. **顯示名稱**:隨意填寫。 4. **API 地址**:從 LM Studio 複製,並務必在後方加上 `/v1`。 5. **API 協議**:選擇 OpenAI Compatible。 6. **模型目錄**:從 LM Studio 複製(注意去除空格)。 * **最終測試**:在對話窗口切換至 Qwen 3.8 進行連通性測試。 ### 五、 高負載實測與硬體瓶頸 * **測試場景**:同時執行三個任務(飛行小遊戲、科幻小說、天體生成)。 * **執行過程**: * 初期運行流暢,但隨任務增加,電腦風扇狂轉。 * 系統出現嚴重延遲,滑鼠移動困難,點擊無反應。 * 任務管理器卡死,講者被迫關閉錄製軟體才能恢復操作。 * **原因分析**: * 硬體限制:電腦僅 32G 記憶體。 * 上下文載入:多個任務的上下文同時夾在記憶體中導致撐不住。 * **建議**: * 根據硬體情況執行任務。 * 記憶體不足時,LM Studio 可設置上下文長度(建議 64K 以下)。 * 避免同時執行多個高負載任務。 ### 六、 生成結果評估 * **飛行小遊戲**: * 一輪提示詞下,碰撞、移動、敵人生成邏輯處理無誤。 * 認為 27B 小模型具備此能力非常厲害,具備生產力潛力。 * **科幻小說**: * 雖中途停止,但生成內容令人震驚,難以辨認是 AI 所寫。 * 設定靈感類似《羊毛戰記》或《末日地堡》(地下桶湯、高層隱瞞真相、集水柱、牆上救贖等)。 * 具備強烈的畫面感與震撼力。 ## 工具 / 模型 / 名詞整理 * **DeepSeek Harness**(逐字稿中亦稱為 DeepseekHannis) * **The Agent Codex** * **The Agent Cloud** * **Codex** * **Node.js** * **PowerShell** * **LM Studio** * **Qwen 3.8-27B**(逐字稿中亦稱為 千问3.8-27B、千万3.827B、Qwen 3.8) * **OpenAI Compatible**(API 協議) * **Q6 量化** * **Q8 量化** * **《羊毛戰記》**(提及的美劇/作品名稱) * **《末日地堡》**(提及的美劇/作品名稱) ## 操作流程整理 1. **環境準備**: * 安裝 Node.js。 * 安裝 LM Studio 並設定語言為中文。 2. **DeepSeek Harness 部署**: * 從官網複製快速體驗命令。 * 在 PowerShell 執行命令並確認下載。 * 從官網 API 開放平台創建 API Key 並確保帳戶有餘額。 * 獲取外部 UI 地址並透過瀏覽器開啟。 * 設定工作區(Workspace)與權限等級(推薦「工作區域寫入」)。 3. **Qwen 3.8-27B 本地加載**: * 在 LM Studio 搜尋並下載 Qwen 3.8 系列模型。 * 根據硬體選擇量化版本(16G 顯存選 17B/Q6;29G+ 顯存選 Q8)。 * 在 LM Studio 中加載模型並開啟服務端運行按鈕。 4. **連接 Harness 與本地模型**: * 在 DeepSeek Harness 中進入設置 > 模型 > 添加自定義配置方。 * 填寫 Provider ID(小寫字母開頭)、顯示名稱。 * 複製 LM Studio 的 API 地址並加上 `/v1`。 * 選擇 API 協議為 OpenAI Compatible。 * 複製模型目錄(去除空格)。 5. **實測驗證**: * 在對話窗口切換至 Qwen 3.8 進行連通性測試。 * 執行高負載任務(如生成遊戲代碼、撰寫小說)並監控系統資源。 ## 值得注意的限制或風險 * **硬體資源消耗極大**:同時執行多個高負載任務(如遊戲生成、小說撰寫)會迅速佔滿記憶體與顯存,導致系統卡死、滑鼠無響應,甚至需要強制關閉錄製軟體才能恢復操作。 * **記憶體限制**:對於僅有 32G 記憶體的電腦,建議將 LM Studio 的上下文長度設置在 64K 以下,以避免記憶體溢出。 * **多任務並發不穩定**:目前實測顯示,單任務下生產力潛力巨大,但多任務並發時硬體瓶頸明顯,不建議同時執行多個高負載任務。 ## 逐字稿辨識疑點 * **DeepseekHannis**:逐字稿中多次出現此名稱,與常見的 DeepSeek 產品線名稱(如 DeepSeek-V3, DeepSeek-Coder 等)不符,疑為聽寫錯誤或特定暱稱。 * **千万3.827B**:模型名稱疑點,通常 Qwen 系列為 7B, 14B, 32B, 72B 等,「3.827B」與「千问」的對應關係需查證,可能為「Qwen 2.5-32B」或「Qwen 1.5-7B」等的聽誤,或指代特定未公開版本。 * **Meal**:在提及 API Key 時,講者說「DeepseekHannis的Meal...把API Key的Meal复制出来」,疑為「Key」或「Secret」的聽誤。 * **正行命令**:疑為「命令行」或「指令」的聽誤。 * **开始探测中**:疑為「開始菜單」或「終端」的聽誤。 * **BN软件**:疑為「閉源軟體」或「商業軟體」的聽誤。 * **派子Agent**:疑為「派生 Agent」或「子 Agent」的聽誤。 * **通行留个门**:語意不明,疑為「同行留個門」或特定隱喻的聽誤。 * **量身这格局**:疑為「這格局」或「深層格局」的聽誤。 * **LM199**:疑為「LM Studio」或某個參數名稱的聽誤。 * **一聘**:疑為「一並」的聽誤。 * **精彩图片**:形容任務管理器卡死狀態,疑為「靜態圖片」或「截圖」的聽誤。 * **录片软件**:疑為「錄屏軟體」的聽誤。 * **后来提要**:疑為「後台提要」或「任務列」的聽誤。 * **VV**:講者開頭自稱 ZZ,結尾自稱 VV,需確認講者暱稱。 * **空外小说**:疑為「科幻小說」的聽誤。 * **集水柱**:小說設定中的詞彙,疑為「蓄水池」或特定設定名稱。 * **墙上的救赎**:小說設定中的詞彙,疑為特定隱喻或聽誤。 ## 可延伸追問 * DeepSeek Harness 的原始碼中提到的「梁聖」彩蛋具體指什麼內容? * Qwen 3.8-27B 的「3.8」參數具體代表什麼意義?是否為官方正式發行的版本? * 在記憶體不足的情況下,是否有其他優化策略可以進一步降低本地部署的硬體門檻? * DeepSeek Harness 的插件生態目前支持哪些具體的工具類型?