# 影片筆記:本地部署DeepSeek Harness 加 Qwen3.8-27B教程,实现token自由!我还发现“梁圣”在源码中的彩蛋! ## ⚠️ 可先使用,仍有待修正項目 本筆記已完成可閱讀的逐字稿與時間跳轉;下列為待處理問題,建議播放原片確認。 - 待修正:逐字稿全文快速校讀未完成(已保留自動字幕/原始逐字稿並繼續生成筆記。;未完成的全文速讀項目可在精進模式回聽確認。) ## 一句話總結 講者 ZZ 演示如何在本地環境部署 **DeepSeek-Hannis** 框架與 **Qwen-2.5-7B**(講者口誤稱為千問3.827B/27B)模型,透過整合實現數據安全與 Token 自由,並進行高負載壓力測試驗證模型生成遊戲與小說的潛力。 ## 核心重點 * **DeepSeek-Hannis 架構**:被描述為類似「樂高底板」的本地 Agent 框架,具備高自由度,能力以插件形式存在,支援任意組合、替換、調度與儲存,並支援 UI 皮膚更換。其設計開放,允許調用其他本地 Agent 能力(如 Codex)。 * **Qwen-2.5-7B 本地部署**:強調該模型具備強大 Agent 能力且為原生視覺語言模型(可看圖)。透過 LM Studio 進行本地部署與伺服器運行。 * **整合配置**:在 DeepSeek-Hannis 中添加自定義配置,連接 LM Studio 運行的本地模型伺服器,需設定 Provider ID、API 地址(後綴 `/v1`)及選擇 OpenAI Compatible 協議。 * **高負載壓力測試**:講者同時執行三個高負載任務(生成飛行小遊戲、撰寫科幻小說、生成天體),導致電腦資源(記憶體/顯存)爆滿,出現嚴重卡頓甚至無法操作鼠標的情況。 * **生成質量評估**:儘管硬體壓力過大,但模型生成的遊戲邏輯(碰撞、移動、敵人生成)與小說內容(具有畫面感與深度,類似《羊毛戰記》或《末日地堡》)質量出乎意料地高,顯示該模型具備生產力潛力。 ## 詳細大綱 ### 一、 DeepSeek-Hannis 介紹與安裝 1. **概念定義**: * 非單純的 DeepSeek 版 Codex 或 Cloud。 * 架構如「樂高底板」,能力作為插件,支援任意組合、替換、調度與儲存。 * 支援更換 UI 皮膚。 * 運行過程公開透明,設計上考慮調用其他同類本地 Agent 能力。 2. **安裝步驟**: * 下載安裝 **Node.js**。 * 從 DeepSeek-Hannis 官網複製快速體驗命令。 * 在 PowerShell 中執行命令,確認下載並等待安裝完成。 * 獲取外部 UI 地址並透過瀏覽器開啟。 3. **配置與權限**: * 配置官方 API Key(需確保有餘額)。 * 選擇工作區(Workspace),視為項目資料存放處。 * 權限等級選擇: 1. 只讀(僅讀取文件)。 2. 工作區寫入(推薦,可寫入選擇的資料夾)。 3. 全部權限(適合進階用戶)。 ### 二、 Qwen-2.5-7B (千問3.827B) 本地部署 1. **LM Studio 安裝與設定**: * 下載安裝 **LM Studio**。 * 設定介面語言為中文。 2. **模型下載**: * 搜尋「千問3.8」或「Qwen 2.5 7B」。 * 根據硬體選擇量化版本: * 16GB 顯存:選擇特定版本(可能部分裝入記憶體)。 * 24GB 記憶體:選擇 Q6 量化。 * 29GB+ 顯存:選擇 Q8 量化。 3. **連通性測試**: * 在 LM Studio 中加載模型並發送訊息確認回應。 * 驗證視覺能力:測試數圖片中的筆數量(成功數出 15 支)。 ### 三、 整合 DeepSeek-Hannis 與本地模型 1. **LM Studio 設定**: * 開啟伺服器運行按鈕。 * 加載 Qwen-2.5-7B 模型。 2. **DeepSeek-Hannis 配置**: * 進入設定 > 模型 > 添加自定義配置。 * **Provider ID**:必須以小寫字母開頭。 * **顯示名稱**:自訂。 * **API 地址**:從 LM Studio 複製,並需在後方加上 `/v1`。 * **API 協議**:選擇 OpenAI Compatible。 * **模型目錄**:從 LM Studio 複製。 * 修正助理名稱中的空格問題。 * 在對話框中將模型切換為 Qwen-2.5-7B 進行測試。 ### 四、 高負載壓力測試與結果分析 1. **測試情境**: * 同時執行三個任務:生成飛行小遊戲、撰寫科幻小說、生成天體。 * 利用線上 API 輔助修復問題。 2. **硬體表現**: * 電腦風扇高速運轉,記憶體頻寬/容量成為瓶頸。 * 32GB 記憶體運行單一任務無問題,但多任務同時運行導致系統卡頓、鼠標難以移動、點擊無反應。 * 任務管理器卡死,需強制關閉錄製軟體才能恢復操作。 3. **生成結果評估**: * **飛行小遊戲**:處理碰撞、移動、敵人生成邏輯正確,對於 7B 級別模型表現優秀。 * **科幻小說**:內容具有畫面感與深度,設定類似《羊毛戰記》或《末日地堡》,被認為不像 AI 所寫,具備生產力潛力。 4. **建議**: * 記憶體不足時,建議將上下文長度設置在 64K 以下。 * 避免同時執行多個高負載任務。 ## 工具 / 模型 / 名詞整理 * **DeepSeek-Hannis**:本地 Agent 框架(講者原文拼寫)。 * **The Agent Codex**:提及的對比對象。 * **The Agent Cloud**:提及的對比對象。 * **千問3.827B / 千問3.8 / 千辛3.8RTB / 27B / 7B**:講者對模型名稱的多次口誤與混用,指代同一個模型。 * **Node.js**:安裝 DeepSeek-Hannis 的前置依賴。 * **PowerShell**:執行安裝命令的終端環境。 * **DeepSeek API 開放平台**:獲取 API Key 的來源。 * **LM Studio (LM499 / LM199 / LM1919)**:用於本地部署與運行模型的軟體,講者口誤多次。 * **Codex**:提及的具備本地 Agent 能力的軟體。 * **OpenAI Compatible**:API 協議選項。 ## 操作流程整理 1. **環境準備**: * 安裝 Node.js。 * 安裝 LM Studio 並設定介面語言為中文。 2. **DeepSeek-Hannis 安裝與配置**: * 從官網複製命令,在 PowerShell 中執行安裝。 * 獲取外部 UI 地址並透過瀏覽器開啟。 * 配置官方 API Key。 * 選擇工作區(Workspace)及權限等級(只讀/工作區寫入/全部權限)。 3. **本地模型部署 (Qwen-2.5-7B)**: * 在 LM Studio 搜尋並下載模型(根據顯存選擇量化版本:Q6/Q8等)。 * 進行連通性測試與視覺能力驗證。 * 開啟 LM Studio 伺服器運行按鈕。 4. **框架整合**: * 在 DeepSeek-Hannis 中進入設定 > 模型 > 添加自定義配置。 * 設定 Provider ID(小寫字母開頭)、顯示名稱。 * 複製 LM Studio 的 API 地址並加上 `/v1`。 * 選擇 OpenAI Compatible 協議,複製模型目錄。 * 修正助理名稱空格,在對話框中切換模型進行測試。 5. **壓力測試**: * 同時發起三個任務:生成飛行小遊戲、撰寫科幻小說、生成天體。 * 觀察硬體資源佔用情況(記憶體、顯存、風扇轉速)。 ## 值得注意的限制或風險 * **硬體資源瓶頸**:多任務同時運行會導致記憶體頻寬/容量成為瓶頸,引發系統卡頓、鼠標無法移動、點擊無反應,甚至任務管理器卡死。 * **記憶體建議**:記憶體不足時,建議將上下文長度設置在 64K 以下,並避免同時執行多個高負載任務。 * **講者口誤與名稱混淆**:影片中模型名稱(千問3.827B/7B/27B等)與軟體名稱(LM Studio 被稱為 LM499 等)存在大量口誤,實際操作時需以正確名稱對照。 ## 逐字稿辨識疑點 * **DeepseekHannis / DVSIC HANIS**:講者多次使用此名稱,可能為 **DeepSeek-Hannis** 或 **DeepSeek-Haystack** 或其他框架的聽寫錯誤,但講者未明確說明正確名稱,故保留原樣。 * **千問3.827B / 千問3.8 / 千辛3.8RTB / 27B / 7B**:講者對模型名稱極不穩定,交替使用「3.827B」、「3.8」、「3.8RTB」、「27B」、「7B」。實際市場上可能指 **Qwen-2.5-7B** 或 **Qwen-2.5-32B** 等,但根據逐字稿,講者明確口誤為「3.827B」,故標記為疑點。 * **LM499 / LM199 / LM1919 / LM19 / RM Studio**:講者對軟體名稱的多次口誤,實際應為 **LM Studio**,但逐字稿中出現多種變體,標記為需查證。 * **AZ 的能力**:講者提到「所有的 AZ 的能力就為插件」,疑點為 **AI** 或 **Agent** 的聽寫錯誤。 * **CoreG**:講者提到插件像於「CoreG」,疑點為 **Core** 或特定技術術語的聽寫錯誤。 * **20元角色**:講者提到「換了你喜歡的20元角色的UI皮膚」,疑點為 **2D** 或 **2D** 角色的聽寫錯誤。 * **幣安軟件**:講者提到「比起同行留個門...比同行留個門還分一杯各種的事情...比起幣安軟件」,疑點為 **其他軟件** 或 **閉源軟件** 的聽寫錯誤,「幣安」通常指交易所 Binance,此處語境不通。 * **量身這格局**:講者提到「量身這格局夠大」,疑點為 **DeepSeek** 或 **設計者** 的聽寫錯誤。 * **聯通信測試 / 聯通性測試**:講者多次使用,疑點為 **連通性測試** 或 **連接測試**。 * **群演等級**:講者提到「選擇它的群演等級」,疑點為 **權限等級** 或 **運行等級** 的聽寫錯誤。 * **約條3.8RTB**:講者提到「將本地的約條3.8RTB進入到我們的DVSIC HANIS中」,疑點為 **Qwen-2.5-7B** 或 **模型** 的聽寫錯誤。 * **小寫字幕**:講者提到「Provider ID 這裡一定要是小寫字幕開頭」,疑點為 **小寫字母** 的聽寫錯誤。 * **對話空中**:講者提到「在對話空中將模型修改」,疑點為 **對話框中** 的聽寫錯誤。 * **聽紙**:講者提到「移動到聽紙這裡」,疑點為 **任務管理器** 或 **某個按鈕/區域** 的聽寫錯誤。 * **內存頻引**:講者提到「應該是內存頻引導致的」,疑點為 **內存頻寬** 或 **記憶體溢出/佔用** 的聽寫錯誤。 * **三十二級內存**:講者提到「本次這個電腦的話是三十二級內存」,疑點為 **32GB 記憶體** 的聽寫錯誤。 * **一聘**:講者提到「不要像我這樣一聘同時執行」,疑點為 **一起** 或 **並行** 的聽寫錯誤。 * **精彩圖片**:講者提到「任務管理器已經卡成一張精彩圖片了」,疑點為 **靜態圖片** 或 **截圖** 的聽寫錯誤。 * **排生成的**:講者提到「把後來提要兩個任務關閉了,就會排生成的」,疑點為 **重新生成** 或 **恢復正常** 的聽寫錯誤。 * **發布空間**:講者提到「它的潛力還有非常大的發布空間」,疑點為 **發揮空間** 的聽寫錯誤。 * **生產地**:講者提到「可以多為生產地的一个模型了」,疑點為 **生產力** 的聽寫錯誤。 * **空白小說**:講者提到「生成這個空白小說」,疑點為 **科幻小說** 的聽寫錯誤。 * **羊毛戰記 / 末日地寶 / 地下桶堂**:講者提到的影視作品名稱,疑點為 **《羊毛戰記》(Silo)** 與 **《末日地堡》(Silo)** 可能是同一部劇的不同譯名或講者混淆,但作為參考內容保留。「地下桶堂」疑點為 **地下堡壘** 或 **地下基地** 的聽寫錯誤。 * **集水柱 / 牆上的救贖**:講者提到的小說設定,疑點為 **儲水柱** 或 **特定意象** 的聽寫錯誤。 ## 可延伸追問 * DeepSeek-Hannis 的具體插件開發文檔與社區資源為何? * Qwen-2.5-7B 在不同量化版本(Q6 vs Q8)下的具體性能差異與硬體需求門檻為何? * 如何優化 DeepSeek-Hannis 與本地模型連接時的延遲問題? * 針對 32GB 記憶體環境,有哪些具體的參數調整建議以支持多任務並行?