影片筆記：普通人也能玩本地大模型！千问3.8 27B+DeepSeek Harness安装教程，照着做就能跑起来

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

本影片演示如何在本地電腦部署「千問 3.827B」大模型，透過「Lama.CPP」轉為 OpenAI 兼容 API，並由「Deepseek Harness」調用，實現純本地、零費用、隱私保護的自動化任務（如文件整理），驗證了本地模型在常駐後台與高頻任務上的優勢。

核心重點

• 本地大模型定位：本地模型並非雲端 Agent 的完全平替，而是互補關係。本地模型負責長期執行、高頻任務、隱私敏感及常駐後台的工作；雲端模型負責最難的判斷。
• 技術架構：

1. 從「摩搭社區」下載量化模型（GGUF格式）。
2. 使用「Lama.CPP」引擎將模型轉為 OpenAI 兼容的 API 服務（運行在本地端口，如 8080）。
3. 使用「Deepseek Harness」通過「自定義提供方」調用該本地 API。

• 優勢：完全屬於用戶、解決隱私問題、零費用、純國內生態、無需插網線、可常駐後台監聽文件夾變化。
• 劣勢：對硬件要求高（吃顯存）、安裝有門檻、速度和智力比雲端主流模型弱。
• 實戰驗證：成功演示整理 77 個凌亂文件夾，耗時約 20 分鐘，生成分類文件夾及整理報告。

詳細大綱

一、 本地大模型 vs 雲端 Agent 的對比

• 雲端 Agent (如 Codex, Code, Code)：
• 缺點：價格高、本地讀寫麻煩、隱私無法保護、可能被封號。
• 本地大模型 (千問 3.827B)：
• 優點：完全屬於用戶、解決隱私問題、零費用、純國內生態、無需插網線。
• 缺點：吃硬件、安裝有門檻、速度和智力比雲端主流模型弱。
• 定位：本地模型不是雲端 Agent 的平替，而是負責長期執行；雲端模型負責最難的判斷。兩者互補。

二、 部署步驟詳解

1. 下載模型：

• 來源：摩搭社區。
• 格式選擇：官方原版約 50G（無損母帶 WAV 概念）；推薦使用大神量化的 GGUF 格式（MP3 概念，體積小，家用電腦適合）。
• 顯存對應：顯存多少 G 選對應 G 數的模型，需留餘量給上下文緩存。
• 範例：16G 顯存（5060Ti）選擇 13G 的 Q3 版本。

1. 安裝運行環境 (Deepseek Harness)：

• 前提：需安裝 Node.js 環境。
• 安裝方式：一鍵使用，終端複製命令安裝。
• 介面：安裝後自動彈出瀏覽器，進入黑鯊魚介面。
• 注意：需跳過 Deep-seek API-key 輸入（因使用本地模型）。

1. 啟動模型服務 (Lama.CPP)：

• 工具：需使用 Lama.CPP 將本地模型轉為兼容 OpenAI 的 API。
• 版本選擇：Windows 系統配合 50 系顯卡選 COODA13；30/40 系顯卡選 COODA12。
• 存放位置：強烈建議放入固態硬盤（SSD），新建文件夾存放模型與引擎。
• 啟動命令：在終端執行命令，將模型層放入顯卡，並在本地 8080 端口開接口。
• 驗證：訪問 127 打頭的地址，輸入「你好」測試回覆。

1. 配置 Deepseek Harness：

• 保持啟動模型的終端不關閉。
• 在 Harness 設置中添加「自定義提供方」：
• 顯示名稱：自定義。
• API 地址：模型啟動的地址後綴 8080，後加 /v1。
• API 密鑰：本地模型隨意填寫（如三個 1）。
• 創建提供方後，添加工作區，即可選擇並使用千問 3.827B 模型。

三、 應用場景與案例演示

• 實戰案例：整理包含 77 個凌亂文件的文件夾。
• 過程：列舉文件 -> 統計數量 -> 查看內容 -> 分類 -> 生成報告。
• 結果：生成根目錄文件夾、report 和 復盤 文件，最終清理臨時文件。
• 耗時：約 20 分鐘（首次運行可能較慢，受後台程序影響）。
• 適用場景總結：

1. 高頻任務：清理文件、給筆記打標圈、寫摘要。
2. 隱私敏感型：個人日記、商務文件（不願上傳雲端）。
3. 常駐後台型：監聽文件夾變化觸發任務，無需重複下達命令。

• 最終價值：搭建了一套本地 AI 系統，即使更換模型或 Harness，本地上下文數據仍保留在用戶手中。

工具 / 模型 / 名詞整理

• 模型名稱：
• 千問 3.827B (或寫作 千萬3.827B / 千問3.8)
• 平台/社區：
• 摩搭社區
• 軟體/框架：
• Deepseek Harness (或寫作 Deep-seek Harness)
• Codex
• Code, Code
• 技術組件/格式：
• GGUF (模型壓縮包裝格式)
• Node.js (運行環境依賴)
• Lama.CPP (模型運行引擎)
• COODA13 (Lama.CPP 版本，對應 50 系顯卡)
• COODA12 (Lama.CPP 版本，對應 30/40 系顯卡)
• OpenAI API (兼容協議)
• 其他提及：
• Olama
• LM Studio

操作流程整理

1. 準備環境：

• 安裝 Node.js。
• 從摩搭社區下載 GGUF 格式的量化模型（根據顯存大小選擇，如 16G 顯存選 13G Q3 版本）。

1. 安裝 Deepseek Harness：

• 在終端複製命令一鍵安裝。
• 安裝後瀏覽器自動彈出進入介面。
• 跳過 API-key 輸入步驟。

1. 啟動本地模型服務 (Lama.CPP)：

• 將模型文件放入 SSD 新建文件夾。
• 根據顯卡型號選擇 Lama.CPP 版本（50系選 COODA13，30/40系選 COODA12）。
• 在終端執行啟動命令，將模型載入顯卡，並在本地 8080 端口開啟 API 接口。
• 訪問 127.0.0.1 相關地址輸入「你好」驗證服務正常。

1. 配置 Deepseek Harness 連接本地模型：

• 保持 Lama.CPP 終端運行。
• 在 Deepseek Harness 中添加「自定義提供方」：
• 名稱：自定義。
• API 地址：http://127.0.0.1:8080/v1 (依實際啟動地址調整)。
• API 密鑰：隨意填寫（例如 111）。
• 保存後，在工作區中選擇該提供方及千問 3.827B 模型。

1. 執行任務：

• 在 Harness 中下達指令（如整理文件夾）。
• 模型執行文件列舉、統計、分類及生成報告等動作。

值得注意的限制或風險

• 硬件門檻：本地運行大模型對顯存要求較高，需根據顯存大小選擇合適的量化模型並保留上下文緩存空間。
• 性能限制：本地模型的速度和智力弱於雲端主流模型，首次運行或處理大量數據時可能較慢。
• 隱私與隱私平衡：雖然本地運行保護隱私，但若需處理極高複雜度判斷任務，仍需依賴雲端模型，兩者需互補使用。
• 技術門檻：需要具備終端操作、環境配置（Node.js, Lama.CPP）及 API 調用知識，對普通用戶有一定安裝門檻。

逐字稿辨識疑點

• 千萬3.827B：逐字稿中多次出現「千萬」，結合上下文應指「千問」(Qwen)，但依規則標記為疑點。
• Deep-seek Harness：逐字稿中出現連字符，通常產品名為 DeepSeek，此處標記為疑點。
• 5060Ti：顯型號通常為 RTX 4060 Ti 或 RTX 5060 Ti (若為未來產品)，逐字稿寫作「5060Ti」，標記為疑點。
• COODA13 / COODA12：Lama.CPP 的 CUDA 版本通常寫作 cuda 開頭，逐字稿聽寫為「COODA」，標記為疑點。
• 按摩走一波：在整理文件案例中，逐字稿寫作「按摩」，語境應為「按摩」或特定術語，標記為疑點。
• 趙莉：在添加工作區後選擇模型的步驟中，逐字稿出現「趙莉」，語境不明，標記為疑點。
• 簽文：結尾提到「換掉簽文」，語境應為「千問」或特定模型名稱，標記為疑點。
• 陸皮軟件：描述後台程序時出現「陸皮軟件」，語境不明，標記為疑點。
• 127打頭：指代本地回環地址 127.0.0.1，標記為疑點。
• 密要：指代 API Key (密鑰)，逐字稿寫作「密要」，標記為疑點。

可延伸追問

• 如何進一步優化本地大模型在 Deepseek Harness 中的響應速度？
• 除了文件整理，本地大模型還有哪些具體的自動化應用場景？
• 不同量化格式（如 GGUF 的不同 Q 版本）對模型智力與速度的具體影響差異為何？
• 若顯存不足，是否有其他替代方案或折衷辦法？