# 影片筆記：普通人也能玩本地大模型！千问3.8 27B+DeepSeek Harness安装教程，照着做就能跑起来


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

本影片演示如何在本地電腦部署「千問 3.827B」大模型，透過「Lama.CPP」轉為 OpenAI 兼容 API，並由「Deepseek Harness」調用，實現純本地、零費用、隱私保護的自動化任務（如文件整理），驗證了本地模型在常駐後台與高頻任務上的優勢。

## 核心重點

*   **本地大模型定位**：本地模型並非雲端 Agent 的完全平替，而是互補關係。本地模型負責長期執行、高頻任務、隱私敏感及常駐後台的工作；雲端模型負責最難的判斷。
*   **技術架構**：
    1.  從「摩搭社區」下載量化模型（GGUF格式）。
    2.  使用「Lama.CPP」引擎將模型轉為 OpenAI 兼容的 API 服務（運行在本地端口，如 8080）。
    3.  使用「Deepseek Harness」通過「自定義提供方」調用該本地 API。
*   **優勢**：完全屬於用戶、解決隱私問題、零費用、純國內生態、無需插網線、可常駐後台監聽文件夾變化。
*   **劣勢**：對硬件要求高（吃顯存）、安裝有門檻、速度和智力比雲端主流模型弱。
*   **實戰驗證**：成功演示整理 77 個凌亂文件夾，耗時約 20 分鐘，生成分類文件夾及整理報告。

## 詳細大綱

### 一、 本地大模型 vs 雲端 Agent 的對比
*   **雲端 Agent (如 Codex, Code, Code)**：
    *   缺點：價格高、本地讀寫麻煩、隱私無法保護、可能被封號。
*   **本地大模型 (千問 3.827B)**：
    *   優點：完全屬於用戶、解決隱私問題、零費用、純國內生態、無需插網線。
    *   缺點：吃硬件、安裝有門檻、速度和智力比雲端主流模型弱。
*   **定位**：本地模型不是雲端 Agent 的平替，而是負責長期執行；雲端模型負責最難的判斷。兩者互補。

### 二、 部署步驟詳解
1.  **下載模型**：
    *   來源：摩搭社區。
    *   格式選擇：官方原版約 50G（無損母帶 WAV 概念）；推薦使用大神量化的 **GGUF** 格式（MP3 概念，體積小，家用電腦適合）。
    *   顯存對應：顯存多少 G 選對應 G 數的模型，需留餘量給上下文緩存。
    *   範例：16G 顯存（5060Ti）選擇 13G 的 Q3 版本。
2.  **安裝運行環境 (Deepseek Harness)**：
    *   前提：需安裝 **Node.js** 環境。
    *   安裝方式：一鍵使用，終端複製命令安裝。
    *   介面：安裝後自動彈出瀏覽器，進入黑鯊魚介面。
    *   注意：需跳過 Deep-seek API-key 輸入（因使用本地模型）。
3.  **啟動模型服務 (Lama.CPP)**：
    *   工具：需使用 **Lama.CPP** 將本地模型轉為兼容 OpenAI 的 API。
    *   版本選擇：Windows 系統配合 50 系顯卡選 **COODA13**；30/40 系顯卡選 **COODA12**。
    *   存放位置：強烈建議放入固態硬盤（SSD），新建文件夾存放模型與引擎。
    *   啟動命令：在終端執行命令，將模型層放入顯卡，並在本地 8080 端口開接口。
    *   驗證：訪問 127 打頭的地址，輸入「你好」測試回覆。
4.  **配置 Deepseek Harness**：
    *   保持啟動模型的終端不關閉。
    *   在 Harness 設置中添加「自定義提供方」：
        *   顯示名稱：自定義。
        *   API 地址：模型啟動的地址後綴 8080，後加 `/v1`。
        *   API 密鑰：本地模型隨意填寫（如三個 1）。
    *   創建提供方後，添加工作區，即可選擇並使用千問 3.827B 模型。

### 三、 應用場景與案例演示
*   **實戰案例**：整理包含 77 個凌亂文件的文件夾。
    *   過程：列舉文件 -> 統計數量 -> 查看內容 -> 分類 -> 生成報告。
    *   結果：生成根目錄文件夾、`report` 和 `復盤` 文件，最終清理臨時文件。
    *   耗時：約 20 分鐘（首次運行可能較慢，受後台程序影響）。
*   **適用場景總結**：
    1.  **高頻任務**：清理文件、給筆記打標圈、寫摘要。
    2.  **隱私敏感型**：個人日記、商務文件（不願上傳雲端）。
    3.  **常駐後台型**：監聽文件夾變化觸發任務，無需重複下達命令。
*   **最終價值**：搭建了一套本地 AI 系統，即使更換模型或 Harness，本地上下文數據仍保留在用戶手中。

## 工具 / 模型 / 名詞整理

*   **模型名稱**：
    *   千問 3.827B (或寫作 千萬3.827B / 千問3.8)
*   **平台/社區**：
    *   摩搭社區
*   **軟體/框架**：
    *   Deepseek Harness (或寫作 Deep-seek Harness)
    *   Codex
    *   Code, Code
*   **技術組件/格式**：
    *   GGUF (模型壓縮包裝格式)
    *   Node.js (運行環境依賴)
    *   Lama.CPP (模型運行引擎)
    *   COODA13 (Lama.CPP 版本，對應 50 系顯卡)
    *   COODA12 (Lama.CPP 版本，對應 30/40 系顯卡)
    *   OpenAI API (兼容協議)
*   **其他提及**：
    *   Olama
    *   LM Studio

## 操作流程整理

1.  **準備環境**：
    *   安裝 Node.js。
    *   從摩搭社區下載 GGUF 格式的量化模型（根據顯存大小選擇，如 16G 顯存選 13G Q3 版本）。
2.  **安裝 Deepseek Harness**：
    *   在終端複製命令一鍵安裝。
    *   安裝後瀏覽器自動彈出進入介面。
    *   跳過 API-key 輸入步驟。
3.  **啟動本地模型服務 (Lama.CPP)**：
    *   將模型文件放入 SSD 新建文件夾。
    *   根據顯卡型號選擇 Lama.CPP 版本（50系選 COODA13，30/40系選 COODA12）。
    *   在終端執行啟動命令，將模型載入顯卡，並在本地 8080 端口開啟 API 接口。
    *   訪問 `127.0.0.1` 相關地址輸入「你好」驗證服務正常。
4.  **配置 Deepseek Harness 連接本地模型**：
    *   保持 Lama.CPP 終端運行。
    *   在 Deepseek Harness 中添加「自定義提供方」：
        *   名稱：自定義。
        *   API 地址：`http://127.0.0.1:8080/v1` (依實際啟動地址調整)。
        *   API 密鑰：隨意填寫（例如 `111`）。
    *   保存後，在工作區中選擇該提供方及千問 3.827B 模型。
5.  **執行任務**：
    *   在 Harness 中下達指令（如整理文件夾）。
    *   模型執行文件列舉、統計、分類及生成報告等動作。

## 值得注意的限制或風險

*   **硬件門檻**：本地運行大模型對顯存要求較高，需根據顯存大小選擇合適的量化模型並保留上下文緩存空間。
*   **性能限制**：本地模型的速度和智力弱於雲端主流模型，首次運行或處理大量數據時可能較慢。
*   **隱私與隱私平衡**：雖然本地運行保護隱私，但若需處理極高複雜度判斷任務，仍需依賴雲端模型，兩者需互補使用。
*   **技術門檻**：需要具備終端操作、環境配置（Node.js, Lama.CPP）及 API 調用知識，對普通用戶有一定安裝門檻。

## 逐字稿辨識疑點

*   **千萬3.827B**：逐字稿中多次出現「千萬」，結合上下文應指「千問」(Qwen)，但依規則標記為疑點。
*   **Deep-seek Harness**：逐字稿中出現連字符，通常產品名為 DeepSeek，此處標記為疑點。
*   **5060Ti**：顯型號通常為 RTX 4060 Ti 或 RTX 5060 Ti (若為未來產品)，逐字稿寫作「5060Ti」，標記為疑點。
*   **COODA13 / COODA12**：Lama.CPP 的 CUDA 版本通常寫作 `cuda` 開頭，逐字稿聽寫為「COODA」，標記為疑點。
*   **按摩走一波**：在整理文件案例中，逐字稿寫作「按摩」，語境應為「按摩」或特定術語，標記為疑點。
*   **趙莉**：在添加工作區後選擇模型的步驟中，逐字稿出現「趙莉」，語境不明，標記為疑點。
*   **簽文**：結尾提到「換掉簽文」，語境應為「千問」或特定模型名稱，標記為疑點。
*   **陸皮軟件**：描述後台程序時出現「陸皮軟件」，語境不明，標記為疑點。
*   **127打頭**：指代本地回環地址 `127.0.0.1`，標記為疑點。
*   **密要**：指代 API Key (密鑰)，逐字稿寫作「密要」，標記為疑點。

## 可延伸追問

*   如何進一步優化本地大模型在 Deepseek Harness 中的響應速度？
*   除了文件整理，本地大模型還有哪些具體的自動化應用場景？
*   不同量化格式（如 GGUF 的不同 Q 版本）對模型智力與速度的具體影響差異為何？
*   若顯存不足，是否有其他替代方案或折衷辦法？