# 影片筆記：小体积不降智！Qwen3.8-27B 多模态 AI 模型本地部署，低配置电脑也能跑｜接入 Hermes Agent


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

影片介紹了一款名為 **Chenryn 3.827B GSK+RCO** 的輕量化多模態大語言模型，演示了如何在低配置電腦上通過 **Lama.cpp** 進行本地部署，並接入 **Hermes Engine** 進行文字對話與圖片識別測試。

## 核心重點

1.  **模型特性**：該模型體積小（8GB-12GB），支持多模態（圖像理解）、131K 上下文長度及 MTP 加速技術，強調「小體積不降智」，可在普通電腦運行。
2.  **本地部署流程**：
    *   下載模型文件（含多模態文件）。
    *   配置 **Lama.cpp** 環境（下載官方版本、處理 DLL 文件）。
    *   創建並編輯 `啟動.bat` 腳本（設定模型路徑、端口、上下文長度）。
3.  **前端接入**：使用 **Hermes Engine** 作為前端界面，配置 OpenAI API 格式（URL 指向本地端口，密鑰隨意填寫），選擇對應模型進行測試。
4.  **功能驗證**：成功驗證了本地環境下的文字問答與圖片識別能力。

## 詳細大綱

### 1. 模型介紹與特性
*   **模型名稱**：Chenryn 3.827B 精華版（GSK+RCO）。
*   **核心優勢**：
    *   體積壓縮小（8GB-12GB）。
    *   性能/智商未下降，普通電腦可運行。
    *   支持多模態（解析圖片）。
    *   支持 131K 上下文。
    *   支持 MTP 加速技術。
*   **下載數據**：月下載量近 82 萬。

### 2. 環境準備與模型下載
*   **下載渠道**：官方地址、夸克網盤、虛擬網（VPN）。
*   **文件選擇**：
    *   帶 `-MTP` 標籤為加速版，不帶則無加速。
    *   需下載多模態文件以支持圖像理解。

### 3. Lama.cpp 配置與部署
*   **下載安裝**：
    *   提供官方 HuggingFace 地址及夸克/迅雷備用。
    *   根據顯卡（如 NVIDIA）與 CPU 選擇對應 Windows 版本及 DLL 文件。
*   **文件整理**：
    *   將 DLL 文件剪切至主程序目錄，刪除壓縮包。
    *   創建 `models` 目錄（講者口述有時為「game錄下」或「modus目錄」）。
    *   將下載的大模型文件（含多模態文件）放入此目錄。

### 4. 啟動腳本配置
*   **創建腳本**：創建 `啟動.bat` 文件。
*   **編輯內容**：
    *   修改模型名稱（需包含後綴）。
    *   設定端口號（預設 8085，若衝突需修改）。
    *   設定上下文長度（預設 6 萬，可調整）。
*   **啟動測試**：雙擊 `啟動.bat`，確認終端顯示 `127.0.0.1` 表示啟動成功。
*   **注意事項**：使用期間不得關閉啟動終端，否則服務中斷。

### 5. 接入 Hermes Engine 與最終測試
*   **下載安裝**：Hermes Engine（影片中也稱為 Hermes 印記/進）。
*   **配置 API**：
    *   提供方選擇 OpenAI API。
    *   密鑰：可隨意填寫（如 12345）。
    *   URL：填入本地啟動的端口地址（如 8085）。
*   **模型選擇**：在 Hermes 界面中選擇對應的 3.827B 模型。
*   **功能驗證**：進行文字問答及圖片識別測試，確認多模態功能正常運作。

## 工具 / 模型 / 名詞整理

*   **模型名稱**：
    *   Chenryn 3.827B 精華版
    *   Chenryn 3.827B GSK+RCO
    *   Hermesingin（模型自我識別名稱）
    *   33.8 27B / 123.827B / 7213.827B / 723.827BGSQRCO（講者口誤或聽寫變體）
*   **軟體/框架**：
    *   Lama.cpp（影片中也聽作 LAMA、拉瑪）
    *   Hermes Engine / Hermes 印記 / Hermes 進 / 荷米生意境（講者對該前端/引擎的名稱稱呼不一致）
*   **其他工具/平台**：
    *   夸克網盤 / 夸克
    *   虛擬網（VPN）
    *   迅雷
    *   HuggingFace（聽作 Headahub）
    *   Windows / MacOS / Linux
    *   NVIDIA 顯卡
    *   博客網址（講者提及材料放置處）

## 操作流程整理

1.  **下載模型**：從官方或夸克網盤下載 Chenryn 3.827B 模型文件，確保包含多模態文件及 MTP 加速標籤（若需要）。
2.  **準備環境**：
    *   下載並安裝 Lama.cpp（根據硬體選擇對應版本）。
    *   將 DLL 文件移至主程序目錄。
    *   建立 `models` 資料夾並放入模型文件。
3.  **配置啟動腳本**：
    *   建立 `啟動.bat` 文件。
    *   在腳本中指定模型路徑、端口（如 8085）及上下文長度。
    *   雙擊運行腳本，確認終端顯示 `127.0.0.1`。
4.  **配置前端**：
    *   下載並安裝 Hermes Engine。
    *   在設置中選擇 OpenAI API 格式。
    *   填入本地端口 URL 及任意 API Key。
    *   選擇對應的 3.827B 模型。
5.  **測試驗證**：
    *   進行文字對話測試。
    *   上傳圖片進行識別測試，確認多模態功能正常。

## 值得注意的限制或風險

*   **服務持續性**：使用期間不得關閉啟動終端，否則服務中斷。
*   **端口衝突**：預設端口 8085 若被佔用，需手動修改。
*   **上下文設定**：預設上下文長度為 6 萬，可根據需求調整，但需確保硬體資源足夠。
*   **模型名稱混亂**：影片中模型名稱及相關軟體名稱存在多種變體與口誤，實際操作時需仔細核對文件與路徑。

## 逐字稿辨識疑點

*   **模型名稱不一致**：逐字稿中模型名稱出現多種變體，包括「CM3.827B」、「Chenryn 3.827B」、「33.8 27B」、「123.827B」、「7213.827B」、「723.827BGSQRCO」、「GSQL RCO」、「GSK+RCO」。需查證正確官方名稱。
*   **軟體名稱聽寫錯誤**：
    *   「Lama.cpp」：通常指 `llama.cpp`，但講者多次口述為「Lama」或「拉瑪」。
    *   「Hermes 印記/進/Engine/荷米生意境」：講者對該軟體的名稱稱呼混亂，需查證正確軟體名稱。
    *   「Headahub」：應指 HuggingFace Hub，但講者口述為 Headahub。
    *   「Quack」：應指 Quark（夸克），但講者口述為 Quack。
    *   「X超哥」：講者自稱，可能為「X 超哥」或特定暱稱。
    *   「Chenryn」：模型名稱聽似 Chenryn，但也可能為其他拼寫，需查證。
    *   「ATMR」：講者要求模型寫一個「ATMR」，疑為「HTML」或「APP」的口誤，但需查證。
    *   「動模態/多模態」：講者混用「動模態」與「多模態」，疑為口誤。
    *   「game錄下/modus目錄」：講者指代 `models` 目錄時，口述為「game錄下」或「modus目錄」，需查證是否為特定路徑命名或口誤。
    *   「CainTool」：講者提到按鍵盤左下角的「CainTool」鍵，疑為 `Ctrl` 鍵的口誤。
    *   「50TOKAY」：講者描述速度為「50TOKAY每秒」，疑為「50 Tokens」的口誤。
    *   「131K上下文」：講者提到支持 131K 上下文，需查證該模型是否確實支持此參數。
    *   「MTP加速技術」：講者提到 MTP 加速，需查證該技術名稱是否準確。
    *   「GSK+RCO」：模型後綴，需查證是否為正確技術縮寫。
    *   「82万的下载将近」：講者提到月下載量，需查證具體數據。
    *   「小体型不降至多模型」：講者描述特點時口語混亂，疑為「小體積不降低多模態能力」的口誤。
    *   「运行美感低」：講者描述特點時說「运行美感低」，疑為「運行門檻低」或「運行資源低」的口誤。

## 可延伸追問

*   該模型「GSK+RCO」具體代表什麼技術縮寫？
*   MTP 加速技術在本地部署中的實際效能提升比例為何？
*   若顯卡資源不足，僅使用 CPU 運行時，推理速度與質量有何具體影響？
*   Hermes Engine 是否有開源代碼或更多配置選項可供進階用戶調整？