影片筆記：小体积不降智！Qwen3.8-27B 多模态 AI 模型本地部署，低配置电脑也能跑｜接入 Hermes Agent

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片介紹了一款名為 Chenryn 3.827B GSK+RCO 的輕量化多模態大語言模型，演示了如何在低配置電腦上通過 Lama.cpp 進行本地部署，並接入 Hermes Engine 進行文字對話與圖片識別測試。

核心重點

1. 模型特性：該模型體積小（8GB-12GB），支持多模態（圖像理解）、131K 上下文長度及 MTP 加速技術，強調「小體積不降智」，可在普通電腦運行。
2. 本地部署流程：

• 下載模型文件（含多模態文件）。
• 配置 Lama.cpp 環境（下載官方版本、處理 DLL 文件）。
• 創建並編輯 啟動.bat 腳本（設定模型路徑、端口、上下文長度）。

1. 前端接入：使用 Hermes Engine 作為前端界面，配置 OpenAI API 格式（URL 指向本地端口，密鑰隨意填寫），選擇對應模型進行測試。
2. 功能驗證：成功驗證了本地環境下的文字問答與圖片識別能力。

詳細大綱

1. 模型介紹與特性

• 模型名稱：Chenryn 3.827B 精華版（GSK+RCO）。
• 核心優勢：
• 體積壓縮小（8GB-12GB）。
• 性能/智商未下降，普通電腦可運行。
• 支持多模態（解析圖片）。
• 支持 131K 上下文。
• 支持 MTP 加速技術。
• 下載數據：月下載量近 82 萬。

2. 環境準備與模型下載

• 下載渠道：官方地址、夸克網盤、虛擬網（VPN）。
• 文件選擇：
• 帶 -MTP 標籤為加速版，不帶則無加速。
• 需下載多模態文件以支持圖像理解。

3. Lama.cpp 配置與部署

• 下載安裝：
• 提供官方 HuggingFace 地址及夸克/迅雷備用。
• 根據顯卡（如 NVIDIA）與 CPU 選擇對應 Windows 版本及 DLL 文件。
• 文件整理：
• 將 DLL 文件剪切至主程序目錄，刪除壓縮包。
• 創建 models 目錄（講者口述有時為「game錄下」或「modus目錄」）。
• 將下載的大模型文件（含多模態文件）放入此目錄。

4. 啟動腳本配置

• 創建腳本：創建 啟動.bat 文件。
• 編輯內容：
• 修改模型名稱（需包含後綴）。
• 設定端口號（預設 8085，若衝突需修改）。
• 設定上下文長度（預設 6 萬，可調整）。
• 啟動測試：雙擊 啟動.bat，確認終端顯示 127.0.0.1 表示啟動成功。
• 注意事項：使用期間不得關閉啟動終端，否則服務中斷。

5. 接入 Hermes Engine 與最終測試

• 下載安裝：Hermes Engine（影片中也稱為 Hermes 印記/進）。
• 配置 API：
• 提供方選擇 OpenAI API。
• 密鑰：可隨意填寫（如 12345）。
• URL：填入本地啟動的端口地址（如 8085）。
• 模型選擇：在 Hermes 界面中選擇對應的 3.827B 模型。
• 功能驗證：進行文字問答及圖片識別測試，確認多模態功能正常運作。

工具 / 模型 / 名詞整理

• 模型名稱：
• Chenryn 3.827B 精華版
• Chenryn 3.827B GSK+RCO
• Hermesingin（模型自我識別名稱）
• 33.8 27B / 123.827B / 7213.827B / 723.827BGSQRCO（講者口誤或聽寫變體）
• 軟體/框架：
• Lama.cpp（影片中也聽作 LAMA、拉瑪）
• Hermes Engine / Hermes 印記 / Hermes 進 / 荷米生意境（講者對該前端/引擎的名稱稱呼不一致）
• 其他工具/平台：
• 夸克網盤 / 夸克
• 虛擬網（VPN）
• 迅雷
• HuggingFace（聽作 Headahub）
• Windows / MacOS / Linux
• NVIDIA 顯卡
• 博客網址（講者提及材料放置處）

操作流程整理

1. 下載模型：從官方或夸克網盤下載 Chenryn 3.827B 模型文件，確保包含多模態文件及 MTP 加速標籤（若需要）。
2. 準備環境：

• 下載並安裝 Lama.cpp（根據硬體選擇對應版本）。
• 將 DLL 文件移至主程序目錄。
• 建立 models 資料夾並放入模型文件。

1. 配置啟動腳本：

• 建立 啟動.bat 文件。
• 在腳本中指定模型路徑、端口（如 8085）及上下文長度。
• 雙擊運行腳本，確認終端顯示 127.0.0.1。

1. 配置前端：

• 下載並安裝 Hermes Engine。
• 在設置中選擇 OpenAI API 格式。
• 填入本地端口 URL 及任意 API Key。
• 選擇對應的 3.827B 模型。

1. 測試驗證：

• 進行文字對話測試。
• 上傳圖片進行識別測試，確認多模態功能正常。

值得注意的限制或風險

• 服務持續性：使用期間不得關閉啟動終端，否則服務中斷。
• 端口衝突：預設端口 8085 若被佔用，需手動修改。
• 上下文設定：預設上下文長度為 6 萬，可根據需求調整，但需確保硬體資源足夠。
• 模型名稱混亂：影片中模型名稱及相關軟體名稱存在多種變體與口誤，實際操作時需仔細核對文件與路徑。

逐字稿辨識疑點

• 模型名稱不一致：逐字稿中模型名稱出現多種變體，包括「CM3.827B」、「Chenryn 3.827B」、「33.8 27B」、「123.827B」、「7213.827B」、「723.827BGSQRCO」、「GSQL RCO」、「GSK+RCO」。需查證正確官方名稱。
• 軟體名稱聽寫錯誤：
• 「Lama.cpp」：通常指 llama.cpp，但講者多次口述為「Lama」或「拉瑪」。
• 「Hermes 印記/進/Engine/荷米生意境」：講者對該軟體的名稱稱呼混亂，需查證正確軟體名稱。
• 「Headahub」：應指 HuggingFace Hub，但講者口述為 Headahub。
• 「Quack」：應指 Quark（夸克），但講者口述為 Quack。
• 「X超哥」：講者自稱，可能為「X 超哥」或特定暱稱。
• 「Chenryn」：模型名稱聽似 Chenryn，但也可能為其他拼寫，需查證。
• 「ATMR」：講者要求模型寫一個「ATMR」，疑為「HTML」或「APP」的口誤，但需查證。
• 「動模態/多模態」：講者混用「動模態」與「多模態」，疑為口誤。
• 「game錄下/modus目錄」：講者指代 models 目錄時，口述為「game錄下」或「modus目錄」，需查證是否為特定路徑命名或口誤。
• 「CainTool」：講者提到按鍵盤左下角的「CainTool」鍵，疑為 Ctrl 鍵的口誤。
• 「50TOKAY」：講者描述速度為「50TOKAY每秒」，疑為「50 Tokens」的口誤。
• 「131K上下文」：講者提到支持 131K 上下文，需查證該模型是否確實支持此參數。
• 「MTP加速技術」：講者提到 MTP 加速，需查證該技術名稱是否準確。
• 「GSK+RCO」：模型後綴，需查證是否為正確技術縮寫。
• 「82万的下载将近」：講者提到月下載量，需查證具體數據。
• 「小体型不降至多模型」：講者描述特點時口語混亂，疑為「小體積不降低多模態能力」的口誤。
• 「运行美感低」：講者描述特點時說「运行美感低」，疑為「運行門檻低」或「運行資源低」的口誤。

可延伸追問

• 該模型「GSK+RCO」具體代表什麼技術縮寫？
• MTP 加速技術在本地部署中的實際效能提升比例為何？
• 若顯卡資源不足，僅使用 CPU 運行時，推理速度與質量有何具體影響？
• Hermes Engine 是否有開源代碼或更多配置選項可供進階用戶調整？