# 影片筆記：云端AI已经这么强了，我为什么还要跑本地模型？（拥有自己的算力的体验）


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

講者透過自身經驗闡述部署本地大模型的四大核心理由：**隱私安全**（避免數據被擁有 root 權限的 Agent 遍歷）、**經濟成本**（長期電費可能低於雲端 API 費用，且硬體具備保值潛力）、**模型性能飛躍**（Qwen 系列在速度與長鏈任務穩定性上的提升）以及**穩定性備份**（應對雲端服務宕機）。結論認為，本地 AI 是一種針對特定剛需的權衡，對於愛好者而言，這是一種兼具實用性與「折騰樂趣」的體驗。

## 核心重點

1.  **隱私與數據控制**：
    *   雲端 API 雖聲稱不訓練數據，但若 Agent 擁有局域網 root 權限，可能遍歷並訪問敏感文件。
    *   本地部署將 AI 置於數據旁並限制網絡訪問，是防止數據泄露的「一刀切」最佳方案。
    *   用戶可能低估數據價值，而雲端服務商可能將其視為高價值資產。

2.  **成本效益分析**：
    *   **API 費用波動**：以 DeepSeek 為例，價格曾從每月 300 人民幣漲至 1000 多人民幣，即便後續降價，長期累計仍可能高於本地電費。
    *   **本地電費優勢**：講者本地月電費約 200 人民幣（國內朋友約 60-70 人民幣），低於雲端 API 費用。
    *   **硬體投資回報**：初期購買高端顯卡（如 4090、7900XTX）成本高，若從零組裝需數年回本。但顯卡價格可能因算力優化而上漲（如 AMD 顯卡因開源優化漲價），早期購買者可能獲利。
    *   **剛需判斷**：若非剛需，建議使用 API 省心；若為剛需，高價顯卡（如 Pro6000）也有人購買。不建議盲目抄底。

3.  **技術性能飛躍**：
    *   **過去 (Qwen 3.6 27B)**：僅 27B 參數，在消費級顯卡上可用，但長鏈任務易「飄」，速度約 20-60 token/s，上下文僅 100K。
    *   **現在 (Qwen 3.8 27B)**：配合新推理框架（如 ninfer, llama.cpp 更新），速度提升至 100+ token/s，上下文支持 256K，長任務不崩潰。
    *   **實際應用**：成功將 NAS 改造成共享記憶庫，模型能自主排查問題、搜索網絡，連續工作數小時完成多個階段，無需中斷 session，任務質量獲雲端頂級模型認可。

4.  **穩定性與部署門檻降低**：
    *   **雲端風險**：OpenAI、DeepSeek 等服務器可能突然宕機，影響工作推進。本地算力作為備份保險。
    *   **門檻降低**：過去需手動配置 VLLM 等，流程繁瑣；現在利用 Hermes Agent 搭配雲端 API，通過簡單指令即可自動配置參數、測試硬體並優化。

5.  **結論：權衡與樂趣**：
    *   本地 AI 意味著使用較弱模型、自行維護、硬體噪音與發熱。
    *   對於普通用戶或企業用戶（有 API 報銷），本地部署非必需。
    *   對於講者，本地算力是處理創作、公司管理及雜務的基礎設施，最終目的是為了個人使用的舒適與「折騰」的樂趣。

## 詳細大綱

### 一、 隱私：本地部署的核心理由
*   **數據風險**：雲端 API 雖聲稱不訓練數據，但 Agent 若擁有 root 權限，會在局域網內遍歷所有文件系統，可能擅自訪問敏感資訊。
*   **價值不對稱**：用戶認為數據不值錢，但雲端服務商可能視為高價值資產。
*   **解決方案**：將 AI 放在數據旁邊並限制其網絡訪問（「照起來讓它們出不去」），比依賴雲端更安心。

### 二、 金錢：成本與硬體投資的辯證
*   **API 費用波動**：以 DeepSeek 為例，價格曾從每月 300 人民幣漲至 1000 多人民幣，即便後續降价，仍高於本地電費。
*   **本地電費優勢**：講者本地月電費約 200 人民幣（國內朋友約 60-70 人民幣），低於雲端 API 費用。
*   **硬體成本分析**：
    *   初期購買高端顯卡（如 4090、7900XTX）成本高昂。
    *   若從零開始組裝，可能需數年才能回本，且期間雲端模型可能更強。
    *   **保值與增值**：顯卡價格隨算力優化而上漲（如 AMD 顯卡因開源優化而漲價），早期購買者可能獲利。
    *   **剛需判斷**：若非剛需，建議使用 API 省心；若為剛需，高價顯卡（如 Pro6000）也有人購買。
    *   **市場預測**：硬體價格受供需影響，普通人難以預測漲跌，不建議盲目抄底。

### 三、 能力：本地模型的技術飛躍
*   **性能對比**：
    *   **過去 (Qwen 3.6 27B)**：僅 27B 參數，在消費級顯卡上實現可用，但長鏈任務易「飄」，速度約 20-60 token/s，上下文僅 100K。
    *   **現在 (Qwen 3.8 27B)**：配合新推理框架（如 ninfer, llama.cpp 更新），速度提升至 100+ token/s，上下文支持 256K，長任務不崩潰。
*   **實際應用案例**：
    *   使用 Qwen 3.8 27B 將 NAS 改造成共享記憶庫。
    *   任務涉及 NAS、局域網、雲端服務器、自製 Gateway 等複雜環境。
    *   模型能自主排查問題、搜索網絡，連續工作數小時完成多個階段，無需中斷 session。
    *   任務質量獲得雲端頂級模型（Qwen 3.8 Max, GPT）認可。
*   **工具評價**：目前認為 Codex 最好用，Hermes Agent 穩定。

### 四、 穩定性：應對雲端服務宕機
*   **雲端風險**：OpenAI、DeepSeek 等服務器可能突然宕機，影響工作推進。
*   **本地備份價值**：擁有本地算力（如 4090 + Qwen 3.8 27B）作為保險，確保在雲端服務不可用時仍能繼續工作。

### 五、 部署門檻：技術門檻的降低
*   **過去**：需要手動配置 VLLM 等，理解計算機基礎，流程繁瑣。
*   **現在**：利用 Hermes Agent 搭配雲端 API（如 DeepSeek V4.1 Flash），通過簡單指令即可自動配置參數、測試硬體並優化，門檻大幅下降。

### 六、 結論：本地 AI 是權衡與樂趣
*   **非人人必需**：普通用戶偶爾使用 AI 無需購買顯卡；企業用戶若有 API 報銷或 Token 計劃，也無需本地部署。
*   **妥協與代價**：本地 AI 意味著使用較弱模型、自行維護、硬體噪音與發熱。
*   **個人選擇**：對於講者而言，本地算力是基礎設施，用於處理創作、公司管理及雜務。
*   **最終目的**：本地部署是一種「開心」與「好玩」的體驗，如同組裝電腦或修車，享受折騰的過程。

## 工具 / 模型 / 名詞整理

*   **模型/技術名稱**：
    *   DeepSeek (提及 V4.1, flash)
    *   Qwen 3.8 27b
    *   Qwen 3.6 27B
    *   Qwen 3.8 Max
    *   Hermes Agent
    *   Codex
    *   GPT
    *   VLLM
    *   ninfer
    *   llama.cpp
    *   MTP (提及開啟 MTP 優化速度)
*   **硬體/產品名稱**：
    *   NAS
    *   4090
    *   3090
    *   5090
    *   AMD AI PRO R9700
    *   7900XTX
    *   Pro6000
*   **服務/平台**：
    *   OpenAI
    *   OpenCode
    *   Comfy UI
    *   memorybear (提及「用memorybear的記憶庫」)

## 操作流程整理

1.  **評估需求與成本**：
    *   計算本地電費與雲端 API 費用的長期差異。
    *   評估硬體初期投入與潛在保值/增值空間。
    *   判斷是否為「剛需」，若非剛需則建議使用 API。

2.  **硬體準備與選擇**：
    *   根據預算選擇顯卡（如 4090, 7900XTX, Pro6000 等）。
    *   考慮顯卡價格波動與市場供需。

3.  **模型選擇與配置**：
    *   選擇適合本地算力的模型（如 Qwen 3.8 27B）。
    *   使用推理框架（如 ninfer, llama.cpp）並開啟相關優化（如 MTP）。
    *   利用自動化工具（如 Hermes Agent）搭配雲端 API 進行自動配置參數、測試硬體並優化。

4.  **部署與測試**：
    *   將 AI 部署於本地，限制其網絡訪問以保護隱私。
    *   測試長鏈任務穩定性與推理速度。
    *   驗證在雲端服務宕機時的備份能力。

5.  **應用與維護**：
    *   將本地 AI 應用於實際場景（如 NAS 共享記憶庫、公司管理）。
    *   監控硬體狀態（噪音、發熱）並進行維護。

## 值得注意的限制或風險

1.  **硬體成本與回報週期長**：初期購買高端顯卡成本高，若從零組裝可能需數年才能回本，且期間雲端模型可能更強。
2.  **市場預測困難**：硬體價格受供需影響，普通人難以預測漲跌，不建議盲目抄底。
3.  **本地模型性能限制**：相比雲端頂級模型，本地模型參數較少，可能需妥協於較弱模型。
4.  **維護成本**：需自行維護硬體，面臨噪音與發熱問題。
5.  **隱私風險依然存在**：若 Agent 擁有 root 權限，仍可能對本地文件系統構成威脅，需嚴格限制網絡訪問。

## 逐字稿辨識疑點

*   **Qwen 3.8 27b / Qwen 3.6 27B**：逐字稿中多次提及「Qwen 3.8」與「Qwen 3.6」，需查證是否為聽寫錯誤或特定版本編號（通常 Qwen 版本號可能為 1.5, 2, 2.5 或 72B/14B 等參數規模，27B 參數規模較少見，疑點需查證）。
*   **AMD AI PRO R9700**：AMD 顯卡型號通常為 RX 系列（如 RX 7900 XTX），「AI PRO R9700」疑點需查證是否為特定型號或聽寫錯誤。
*   **memorybear**：逐字稿提及「用memorybear的記憶庫」，疑點需查證是否為特定軟體名稱或聽寫錯誤（可能指 Memory Bank 或其他工具）。
*   **MTP**：在提及優化速度時提到「如果你不開 MTP 的話」，疑點需查證 MTP 在此語境下的具體含義（通常 MTP 指 Media Transfer Protocol，但在 AI 推理優化中可能指代其他技術或為聽寫錯誤）。
*   **DeepSeek V4.1 flash**：DeepSeek 版本號通常為 V1, V2, R1 等，「V4.1 flash」疑點需查證是否為聽寫錯誤。
*   **Pro6000**：提及「十几万一张的Pro6000」，疑點需查證是否指代 NVIDIA RTX 6000 Ada 或其他專業顯卡型號。

## 可延伸追問

1.  對於普通用戶，如何準確計算本地顯卡部署的「回本週期」？
2.  在本地部署中，如何具體配置網絡策略以確保 Agent 不會遍歷敏感文件？
3.  Hermes Agent 與 Codex 在本地模型部署中的具體優缺點比較為何？
4.  隨著雲端模型性能不斷提升，本地模型在哪些特定場景下仍具有不可替代的優勢？
5.  顯卡市場價格波動對個人部署者的長期影響應如何評估？