影片筆記：云端AI已经这么强了，我为什么还要跑本地模型？（拥有自己的算力的体验）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

講者透過自身經驗闡述部署本地大模型的四大核心理由：隱私安全（避免數據被擁有 root 權限的 Agent 遍歷）、經濟成本（長期電費可能低於雲端 API 費用，且硬體具備保值潛力）、模型性能飛躍（Qwen 系列在速度與長鏈任務穩定性上的提升）以及穩定性備份（應對雲端服務宕機）。結論認為，本地 AI 是一種針對特定剛需的權衡，對於愛好者而言，這是一種兼具實用性與「折騰樂趣」的體驗。

核心重點

1. 隱私與數據控制：

• 雲端 API 雖聲稱不訓練數據，但若 Agent 擁有局域網 root 權限，可能遍歷並訪問敏感文件。
• 本地部署將 AI 置於數據旁並限制網絡訪問，是防止數據泄露的「一刀切」最佳方案。
• 用戶可能低估數據價值，而雲端服務商可能將其視為高價值資產。

1. 成本效益分析：

• API 費用波動：以 DeepSeek 為例，價格曾從每月 300 人民幣漲至 1000 多人民幣，即便後續降價，長期累計仍可能高於本地電費。
• 本地電費優勢：講者本地月電費約 200 人民幣（國內朋友約 60-70 人民幣），低於雲端 API 費用。
• 硬體投資回報：初期購買高端顯卡（如 4090、7900XTX）成本高，若從零組裝需數年回本。但顯卡價格可能因算力優化而上漲（如 AMD 顯卡因開源優化漲價），早期購買者可能獲利。
• 剛需判斷：若非剛需，建議使用 API 省心；若為剛需，高價顯卡（如 Pro6000）也有人購買。不建議盲目抄底。

1. 技術性能飛躍：

• 過去 (Qwen 3.6 27B)：僅 27B 參數，在消費級顯卡上可用，但長鏈任務易「飄」，速度約 20-60 token/s，上下文僅 100K。
• 現在 (Qwen 3.8 27B)：配合新推理框架（如 ninfer, llama.cpp 更新），速度提升至 100+ token/s，上下文支持 256K，長任務不崩潰。
• 實際應用：成功將 NAS 改造成共享記憶庫，模型能自主排查問題、搜索網絡，連續工作數小時完成多個階段，無需中斷 session，任務質量獲雲端頂級模型認可。

1. 穩定性與部署門檻降低：

• 雲端風險：OpenAI、DeepSeek 等服務器可能突然宕機，影響工作推進。本地算力作為備份保險。
• 門檻降低：過去需手動配置 VLLM 等，流程繁瑣；現在利用 Hermes Agent 搭配雲端 API，通過簡單指令即可自動配置參數、測試硬體並優化。

1. 結論：權衡與樂趣：

• 本地 AI 意味著使用較弱模型、自行維護、硬體噪音與發熱。
• 對於普通用戶或企業用戶（有 API 報銷），本地部署非必需。
• 對於講者，本地算力是處理創作、公司管理及雜務的基礎設施，最終目的是為了個人使用的舒適與「折騰」的樂趣。

詳細大綱

一、 隱私：本地部署的核心理由

• 數據風險：雲端 API 雖聲稱不訓練數據，但 Agent 若擁有 root 權限，會在局域網內遍歷所有文件系統，可能擅自訪問敏感資訊。
• 價值不對稱：用戶認為數據不值錢，但雲端服務商可能視為高價值資產。
• 解決方案：將 AI 放在數據旁邊並限制其網絡訪問（「照起來讓它們出不去」），比依賴雲端更安心。

二、 金錢：成本與硬體投資的辯證

• API 費用波動：以 DeepSeek 為例，價格曾從每月 300 人民幣漲至 1000 多人民幣，即便後續降价，仍高於本地電費。
• 本地電費優勢：講者本地月電費約 200 人民幣（國內朋友約 60-70 人民幣），低於雲端 API 費用。
• 硬體成本分析：
• 初期購買高端顯卡（如 4090、7900XTX）成本高昂。
• 若從零開始組裝，可能需數年才能回本，且期間雲端模型可能更強。
• 保值與增值：顯卡價格隨算力優化而上漲（如 AMD 顯卡因開源優化而漲價），早期購買者可能獲利。
• 剛需判斷：若非剛需，建議使用 API 省心；若為剛需，高價顯卡（如 Pro6000）也有人購買。
• 市場預測：硬體價格受供需影響，普通人難以預測漲跌，不建議盲目抄底。

三、 能力：本地模型的技術飛躍

• 性能對比：
• 過去 (Qwen 3.6 27B)：僅 27B 參數，在消費級顯卡上實現可用，但長鏈任務易「飄」，速度約 20-60 token/s，上下文僅 100K。
• 現在 (Qwen 3.8 27B)：配合新推理框架（如 ninfer, llama.cpp 更新），速度提升至 100+ token/s，上下文支持 256K，長任務不崩潰。
• 實際應用案例：
• 使用 Qwen 3.8 27B 將 NAS 改造成共享記憶庫。
• 任務涉及 NAS、局域網、雲端服務器、自製 Gateway 等複雜環境。
• 模型能自主排查問題、搜索網絡，連續工作數小時完成多個階段，無需中斷 session。
• 任務質量獲得雲端頂級模型（Qwen 3.8 Max, GPT）認可。
• 工具評價：目前認為 Codex 最好用，Hermes Agent 穩定。

四、 穩定性：應對雲端服務宕機

• 雲端風險：OpenAI、DeepSeek 等服務器可能突然宕機，影響工作推進。
• 本地備份價值：擁有本地算力（如 4090 + Qwen 3.8 27B）作為保險，確保在雲端服務不可用時仍能繼續工作。

五、 部署門檻：技術門檻的降低

• 過去：需要手動配置 VLLM 等，理解計算機基礎，流程繁瑣。
• 現在：利用 Hermes Agent 搭配雲端 API（如 DeepSeek V4.1 Flash），通過簡單指令即可自動配置參數、測試硬體並優化，門檻大幅下降。

六、 結論：本地 AI 是權衡與樂趣

• 非人人必需：普通用戶偶爾使用 AI 無需購買顯卡；企業用戶若有 API 報銷或 Token 計劃，也無需本地部署。
• 妥協與代價：本地 AI 意味著使用較弱模型、自行維護、硬體噪音與發熱。
• 個人選擇：對於講者而言，本地算力是基礎設施，用於處理創作、公司管理及雜務。
• 最終目的：本地部署是一種「開心」與「好玩」的體驗，如同組裝電腦或修車，享受折騰的過程。

工具 / 模型 / 名詞整理

• 模型/技術名稱：
• DeepSeek (提及 V4.1, flash)
• Qwen 3.8 27b
• Qwen 3.6 27B
• Qwen 3.8 Max
• Hermes Agent
• Codex
• GPT
• VLLM
• ninfer
• llama.cpp
• MTP (提及開啟 MTP 優化速度)
• 硬體/產品名稱：
• NAS
• 4090
• 3090
• 5090
• AMD AI PRO R9700
• 7900XTX
• Pro6000
• 服務/平台：
• OpenAI
• OpenCode
• Comfy UI
• memorybear (提及「用memorybear的記憶庫」)

操作流程整理

1. 評估需求與成本：

• 計算本地電費與雲端 API 費用的長期差異。
• 評估硬體初期投入與潛在保值/增值空間。
• 判斷是否為「剛需」，若非剛需則建議使用 API。

1. 硬體準備與選擇：

• 根據預算選擇顯卡（如 4090, 7900XTX, Pro6000 等）。
• 考慮顯卡價格波動與市場供需。

1. 模型選擇與配置：

• 選擇適合本地算力的模型（如 Qwen 3.8 27B）。
• 使用推理框架（如 ninfer, llama.cpp）並開啟相關優化（如 MTP）。
• 利用自動化工具（如 Hermes Agent）搭配雲端 API 進行自動配置參數、測試硬體並優化。

1. 部署與測試：

• 將 AI 部署於本地，限制其網絡訪問以保護隱私。
• 測試長鏈任務穩定性與推理速度。
• 驗證在雲端服務宕機時的備份能力。

1. 應用與維護：

• 將本地 AI 應用於實際場景（如 NAS 共享記憶庫、公司管理）。
• 監控硬體狀態（噪音、發熱）並進行維護。

值得注意的限制或風險

1. 硬體成本與回報週期長：初期購買高端顯卡成本高，若從零組裝可能需數年才能回本，且期間雲端模型可能更強。
2. 市場預測困難：硬體價格受供需影響，普通人難以預測漲跌，不建議盲目抄底。
3. 本地模型性能限制：相比雲端頂級模型，本地模型參數較少，可能需妥協於較弱模型。
4. 維護成本：需自行維護硬體，面臨噪音與發熱問題。
5. 隱私風險依然存在：若 Agent 擁有 root 權限，仍可能對本地文件系統構成威脅，需嚴格限制網絡訪問。

逐字稿辨識疑點

• Qwen 3.8 27b / Qwen 3.6 27B：逐字稿中多次提及「Qwen 3.8」與「Qwen 3.6」，需查證是否為聽寫錯誤或特定版本編號（通常 Qwen 版本號可能為 1.5, 2, 2.5 或 72B/14B 等參數規模，27B 參數規模較少見，疑點需查證）。
• AMD AI PRO R9700：AMD 顯卡型號通常為 RX 系列（如 RX 7900 XTX），「AI PRO R9700」疑點需查證是否為特定型號或聽寫錯誤。
• memorybear：逐字稿提及「用memorybear的記憶庫」，疑點需查證是否為特定軟體名稱或聽寫錯誤（可能指 Memory Bank 或其他工具）。
• MTP：在提及優化速度時提到「如果你不開 MTP 的話」，疑點需查證 MTP 在此語境下的具體含義（通常 MTP 指 Media Transfer Protocol，但在 AI 推理優化中可能指代其他技術或為聽寫錯誤）。
• DeepSeek V4.1 flash：DeepSeek 版本號通常為 V1, V2, R1 等，「V4.1 flash」疑點需查證是否為聽寫錯誤。
• Pro6000：提及「十几万一张的Pro6000」，疑點需查證是否指代 NVIDIA RTX 6000 Ada 或其他專業顯卡型號。

可延伸追問

1. 對於普通用戶，如何準確計算本地顯卡部署的「回本週期」？
2. 在本地部署中，如何具體配置網絡策略以確保 Agent 不會遍歷敏感文件？
3. Hermes Agent 與 Codex 在本地模型部署中的具體優缺點比較為何？
4. 隨著雲端模型性能不斷提升，本地模型在哪些特定場景下仍具有不可替代的優勢？
5. 顯卡市場價格波動對個人部署者的長期影響應如何評估？