# 影片筆記：Qwen3.8-Flash-Next 突然开源！125B 模型本地运行，显存不够硬盘来凑，居然真能跑！部署实测来了 | 零度解说


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿來源選擇未完全通過，仍先生成筆記（no_trustworthy_transcript_source；原始逐字稿保留；請進入精進模式確認來源。）
- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
- 待修正：逐字稿可先使用，但有待校正清單（segment=51 adjacent_duplicate: 與前一段完全重複，可能是滾動字幕或 ASR 重複；segment=98 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）
- 待修正：逐字稿品質檢核未完全通過（{'stage': 'canonical_transcript_quality', 'action': 'published_with_warning', 'signals': ['transcript_selection_not_resolved']}）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

影片介紹了千問（Qwen）最新開源的 **3.8 Flash NEXT** 大模型（125B 參數），演示了如何在低顯存環境（如 3090 或 MacBook Pro）下，利用 CPU 統一內存配置與硬盤空間，通過 **NannaCPP** 工具成功在本地部署並運行該模型，展現了其在代碼推理與 Agent 任務上的強大能力。

## 核心重點

*   **模型規格**：Qwen3.8 Flash NEXT 擁有 1250 億參數，採用多模態 MOE（混合專家）架構，每個 Token 僅激活 60 億參數。原生支持 26.2 萬上下文，擴展後可達百萬 Token。
*   **硬體突破**：支持 CPU 統一內存配置，允許顯存不足的用戶（如 3090 顯卡或 MacBook Pro）利用硬盤空間來運行模型。
*   **部署實測**：影片演示了從下載模型、安裝 NannaCPP 工具及驅動、配置啟動腳本到成功運行的完整流程。
*   **性能表現**：在 24GB 顯存、64GB 內存、2TB 硬盤的環境下，成功加載並運行 Qwen3.8FlashNex 的量化版本，速度表現良好。
*   **能力評估**：該模型在代碼推理和 Agent 性能上表現強悍，與 Cloud 的 Opus 5、GPT506 速進行盲測時效果意想不到。

## 詳細大綱

### 1. 模型介紹
*   **名稱**：千萬 3.8 Flash NEXT（Qwen3.8 Flash NEXT）。
*   **參數規模**：1250 億優勢（參數）。
*   **架構特點**：多模態 MOE 架構，每個 Token 僅激活 60 億優勢。
*   **上下文長度**：原生支持 26.2 萬，擴展後可達百萬 Token。
*   **核心特性**：支持 CPU 統一內存配置，可用硬盤湊顯存。

### 2. 本地部署實測步驟
*   **步驟一：下載模型**
    *   **來源**：零路坡（Hugging Face）。
    *   **格式**：GPT506 格式、多個量化版、HKFs 開源社區。
    *   **工具**：TDM-Fuzz 多線程下載器。
    *   **文件**：Q 字版本（分卷文件 1-3）。
*   **步驟二：安裝運行環境**
    *   **工具**：NAMS App 之外科學項目（NannaCPP），版本 V0.3。
    *   **系統支持**：MacOS、Linux、Android、Windows。
    *   **顯卡驅動配置**：
        *   N 考（NVIDIA）：選擇 COOTA 版本（CUDA）。
        *   A 考（AMD）：選擇 Wilker 版本（ROCm）。
    *   **操作**：下載組程序與顯卡驅動文件，解壓後將驅動放入 NannaCPP 根目錄。
*   **步驟三：配置與啟動**
    *   **工具**：一介起動腳本（啟動腳本）。
    *   **配置**：修改模型名稱參數（如 Qwen3.8FlashNexUDIQ4HS 分卷 1-3）。
    *   **執行**：將啟動腳本放入 NannaCPP 根目錄並運行。

### 3. 測試結果
*   **環境配置**：24GB 顯存，64GB 內存，2TB 硬盤。
*   **運行狀態**：成功加載 Qwen3.8FlashNex 的 UDQ4 亮化板。
*   **速度表現**：運行在硬盤上，速度可達每秒較高數值。

## 工具 / 模型 / 名詞整理

*   **模型名稱**：
    *   千萬 3.8 Flash NEXT（Qwen3.8 Flash NEXT）
    *   千萬 4（Qwen4）
    *   Cloud 的 Opus 5
    *   GPT506 速
*   **軟體/工具**：
    *   零路坡（Hugging Face）
    *   TDM-Fuzz（多線程下載器）
    *   NAMS App 之外科學項目（NannaCPP）
    *   一介起動腳本（啟動腳本）
*   **硬體/驅動**：
    *   3090
    *   MacBook Pro
    *   COOTA（CUDA，NVIDIA 顯卡驅動）
    *   Wilker（ROCm，AMD 顯卡驅動）
*   **其他專有名詞**：
    *   MOE（混合專家架構）
    *   Token
    *   GPT506 格式
    *   HKFs
    *   Q 字版本
    *   UDQ4 亮化板

## 操作流程整理

1.  **下載模型文件**：
    *   使用 TDM-Fuzz 多線程下載器，從零路坡（Hugging Face）下載 Qwen3.8 Flash NEXT 模型。
    *   獲取 GPT506 格式或 HKFs 開源社區的量化版本，包含 Q 字版本的分卷文件（1-3）。
2.  **安裝運行環境**：
    *   下載 NannaCPP（NAMS App 之外科學項目）V0.3 版本。
    *   根據顯卡類型選擇驅動：
        *   NVIDIA 顯卡：下載 COOTA（CUDA）版本。
        *   AMD 顯卡：下載 Wilker（ROCm）版本。
    *   解壓組程序與顯卡驅動文件，將驅動文件放入 NannaCPP 根目錄。
3.  **配置與啟動**：
    *   準備一介起動腳本（啟動腳本）。
    *   修改腳本中的模型名稱參數，指向已下載的 Qwen3.8FlashNexUDIQ4HS 分卷文件（1-3）。
    *   將啟動腳本放入 NannaCPP 根目錄並執行運行。
4.  **驗證結果**：
    *   確認在 24GB 顯存、64GB 內存、2TB 硬盤環境下，模型成功加載 UDQ4 亮化板。
    *   觀察運行速度，確認在硬盤運行下的每秒處理數值。

## 值得注意的限制或風險

*   **硬體依賴**：雖然支持低顯存運行，但仍需具備一定的內存（如 64GB）和硬盤空間（如 2TB）來支持 CPU 統一內存配置。
*   **驅動兼容性**：需嚴格根據顯卡類型（NVIDIA 或 AMD）選擇對應的驅動版本（COOTA/CUDA 或 Wilker/ROCm），否則可能無法運行。
*   **量化格式**：模型需使用特定的量化格式（如 UDQ4 亮化板）才能在本地環境中有效運行。
*   **運行速度**：雖然成功運行，但運行在硬盤上可能影響推理速度，需評估實際應用場景對速度的要求。

## 逐字稿辨識疑點

*   **segment 51**: adjacent_duplicate — 與前一段完全重複，可能是滾動字幕或 ASR 重複。
*   **segment 98**: unnatural_sentence_boundary — 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語。
*   **segment 218-227**: adjacent_duplicate — 與前一段完全重複，可能是滾動字幕或 ASR 重複。
*   **千萬 3.8 Flash NEXT**：逐字稿中多次出現「千萬」，疑為「千問」（Qwen）的聽寫錯誤，但依規則保留原樣。
*   **1250 億優勢 / 60 億優勢**：疑為「參數」的聽寫錯誤。
*   **多模特的 MOE 緩活架構**：疑為「多模態的 MOE 架構」或類似表述，「緩活」疑為聽寫錯誤。
*   **Cloud 的 Opus 5**：疑為特定模型或產品名稱，需查證是否為「Claude Opus」或其他模型。
*   **GPT506 速 / GPT506 格式**：疑為「GPT-4o」或特定版本名稱的聽寫錯誤，需查證。
*   **零路坡**：疑為「Hugging Face」的聽寫錯誤。
*   **NAMS App 之外科學項目**：疑為「NannaCPP」或相關開源項目的聽寫錯誤。
*   **N 考 / A 考**：疑為「NVIDIA」與「AMD」的聽寫錯誤。
*   **COOTA / Wilker**：疑為「CUDA」與「ROCm」的聽寫錯誤。
*   **一介起動腳本**：疑為「啟動腳本」的聽寫錯誤。
*   **UDIQ4HS**：疑為模型量化格式名稱（如 Q4_K_M 等）的聽寫錯誤。
*   **HKFs**：疑為「Hugging Face」或特定文件格式的聽寫錯誤。
*   **電視器**：在測試步驟中提到「打開這個電視器」，疑為「瀏覽器」或「終端機」的聽寫錯誤。
*   **NammaCPP 組成序**：疑為「NannaCPP 組程序」或「可執行文件」的聽寫錯誤。
*   **重明明**：疑為「重命名」的聽寫錯誤。
*   **解架**：疑為「解壓」的聽寫錯誤。
*   **去通文件**：疑為「驅動文件」的聽寫錯誤。
*   **捧到**：疑為「達到」或「跑到」的聽寫錯誤。
*   **地譜**：疑為「頂尖」或「強大」的聽寫錯誤。

## 可延伸追問

*   Qwen3.8 Flash NEXT 的 MOE 架構在實際推理中，如何平衡激活參數數量與整體性能？
*   使用 CPU 統一內存配置運行大模型時，硬盤讀寫速度對推理延遲的影響有多大？
*   NannaCPP 工具在不同操作系統（MacOS, Linux, Windows）下的安裝與配置差異為何？
*   與 Cloud 的 Opus 5 和 GPT506 速相比，Qwen3.8 Flash NEXT 在代碼生成和 Agent 任務上的具體優勢是什麼？
*   對於普通用戶而言，如何評估本地運行 125B 參數模型的硬體門檻與成本效益？