影片筆記：Qwen3.8-Flash-Next 突然开源！125B 模型本地运行，显存不够硬盘来凑，居然真能跑！部署实测来了 | 零度解说

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿來源選擇未完全通過，仍先生成筆記（no_trustworthy_transcript_source；原始逐字稿保留；請進入精進模式確認來源。）
• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=51 adjacent_duplicate: 與前一段完全重複，可能是滾動字幕或 ASR 重複；segment=98 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）
• 待修正：逐字稿品質檢核未完全通過（{'stage': 'canonical_transcript_quality', 'action': 'published_with_warning', 'signals': ['transcript_selection_not_resolved']}）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片介紹了千問（Qwen）最新開源的 3.8 Flash NEXT 大模型（125B 參數），演示了如何在低顯存環境（如 3090 或 MacBook Pro）下，利用 CPU 統一內存配置與硬盤空間，通過 NannaCPP 工具成功在本地部署並運行該模型，展現了其在代碼推理與 Agent 任務上的強大能力。

核心重點

• 模型規格：Qwen3.8 Flash NEXT 擁有 1250 億參數，採用多模態 MOE（混合專家）架構，每個 Token 僅激活 60 億參數。原生支持 26.2 萬上下文，擴展後可達百萬 Token。
• 硬體突破：支持 CPU 統一內存配置，允許顯存不足的用戶（如 3090 顯卡或 MacBook Pro）利用硬盤空間來運行模型。
• 部署實測：影片演示了從下載模型、安裝 NannaCPP 工具及驅動、配置啟動腳本到成功運行的完整流程。
• 性能表現：在 24GB 顯存、64GB 內存、2TB 硬盤的環境下，成功加載並運行 Qwen3.8FlashNex 的量化版本，速度表現良好。
• 能力評估：該模型在代碼推理和 Agent 性能上表現強悍，與 Cloud 的 Opus 5、GPT506 速進行盲測時效果意想不到。

詳細大綱

1. 模型介紹

• 名稱：千萬 3.8 Flash NEXT（Qwen3.8 Flash NEXT）。
• 參數規模：1250 億優勢（參數）。
• 架構特點：多模態 MOE 架構，每個 Token 僅激活 60 億優勢。
• 上下文長度：原生支持 26.2 萬，擴展後可達百萬 Token。
• 核心特性：支持 CPU 統一內存配置，可用硬盤湊顯存。

2. 本地部署實測步驟

• 步驟一：下載模型
• 來源：零路坡（Hugging Face）。
• 格式：GPT506 格式、多個量化版、HKFs 開源社區。
• 工具：TDM-Fuzz 多線程下載器。
• 文件：Q 字版本（分卷文件 1-3）。
• 步驟二：安裝運行環境
• 工具：NAMS App 之外科學項目（NannaCPP），版本 V0.3。
• 系統支持：MacOS、Linux、Android、Windows。
• 顯卡驅動配置：
• N 考（NVIDIA）：選擇 COOTA 版本（CUDA）。
• A 考（AMD）：選擇 Wilker 版本（ROCm）。
• 操作：下載組程序與顯卡驅動文件，解壓後將驅動放入 NannaCPP 根目錄。
• 步驟三：配置與啟動
• 工具：一介起動腳本（啟動腳本）。
• 配置：修改模型名稱參數（如 Qwen3.8FlashNexUDIQ4HS 分卷 1-3）。
• 執行：將啟動腳本放入 NannaCPP 根目錄並運行。

3. 測試結果

• 環境配置：24GB 顯存，64GB 內存，2TB 硬盤。
• 運行狀態：成功加載 Qwen3.8FlashNex 的 UDQ4 亮化板。
• 速度表現：運行在硬盤上，速度可達每秒較高數值。

工具 / 模型 / 名詞整理

• 模型名稱：
• 千萬 3.8 Flash NEXT（Qwen3.8 Flash NEXT）
• 千萬 4（Qwen4）
• Cloud 的 Opus 5
• GPT506 速
• 軟體/工具：
• 零路坡（Hugging Face）
• TDM-Fuzz（多線程下載器）
• NAMS App 之外科學項目（NannaCPP）
• 一介起動腳本（啟動腳本）
• 硬體/驅動：
• 3090
• MacBook Pro
• COOTA（CUDA，NVIDIA 顯卡驅動）
• Wilker（ROCm，AMD 顯卡驅動）
• 其他專有名詞：
• MOE（混合專家架構）
• Token
• GPT506 格式
• HKFs
• Q 字版本
• UDQ4 亮化板

操作流程整理

1. 下載模型文件：

• 使用 TDM-Fuzz 多線程下載器，從零路坡（Hugging Face）下載 Qwen3.8 Flash NEXT 模型。
• 獲取 GPT506 格式或 HKFs 開源社區的量化版本，包含 Q 字版本的分卷文件（1-3）。

1. 安裝運行環境：

• 下載 NannaCPP（NAMS App 之外科學項目）V0.3 版本。
• 根據顯卡類型選擇驅動：
• NVIDIA 顯卡：下載 COOTA（CUDA）版本。
• AMD 顯卡：下載 Wilker（ROCm）版本。
• 解壓組程序與顯卡驅動文件，將驅動文件放入 NannaCPP 根目錄。

1. 配置與啟動：

• 準備一介起動腳本（啟動腳本）。
• 修改腳本中的模型名稱參數，指向已下載的 Qwen3.8FlashNexUDIQ4HS 分卷文件（1-3）。
• 將啟動腳本放入 NannaCPP 根目錄並執行運行。

1. 驗證結果：

• 確認在 24GB 顯存、64GB 內存、2TB 硬盤環境下，模型成功加載 UDQ4 亮化板。
• 觀察運行速度，確認在硬盤運行下的每秒處理數值。

值得注意的限制或風險

• 硬體依賴：雖然支持低顯存運行，但仍需具備一定的內存（如 64GB）和硬盤空間（如 2TB）來支持 CPU 統一內存配置。
• 驅動兼容性：需嚴格根據顯卡類型（NVIDIA 或 AMD）選擇對應的驅動版本（COOTA/CUDA 或 Wilker/ROCm），否則可能無法運行。
• 量化格式：模型需使用特定的量化格式（如 UDQ4 亮化板）才能在本地環境中有效運行。
• 運行速度：雖然成功運行，但運行在硬盤上可能影響推理速度，需評估實際應用場景對速度的要求。

逐字稿辨識疑點

• segment 51: adjacent_duplicate — 與前一段完全重複，可能是滾動字幕或 ASR 重複。
• segment 98: unnatural_sentence_boundary — 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語。
• segment 218-227: adjacent_duplicate — 與前一段完全重複，可能是滾動字幕或 ASR 重複。
• 千萬 3.8 Flash NEXT：逐字稿中多次出現「千萬」，疑為「千問」（Qwen）的聽寫錯誤，但依規則保留原樣。
• 1250 億優勢 / 60 億優勢：疑為「參數」的聽寫錯誤。
• 多模特的 MOE 緩活架構：疑為「多模態的 MOE 架構」或類似表述，「緩活」疑為聽寫錯誤。
• Cloud 的 Opus 5：疑為特定模型或產品名稱，需查證是否為「Claude Opus」或其他模型。
• GPT506 速 / GPT506 格式：疑為「GPT-4o」或特定版本名稱的聽寫錯誤，需查證。
• 零路坡：疑為「Hugging Face」的聽寫錯誤。
• NAMS App 之外科學項目：疑為「NannaCPP」或相關開源項目的聽寫錯誤。
• N 考 / A 考：疑為「NVIDIA」與「AMD」的聽寫錯誤。
• COOTA / Wilker：疑為「CUDA」與「ROCm」的聽寫錯誤。
• 一介起動腳本：疑為「啟動腳本」的聽寫錯誤。
• UDIQ4HS：疑為模型量化格式名稱（如 Q4_K_M 等）的聽寫錯誤。
• HKFs：疑為「Hugging Face」或特定文件格式的聽寫錯誤。
• 電視器：在測試步驟中提到「打開這個電視器」，疑為「瀏覽器」或「終端機」的聽寫錯誤。
• NammaCPP 組成序：疑為「NannaCPP 組程序」或「可執行文件」的聽寫錯誤。
• 重明明：疑為「重命名」的聽寫錯誤。
• 解架：疑為「解壓」的聽寫錯誤。
• 去通文件：疑為「驅動文件」的聽寫錯誤。
• 捧到：疑為「達到」或「跑到」的聽寫錯誤。
• 地譜：疑為「頂尖」或「強大」的聽寫錯誤。

可延伸追問

• Qwen3.8 Flash NEXT 的 MOE 架構在實際推理中，如何平衡激活參數數量與整體性能？
• 使用 CPU 統一內存配置運行大模型時，硬盤讀寫速度對推理延遲的影響有多大？
• NannaCPP 工具在不同操作系統（MacOS, Linux, Windows）下的安裝與配置差異為何？
• 與 Cloud 的 Opus 5 和 GPT506 速相比，Qwen3.8 Flash NEXT 在代碼生成和 Agent 任務上的具體優勢是什麼？
• 對於普通用戶而言，如何評估本地運行 125B 參數模型的硬體門檻與成本效益？