影片筆記：Qwen3.8-Flash-Next 突然开源！125B 模型本地运行，显存不够硬盘来凑，居然真能跑！部署实测来了 | 零度解说

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=43 adjacent_duplicate: 與前一段完全重複，可能是滾動字幕或 ASR 重複）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

影片介紹了千問（Qwen）3.8 Flash Next 模型的開源與本地部署實測，該模型擁有 1250 億參數，採用多模態 MOE 架構，原生支持長上下文。影片演示了如何在顯存不足的情況下，利用 CPU 統一內存配置與硬盤空間（通過 MMAP 技術）運行該模型，並通過編寫遊戲代碼的案例驗證了其性能。

核心重點

• 模型規格：千問 3.8 Flash Next 擁有 1250 億參數，採用多模態 MOE（混合專家）架構，每個 Token 僅激活 60 億參數。原生支持 26.2 萬 Token 上下文，擴展後可達百萬 Token。
• 硬體突破：支持 CPU 統一內存配置，允許低顯存用戶（如 3090 顯卡或 MacBook Pro）利用硬盤空間運行大模型。
• 部署流程：從千問官方開源社區下載量化模型（Q 字版本），使用 TDM-FARDS 多線程下載器，安裝 NAMSAPP 工具，配置驅動與啟動腳本。
• 實測結果：在 64GB 內存、24GB 顯存環境下，內存佔用 90%，CPU 佔用 70%，顯存佔用 95%。通過 MMAP 技術讓模型在硬盤運行，成功生成並運行跑步遊戲代碼。

詳細大綱

1. 模型介紹

• 名稱：千問 3.8 Flash Next。
• 參數量：1250 億（筆記中稱為「優勢」，疑為參數）。
• 架構：多模態 MOE 架構，每個 Token 僅激活 60 億「優勢」（疑為參數）。
• 上下文長度：原生支持 26.2 萬 Token，擴展後可達百萬 Token。
• 核心特性：支持 CPU 統一內存配置，可用硬盤彌補顯存不足。

2. 下載與準備

• 下載來源：千問官方開源社區。
• 下載工具：TDM-FARDS（多線程下載器）。
• 模型格式：Q 字版本（量化版），分為多個分卷文件。

3. 本地部署步驟

• 步驟一：下載並解壓模型文件至桌面。
• 步驟二：獲取並安裝 NAMSAPP（最新版本 V01.4.8）。
• 選擇對應操作系統版本（Windows/MacOS/Android）。
• 根據顯卡類型選擇驅動版本：
• N考對應 COOTAD。
• A考對應 WGWG。
• 下載組程序與「想法去通文件」（疑為驅動程序或相關文件）。
• 步驟三：配置運行環境。
• 重命名組程序為 NAMASPP。
• 在根目錄創建模型文件夾（名稱疑為 Modus50GW...）。
• 將模型分卷文件放入模型文件夾。
• 下載並配置「一介啟的腳本」（疑為啟動腳本）。
• 修改腳本中的模型名稱以匹配實際下載文件。

4. 實測驗證

• 啟動服務：通過瀏覽器訪問本地地址。
• 功能測試：測試自我介紹與代碼生成能力（筆記中稱為「代碼推電能力」）。
• 硬件佔用情況：
• 內存：64GB 跑滿（90%）。
• CPU：佔用 70%。
• 顯存：24GB 佔用 95%。
• 運行效果：通過 MMAP 技術讓模型在硬盤上運行，生成跑步遊戲代碼並成功運行。

工具 / 模型 / 名詞整理

• 千問 3.8 Flash Next：影片介紹的 AI 大模型名稱。
• Qwen 4：筆記中提及的千問最新下一代架構。
• Cloud Opus 5：用於盲測的對比模型。
• GPT 506 速：用於盲測的對比模型。
• TDM-FARDS：多線程下載器。
• NAMSAPP：用於加載模型的開源項目/工具（疑為 Ollama 或類似工具）。
• COOTAD：N考（NVIDIA）顯卡驅動版本。
• WGWG：A考（AMD）顯卡驅動版本。
• MMAP：內存映射技術，用於讓模型在硬盤上運行。
• Hugging Face：模型下載平台（筆記中寫作 HanE Face）。
• Q 字版本：量化版模型格式。
• MOE：混合專家架構。

操作流程整理

1. 下載模型：前往千問官方開源社區，使用 TDM-FARDS 下載器下載 Q 字版本（量化版）的多分卷文件。
2. 安裝運行環境：

• 下載並安裝 NAMSAPP（V01.4.8）。
• 根據操作系統（Windows/MacOS/Android）選擇版本。
• 根據顯卡類型選擇驅動：N考選 COOTAD，A考選 WGWG。
• 下載「想法去通文件」。

1. 配置目錄結構：

• 將下載的模型文件解壓至桌面。
• 重命名組程序為 NAMASPP。
• 在根目錄創建模型文件夾（如 Modus50GW...）。
• 將模型分卷文件移入該文件夾。

1. 配置啟動腳本：

• 下載並配置「一介啟的腳本」。
• 修改腳本中的模型名稱以匹配實際文件。

1. 運行與測試：

• 啟動服務，通過瀏覽器訪問本地地址。
• 進行自我介紹與代碼生成測試。
• 監控硬件佔用（內存、CPU、顯存）。

值得注意的限制或風險

• 硬體資源佔用高：實測中內存佔用達 90%（64GB），CPU 佔用 70%，顯存佔用 95%（24GB），對硬體要求較高。
• 依賴硬盤讀寫速度：通過 MMAP 技術讓模型在硬盤運行，性能可能受硬盤讀寫速度影響。
• 工具名稱辨識困難：筆記中出現多個疑似聽寫錯誤的名稱（如 NAMSAPP, COOTAD, WGWG），實際操作時需確認正確工具名稱。
• segment 43 重複問題：原始分段筆記中 segment 43 與前一段完全重複，可能是滾動字幕或 ASR 重複，需留意內容是否冗余。

逐字稿辨識疑點

• 1250億優勢 / 60億優勢：逐字稿中多次使用「優勢」，疑為「參數」或「Params」的聽寫錯誤。
• 多模特的 MOE 緩活架構：「緩活」疑為「稀疏」或「混合」的聽寫錯誤；「多模特」疑為「多模態」。
• 26.2萬上小文：疑為「上下文」的聽寫錯誤。
• 代碼推電能力：疑為「代碼生成能力」或「代碼推理能力」的聽寫錯誤。
• 地谱：疑為「頂尖」或「強大」的聽寫錯誤。
• 繼續EAV格式：疑為「GGUF」格式或其他量化格式的聽寫錯誤。
• HanE Face：疑為「Hugging Face」的聽寫錯誤。
• NAMSAPP：逐字稿中多次出現此名稱，疑為「Ollama」、「LM Studio」或其他本地運行工具的聽寫錯誤。
• N考 / A考：疑為「NVIDIA（英偉達）」與「AMD」的簡稱或聽寫錯誤。
• 想法去通文件：疑為「驅動程序」或「相關文件」的聽寫錯誤。
• Modus50GWGWGW...：模型文件夾名稱重複且混亂，疑為聽寫錯誤或特定命名規則。
• 一介啟的腳本：疑為「啟動」腳本的聽寫錯誤。
• UD, IQ4, HS, Z：模型文件名中的量化參數，疑為「Q4_K_M」或其他量化格式的聽寫錯誤。
• 頭肯：逐字稿中多次出現「每秒是個頭肯」，疑為「Token」的聽寫錯誤。
• 顯著：逐字稿中多次出現「顯著」，疑為「顯存」的聽寫錯誤。
• MMAP：技術術語，疑為「mmap」或「Memory Mapping」的聽寫。
• 模型群眾：疑為「模型參數」或「模型權重」的聽寫錯誤。

可延伸追問

• NAMSAPP 工具的正確名稱是什麼？如何正確安裝和配置？
• COOTAD 和 WGWG 分別對應哪種具體的顯卡驅動版本？
• 在硬盤運行模型時，讀寫速度對生成速度（Token/s）的影響有多大？
• 如何優化 125B 參數模型在低顯存環境下的運行效率？
• Qwen 3.8 Flash Next 與 Qwen 4 在架構上有何具體差異？