影片筆記：AirLLM：讓70B大模型在4GB顯卡上執行

一句話總結

影片介紹由 Aon 提出的技術，透過「逐層搬運」策略，將 700E 參數的大模型壓縮至單張 4GB 顯存即可執行，雖受磁碟吞吐影響速度，但大幅降低了測試超大模型的硬體門檻。

核心重點

1. 極致硬體壓縮：成功將 700E 參數的大模型運行於僅有 4GB 顯存的 GPU 上。
2. 逐層搬運架構：採用「逐層搬運」策略，一次僅將所需的一層送入 GPU，而非一次性載入全部權重。
3. 效能優化機制：透過切分快取權重、預取技術，以及重疊磁碟載入與運算過程，來彌補頻寬不足。
4. 降低測試門檻：讓小團隊無需租賃多卡主機，即可在工作站測試超大模型。
5. 新特性支援：新版技術支援 FP8 格式與西數 Mod，官方聲稱 KIMI-K3 可在低於 4GB 顯存下運行。
6. 開發建議：建議在 CUDA 或 Apple 晶片上探索超大模型前，先以小模型驗證品質與速度。

詳細大綱

1. 技術核心概念

• 目標：將 700E 參數模型運行於 4GB 顯存。
• 方法：由 Aon 提出的「逐層搬運」架構。
• 機制：一次只傳送需要的一層至 GPU。
• 效益：單張 4GB 顯卡即可執行，小團隊無需租賃多卡主機即可在工作站測試。

1. 技術實現細節

• 載入方式：使用 AutoModel 載入模型平台的模型。
• 優化策略：切分快取權重、預取、重疊磁碟載入與運算。
• 版本支援：新版支援 FP8 與西數 Mod。
• 官方數據：KIMI-K3 可低於 4GB 顯存運行。

1. 市場反應與代價

• 關注度：GitHub 增加 1716 顆星，低顯存推論重新受關注。
• 性能代價：速度受磁疊吞吐影響，需進行多次切分，且需足夠儲存空間。

1. 應用建議

• 開發路徑：在 CUDA 或 Apple 晶片上探索超大模型前，應先以小模型驗證品質與速度。
• 擴展策略：將本地實驗成果推向更大尺度。

工具 / 模型 / 名詞整理

• 模型/參數規格：700E 參數、KIMI-K3
• 技術/架構名稱：Aon、逐層搬運
• 軟體/函式庫：AutoModel
• 硬體/平台：4GB 顯卡、GPU、工作站、多卡主機、CUDA、Apple 晶片
• 格式/技術標準：FP8、西數 Mod
• 平台：GitHub

操作流程整理

1. 環境準備：確認硬體具備 4GB 顯存的 GPU，並確保有足夠的儲存空間以應對多次切分的需求。
2. 模型載入：使用 AutoModel 函式庫載入目標模型（如 KIMI-K3）。
3. 架構配置：啟用「逐層搬運」策略，設定系統一次僅將單一層傳送至 GPU。
4. 效能優化：

• 啟用切分快取權重。
• 設定預取機制。
• 配置重疊磁疊載入與運算，以減少等待時間。

1. 格式選擇：若支援，可選擇 FP8 格式或西數 Mod 以進一步優化。
2. 驗證與擴展：

• 先在本地或小規模環境驗證模型品質與速度。
• 確認在 CUDA 或 Apple 晶片上的運行狀況。
• 將實驗成果推向更大尺度應用。

值得注意的限制或風險

1. 速度瓶頸：由於需要多次切分模型並依賴磁疊吞吐，整體推論速度可能受到顯著影響。
2. 儲存空間需求：多次切分與預取機制可能需要足夠的儲存空間來暫存權重。
3. 硬體依賴：雖降低顯存需求，但仍需依賴特定的硬體平台（如 CUDA 或 Apple 晶片）進行高效能運算。
4. 參數規模疑義：文中提到的「700E 參數」規模極大，若為聽寫錯誤可能影響對模型實際規模的理解。

逐字稿辨識疑點

• 700E 參數：參數數量「700E」極大，需查證是否為聽寫錯誤（如 7B, 70B, 700B 等）或特定縮寫。
• Aon：技術提出者或架構名稱，需查證是否為正確名稱（如 Aone, Aeon 或其他相關技術名稱）。
• 西數 Mod：技術支援項目，需查證是否為「Weight Quantization」（權重量化）或其他技術名稱的聽寫錯誤。
• KIMI-K3：模型名稱，需查證是否為正確模型版本或產品名稱。
• 磁疊：文中多次出現「磁疊載入」、「磁疊吞吐」，疑為「磁碟」（Disk）的聽寫錯誤，但依規則保留原樣。
• 少次切分：文中提到「少次切分需足夠儲存空間」，語意稍顯模糊，疑為「多次切分」或特定術語，需查證。

可延伸追問

1. 「700E 參數」具體是指多少億參數？是否為影片口誤或特定縮寫？
2. 「Aon」技術架構的完整名稱為何？是否有官方文檔或原始碼可供參考？
3. 「西數 Mod」具體指什麼技術標準？是否為業界通用的權重量化格式？
4. KIMI-K3 模型在低於 4GB 顯存下的實際推論速度與品質表現如何？
5. 對於一般開發者，如何在 CUDA 或 Apple 晶片上最佳化「逐層搬運」的效能？
6. 除了 4GB 顯存，還有其他低顯存推論的替代方案嗎？