影片筆記：MOSS-VL-Realtime 本地部署与实时能力实测

<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->

⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

• 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
• 待修正：逐字稿可先使用，但有待校正清單（segment=59 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=69 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

一句話總結

講者演示了 MOS 智能推出的 MOSVIA Real Time（實時版）模型在本地環境的部署與測試，該模型具備「邊看邊答」、「主動沉默」及「動態更新」能力，能隨視頻流推進即時補充描述並根據新畫面修正答案；測試使用雙張 4070Ti Super 顯卡成功運行 4-bit 量化版本，並指出當前版本在短動作捕捉與原始輸出過濾上仍存在限制。

核心重點

• 模型核心特性：MOSVIA Real Time 專為持續視頻流設計，核心區別於傳統視頻問答在於其「邊看邊答」、「主動沉默」及「動態更新」能力。它允許在視頻播放過程中插入問題，並能根據後續進入的畫面補充或修正判斷。
• 本地部署實測：講者在本地環境成功部署該模型，硬體配置為兩張 4070Ti Super 顯卡（因無 R4G 顯卡，改用此配置讓程序自動拆分模型）。運行 4-bit 量化版本額外佔用約 13.3G 顯存。
• 功能表現驗證：
• 主動沉默：當視頻畫面未發生變化時，終端不會增加描述。
• 動態更新：測試中，10 秒時提問人數回答為 2 人；隨後新人物進入，模型自動更新答案為 3 人；26 秒時提問變化，模型結合新畫面補充描述。
• 上下文能力：官方標註上下文為 256,000，這並非固定的視頻分鐘數，而是取決於抽幀密度與對話長度。
• 產品線區分與應用建議：
• 基礎版：適合繼續訓練。
• 指令版：面向完整視頻的深入問答，適合事後總結。
• 實時版：專門面對持續視頻流，適合在視頻進行中觀察、提問並更新判斷。
• 當前限制：每秒取一幀可能漏掉短動作（如擊打）；長上下文消耗緩存；原始輸出需經過過濾才能應用於實際場景。

詳細大綱

1. 模型介紹與特性

• 名稱與定位：MOSVIA Real Time（實時版），由 MOS 智能推出。
• 參數規模：110 億參數開放全入模型（註：聽寫疑點）。
• 核心區別：
• 與傳統需等待視頻結束後再統一回答的普通視頻問答不同。
• 具備「邊看邊答」、「主動沉默」及「動態更新」能力。
• 在新畫面進入時同步進行理解與文字生成。
• 上下文機制：官方標註 256,000 上下文，非固定視頻分鐘數，取決於抽幀密度與對話長度。

2. 產品線區分

• 基礎版：適合繼續訓練。
• 指令版：面向完整視頻的深入問答。
• 實時版：專門面對持續視頻流。

3. 本地部署與硬體測試

• 硬體配置：
• 講者使用兩張 4070Ti Super 顯卡。
• 原因：無 R4G 顯卡（官方設計參考顯卡），改用此配置讓程序自動拆分模型。
• 部署步驟：

1. 拉取倉庫。
2. 創建獨立環境。
3. 安裝依賴。
4. 下載官方量化權重。
5. 啟動推理程序。

• 顯存佔用：雙卡配置額外佔用約 13.3G 顯存。
• 結果：本地部署成功跑通。

4. 功能測試與表現

• 測試視頻：30 多秒咖啡店視頻。
• 行為表現：
• 隨視頻推進不斷補充描述。
• 未發生變化時終端不增加描述（主動沉默）。
• 新人物進入後文字重新出現。
• 動態問答測試細節：
• 10 秒時提問人數：回答 2 人。
• 7 秒後（註：時間線描述可能有誤或指後續畫面）新人物進入，模型自動更新答案為 3 人。
• 26 秒時提問變化：模型結合新畫面補充描述。

5. 限制與應用建議

• 限制：
• 每秒取一幀可能漏掉短動作（如擊打）。
• 長上下文消耗緩存。
• 原始輸出需過濾控制標記。
• 應用場景：直播輔助、實驗觀察、流程提醒、屏幕任務監控。
• 建議：
• 若任務僅需事後總結應選指令版。
• 若需在視頻進行中觀察、提問並更新判斷，則實時版更為合適。

工具 / 模型 / 名詞整理

• MOSVIA Real Time：實時版模型，專為處理持續進入的視頻流設計。文中亦稱為「實時版」、「實施版」（疑為聽寫差異）。
• MOS 智能：模型開發方，文中亦稱為「MOS智能」。
• 110 億參數開放全入模型：模型參數規模描述，「全入」疑為聽寫錯誤。
• 4 比特量化版本：本地部署使用的模型權重格式。
• R4G 顯卡：官方設計參考顯卡，常見型號中無此標準名稱。
• 4070Ti Super：講者本地測試使用的顯卡型號。
• 256000 上下文：官方標註的上下文長度指標。
• Mousewell Real-Time：文末提及名稱，疑為 MOSVIA 的聽寫錯誤或別稱。

操作流程整理

1. 準備環境：拉取倉庫，創建獨立環境，安裝依賴。
2. 獲取權重：下載官方量化權重。
3. 硬體配置：配置兩張 4070Ti Super 顯卡（模擬 R4G 顯卡的拆分運行）。
4. 啟動推理：啟動推理程序，成功跑通本地部署。
5. 實時測試：

• 輸入視頻流（如咖啡店視頻）。
• 觀察模型隨視頻推進的動態描述與主動沉默行為。
• 在特定時間點（如 10 秒、26 秒）插入問題，驗證模型是否結合新畫面動態更新答案。

值得注意的限制或風險

• 短動作捕捉缺失：每秒取一幀的頻率可能導致漏掉短動作（例如擊打動作）。
• 資源消耗：長上下文會消耗大量緩存；本地部署需額外佔用約 13.3G 顯存。
• 輸出處理需求：原始輸出包含控制標記，需經過過濾才能應用於實際場景。
• 時間線描述模糊：筆記中關於「7 秒後」新人物進入的描述與前文「10 秒時」的時間線可能存在邏輯衝突或聽寫誤差，需參考原始逐字稿確認。

逐字稿辨識疑點

• 「全入模型」：逐字稿中出現「開放全入模型」，語意不明，疑為「全輸入」或特定技術術語的聽寫錯誤。
• 「實施版」：文中多次出現「實施版」，結合上下文「實時版」的語境，極大機率為「實時版」的聽寫錯誤。
• 「R4G 顯卡」：常見顯卡型號中無此標準名稱，疑為「RTX 4090」或其他型號的聽寫錯誤，或為特定內部代號。
• 「電源」：在測試描述中出現「柜台后的电源进入画面」，語意不通，疑為「人員」或特定人物名稱的聽寫錯誤。
• 「Mousewell Real-Time」：與前文「MOSVIA Real Time」及「MOS 智能」名稱不一致，疑為聽寫錯誤。
• 「告紧规则」：文中提到「真正上线是告紧规则」，語意不明，疑為「告警規則」的聽寫錯誤。
• 「人工复合」：文中提到「权限控制和人工复合仍然要由应用层补上」，疑為「人工複核」或「人工審核」的聽寫錯誤。
• 「抽针越密」：文中提到「抽针越密」，疑為「抽幀越密」的聽寫錯誤。
• 「消费机显卡」：文中提到「消费机显卡能不能把它跑起来」，疑為「消費級顯卡」的聽寫錯誤。

可延伸追問

• MOSVIA Real Time 的 256,000 上下文具體是如何計算的？抽幀密度與對話長度對上下文長度的影響比例為何？
• 本地部署時，兩張 4070Ti Super 顯卡的模型拆分機制具體是如何運作的？是否有性能損耗？
• 原始輸出的控制標記具體包含哪些內容？過濾的標準與方法為何？
• 針對「每秒取一幀可能漏掉短動作」的限制，是否有建議的解決方案或更高的幀率測試結果？
• 「R4G 顯卡」作為官方設計參考顯卡，其具體規格與 4070Ti Super 相比有何優勢？