# 影片筆記：MOSS-VL-Realtime 本地部署与实时能力实测


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
- 待修正：逐字稿可先使用，但有待校正清單（segment=59 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=69 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

## 一句話總結

講者演示了 MOS 智能推出的 **MOSVIA Real Time**（實時版）模型在本地環境的部署與測試，該模型具備「邊看邊答」、「主動沉默」及「動態更新」能力，能隨視頻流推進即時補充描述並根據新畫面修正答案；測試使用雙張 4070Ti Super 顯卡成功運行 4-bit 量化版本，並指出當前版本在短動作捕捉與原始輸出過濾上仍存在限制。

## 核心重點

*   **模型核心特性**：MOSVIA Real Time 專為持續視頻流設計，核心區別於傳統視頻問答在於其「邊看邊答」、「主動沉默」及「動態更新」能力。它允許在視頻播放過程中插入問題，並能根據後續進入的畫面補充或修正判斷。
*   **本地部署實測**：講者在本地環境成功部署該模型，硬體配置為兩張 **4070Ti Super** 顯卡（因無 R4G 顯卡，改用此配置讓程序自動拆分模型）。運行 4-bit 量化版本額外佔用約 13.3G 顯存。
*   **功能表現驗證**：
    *   **主動沉默**：當視頻畫面未發生變化時，終端不會增加描述。
    *   **動態更新**：測試中，10 秒時提問人數回答為 2 人；隨後新人物進入，模型自動更新答案為 3 人；26 秒時提問變化，模型結合新畫面補充描述。
    *   **上下文能力**：官方標註上下文為 256,000，這並非固定的視頻分鐘數，而是取決於抽幀密度與對話長度。
*   **產品線區分與應用建議**：
    *   **基礎版**：適合繼續訓練。
    *   **指令版**：面向完整視頻的深入問答，適合事後總結。
    *   **實時版**：專門面對持續視頻流，適合在視頻進行中觀察、提問並更新判斷。
*   **當前限制**：每秒取一幀可能漏掉短動作（如擊打）；長上下文消耗緩存；原始輸出需經過過濾才能應用於實際場景。

## 詳細大綱

### 1. 模型介紹與特性
*   **名稱與定位**：MOSVIA Real Time（實時版），由 MOS 智能推出。
*   **參數規模**：110 億參數開放全入模型（註：聽寫疑點）。
*   **核心區別**：
    *   與傳統需等待視頻結束後再統一回答的普通視頻問答不同。
    *   具備「邊看邊答」、「主動沉默」及「動態更新」能力。
    *   在新畫面進入時同步進行理解與文字生成。
*   **上下文機制**：官方標註 256,000 上下文，非固定視頻分鐘數，取決於抽幀密度與對話長度。

### 2. 產品線區分
*   **基礎版**：適合繼續訓練。
*   **指令版**：面向完整視頻的深入問答。
*   **實時版**：專門面對持續視頻流。

### 3. 本地部署與硬體測試
*   **硬體配置**：
    *   講者使用兩張 4070Ti Super 顯卡。
    *   原因：無 R4G 顯卡（官方設計參考顯卡），改用此配置讓程序自動拆分模型。
*   **部署步驟**：
    1.  拉取倉庫。
    2.  創建獨立環境。
    3.  安裝依賴。
    4.  下載官方量化權重。
    5.  啟動推理程序。
*   **顯存佔用**：雙卡配置額外佔用約 13.3G 顯存。
*   **結果**：本地部署成功跑通。

### 4. 功能測試與表現
*   **測試視頻**：30 多秒咖啡店視頻。
*   **行為表現**：
    *   隨視頻推進不斷補充描述。
    *   未發生變化時終端不增加描述（主動沉默）。
    *   新人物進入後文字重新出現。
*   **動態問答測試細節**：
    *   10 秒時提問人數：回答 2 人。
    *   7 秒後（註：時間線描述可能有誤或指後續畫面）新人物進入，模型自動更新答案為 3 人。
    *   26 秒時提問變化：模型結合新畫面補充描述。

### 5. 限制與應用建議
*   **限制**：
    *   每秒取一幀可能漏掉短動作（如擊打）。
    *   長上下文消耗緩存。
    *   原始輸出需過濾控制標記。
*   **應用場景**：直播輔助、實驗觀察、流程提醒、屏幕任務監控。
*   **建議**：
    *   若任務僅需事後總結應選指令版。
    *   若需在視頻進行中觀察、提問並更新判斷，則實時版更為合適。

## 工具 / 模型 / 名詞整理

*   **MOSVIA Real Time**：實時版模型，專為處理持續進入的視頻流設計。文中亦稱為「實時版」、「實施版」（疑為聽寫差異）。
*   **MOS 智能**：模型開發方，文中亦稱為「MOS智能」。
*   **110 億參數開放全入模型**：模型參數規模描述，「全入」疑為聽寫錯誤。
*   **4 比特量化版本**：本地部署使用的模型權重格式。
*   **R4G 顯卡**：官方設計參考顯卡，常見型號中無此標準名稱。
*   **4070Ti Super**：講者本地測試使用的顯卡型號。
*   **256000 上下文**：官方標註的上下文長度指標。
*   **Mousewell Real-Time**：文末提及名稱，疑為 MOSVIA 的聽寫錯誤或別稱。

## 操作流程整理

1.  **準備環境**：拉取倉庫，創建獨立環境，安裝依賴。
2.  **獲取權重**：下載官方量化權重。
3.  **硬體配置**：配置兩張 4070Ti Super 顯卡（模擬 R4G 顯卡的拆分運行）。
4.  **啟動推理**：啟動推理程序，成功跑通本地部署。
5.  **實時測試**：
    *   輸入視頻流（如咖啡店視頻）。
    *   觀察模型隨視頻推進的動態描述與主動沉默行為。
    *   在特定時間點（如 10 秒、26 秒）插入問題，驗證模型是否結合新畫面動態更新答案。

## 值得注意的限制或風險

*   **短動作捕捉缺失**：每秒取一幀的頻率可能導致漏掉短動作（例如擊打動作）。
*   **資源消耗**：長上下文會消耗大量緩存；本地部署需額外佔用約 13.3G 顯存。
*   **輸出處理需求**：原始輸出包含控制標記，需經過過濾才能應用於實際場景。
*   **時間線描述模糊**：筆記中關於「7 秒後」新人物進入的描述與前文「10 秒時」的時間線可能存在邏輯衝突或聽寫誤差，需參考原始逐字稿確認。

## 逐字稿辨識疑點

*   **「全入模型」**：逐字稿中出現「開放全入模型」，語意不明，疑為「全輸入」或特定技術術語的聽寫錯誤。
*   **「實施版」**：文中多次出現「實施版」，結合上下文「實時版」的語境，極大機率為「實時版」的聽寫錯誤。
*   **「R4G 顯卡」**：常見顯卡型號中無此標準名稱，疑為「RTX 4090」或其他型號的聽寫錯誤，或為特定內部代號。
*   **「電源」**：在測試描述中出現「柜台后的电源进入画面」，語意不通，疑為「人員」或特定人物名稱的聽寫錯誤。
*   **「Mousewell Real-Time」**：與前文「MOSVIA Real Time」及「MOS 智能」名稱不一致，疑為聽寫錯誤。
*   **「告紧规则」**：文中提到「真正上线是告紧规则」，語意不明，疑為「告警規則」的聽寫錯誤。
*   **「人工复合」**：文中提到「权限控制和人工复合仍然要由应用层补上」，疑為「人工複核」或「人工審核」的聽寫錯誤。
*   **「抽针越密」**：文中提到「抽针越密」，疑為「抽幀越密」的聽寫錯誤。
*   **「消费机显卡」**：文中提到「消费机显卡能不能把它跑起来」，疑為「消費級顯卡」的聽寫錯誤。

## 可延伸追問

*   MOSVIA Real Time 的 256,000 上下文具體是如何計算的？抽幀密度與對話長度對上下文長度的影響比例為何？
*   本地部署時，兩張 4070Ti Super 顯卡的模型拆分機制具體是如何運作的？是否有性能損耗？
*   原始輸出的控制標記具體包含哪些內容？過濾的標準與方法為何？
*   針對「每秒取一幀可能漏掉短動作」的限制，是否有建議的解決方案或更高的幀率測試結果？
*   「R4G 顯卡」作為官方設計參考顯卡，其具體規格與 4070Ti Super 相比有何優勢？