# 影片筆記：MOSS-VL-Realtime 本地部署与实时能力实测


<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
## ⚠️ 可先使用，仍有待修正項目

本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。

- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
- 待修正：逐字稿可先使用，但有待校正清單（segment=59 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=69 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語）

<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->

> **⚠️ 警告：逐字稿辨識品質檢核**
> 根據輸入資訊，分段筆記中存在以下可讀性問題，可能影響摘要的準確性。請謹慎閱讀相關段落，並參考「逐字稿辨識疑點」章節：
> *   **Segment 59**: `unnatural_sentence_boundary` — 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語。
> *   **Segment 69**: `unnatural_sentence_boundary` — 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語。
>
> 以下筆記忠於分段筆記內容，未對疑似錯誤進行校正，僅將不確定之詞彙列為疑點。

## 一句話總結

影片介紹了 MOSVIA（或 MOS 智能）推出的 Real Time 版本模型，該模型專為處理持續視頻流設計，具備「邊看邊答」與「動態更新」能力；測試者使用兩張 RTX 4070 Ti Super 顯卡成功在本地部署並運行該模型，驗證了其在視頻播放過程中隨畫面推進補充描述及動態修正判斷的能力，但也指出了採樣頻率限制帶來的潛在漏損風險。

## 核心重點

1.  **模型定位與特性**：
    *   **Real Time 版**：專門針對持續進入的視頻流設計，具備「邊看邊答」與「動態更新」能力。與傳統需等待視頻結束後再統一回答的模型不同，它允許在視頻播放過程中插入問題，並能根據新出現的畫面補充或修正此前的判斷。
    *   **主動沉默**：證據不足時保持沉默，新畫面改變情境時可補充或修正判斷。
    *   **產品線區分**：基礎版適合繼續訓練；指令版面向完整視頻的深入問答（適合視頻結束後總結）；Real Time 版（文中亦稱實施版）專門面對持續視頻流。

2.  **技術參數**：
    *   參數規模：110 億參數開放全入模型。
    *   上下文容量：官方標註 256,000 上下文（定義為一次能夠參考的信息容量，非固定視頻分鐘數，與抽幀密度和對話長度相關）。

3.  **本地部署測試**：
    *   **硬件配置**：測試者使用兩張 RTX 4070 Ti Super 顯卡（官方設計針對單張 R4G 顯卡，程序自動拆分模型）。
    *   **部署步驟**：拉取倉庫 -> 創建獨立環境安裝依賴 -> 下載官方 4 比特量化權重 -> 啟動實時推理程序（三個權重分片依次加載）。
    *   **資源佔用**：扣除系統佔用後，模型額外使用顯存約 13.3GB。

4.  **實際測試表現**：
    *   **測試素材**：30 多秒的咖啡店視頻，程序每秒取一幀。
    *   **動態問答**：
        *   10 秒時提問「現在畫面裡有幾個人？」，回答 2 人。
        *   17 秒後（原文為 7 秒，但邏輯上應為後續時間點），櫃台後的「電源」（疑點）進入畫面，模型未等待提問，直接更新答案為 3 人。
        *   26 秒時提問「剛才發生了什麼變化？」，回答識別「電源」（疑點）介紹三種杯子，並補充男子已走到櫃台前。
    *   **關鍵特性**：兩次提問均在播放過程中，後續畫面未受第一輪回答干擾，輸出隨視頻推進不斷補充。

5.  **技術限制與應用建議**：
    *   **採樣漏損**：每秒取一幀可能漏掉短動作（如擊打動作），看到動作前後不等於看見中間每一刻。
    *   **資源壓力**：提高採樣頻率可保留細節，但會增加輸入和緩存壓力。
    *   **原始輸出特性**：原始接口會將無明顯變化的狀態寫成控制標記，應用層需過濾，避免每幀重複說話。
    *   **應用場景**：直播輔助、實驗觀察、流程提醒、屏幕任務監控。
    *   **選擇建議**：若只需視頻結束後總結，選擇指令版；若需在視頻進行中觀察、提問並根據新畫面更新判斷，選擇 Real Time 版。

## 詳細大綱

### 一、 模型核心特性與定位
*   **核心功能**：
    *   處理持續進入的視頻流（Real Time）。
    *   邊看邊答：模型跟隨畫面推進，文字生成與理解同步進行。
    *   主動沉默與動態更新：證據不足時保持沉默，新畫面改變情境時可補充或修正判斷。
*   **產品線區分**：
    *   **基礎版**：適合繼續訓練。
    *   **指令版**：面向完整視頻的深入問答（適合視頻結束後總結）。
    *   **Real Time 版（實施版）**：專門面對持續視頻流。

### 二、 技術參數與上下文
*   **參數規模**：110 億參數開放全入模型。
*   **上下文容量**：官方標註 256,000 上下文。
    *   定義：一次能夠參考的信息容量，非固定視頻分鐘數。
    *   關係：抽針越密、對話越長，能容納的視頻時長隨之變化。

### 三、 本地部署與硬件測試
*   **測試環境**：
    *   官方提供 4 比特量化版本，設計針對單張 R4G 顯卡。
    *   測試者配置：兩張 RTX 4070 Ti Super，程序自動拆分模型。
*   **部署步驟**：
    1.  拉取倉庫到本地。
    2.  創建獨立環境並安裝運行依賴。
    3.  下載官方量化權重。
    4.  啟動實時推理程序，三個權重分片依次加載。
*   **資源佔用**：
    *   扣除系統佔用後，模型額外使用顯存約 13.3GB。
    *   結論：雙卡配置可完成一次本地實時推理。

### 四、 實際測試案例與表現
*   **測試素材**：30 多秒的咖啡店視頻，程序每秒取一幀。
*   **描述生成過程**：
    *   識別門店與進場人物。
    *   描述男子走向櫃台、店員遞出紙杯。
    *   跟隨後續人物衝突場景。
    *   輸出非一次性出現，而是隨視頻推進不斷補充。
*   **動態問答測試**：
    *   **10 秒時提問**：「現在畫面裡有幾個人？」 -> 回答：2 人。
    *   **17 秒後（原文為7秒，但邏輯上應為後續時間點）**：櫃台後電源（疑點）進入畫面，模型未等待提問，直接更新答案為 3 人。
    *   **26 秒時提問**：「剛才發生了什麼變化？」 -> 回答：識別電源（疑點）介紹三種杯子，並補充男子已走到櫃台前。
    *   **關鍵點**：兩次提問均在播放過程中，後續畫面未受第一輪回答干擾。

### 五、 技術限制與應用建議
*   **技術限制**：
    *   **採樣漏損**：每秒取一幀可能漏掉短動作（如擊打動作），看到動作前後不等於看見中間每一刻。
    *   **資源壓力**：提高採樣頻率可保留細節，但會增加輸入和緩存壓力。
    *   **原始輸出特性**：原始接口會將無明顯變化的狀態寫成控制標記，應用層需過濾，避免每幀重複說話。
*   **輸入支持**：
    *   官方代碼支持讀取本地視頻、攝像頭、屏幕及外部發送視頻幀。
    *   潛在應用：直播輔助、實驗觀察、流程提醒、屏幕任務監控。
*   **應用層要求**：
    *   需補上告緊規則（疑點）、權限控制和人工複合。
*   **選擇建議**：
    *   若只需視頻結束後總結：選擇指令版。
    *   若需在視頻進行中觀察、提問並根據新畫面更新判斷：選擇 Real Time 版。

## 工具 / 模型 / 名詞整理

*   **模型/產品名稱**：
    *   MOSVIA Real Time（或 MOS 智能推出的 Real Time 版本）
    *   基礎版
    *   指令版
    *   實施版（文中多次出現，疑為 Real Time 的別稱或聽寫）
    *   Mousewell Real-Time（文末出現，疑為 MOSVIA 的聽寫錯誤）
*   **硬件/設備**：
    *   R4G 顯卡（官方設計針對）
    *   RTX 4070 Ti Super（測試使用，兩張）
*   **技術概念/參數**：
    *   110 億參數
    *   4 比特量化版本
    *   256,000 上下文
    *   36 幀（測試最終顯示幀數）

## 操作流程整理

1.  **環境準備**：
    *   拉取官方倉庫到本地。
    *   創建獨立運行環境並安裝依賴。
2.  **權重下載**：
    *   下載官方提供的 4 比特量化權重。
3.  **啟動推理**：
    *   啟動實時推理程序。
    *   程序自動將模型拆分，三個權重分片依次加載至顯存。
4.  **輸入視頻流**：
    *   支持讀取本地視頻、攝像頭、屏幕或外部發送視頻幀。
    *   測試中設定為每秒取一幀。
5.  **動態交互**：
    *   在視頻播放過程中隨時插入問題。
    *   模型根據當前畫面生成描述或回答，並隨新畫面出現動態更新判斷。

## 值得注意的限制或風險

1.  **採樣頻率導致的漏損**：
    *   當前測試設定為每秒取一幀，可能漏掉短動作（例如擊打動作），因為看到動作前後不等於看見中間每一刻。
    *   提高採樣頻率雖可保留細節，但會顯著增加輸入和緩存壓力。
2.  **原始輸出處理需求**：
    *   原始接口會將無明顯變化的狀態寫成控制標記，應用層開發者需進行過濾，以避免每幀重複說話或輸出冗餘信息。
3.  **應用層開發要求**：
    *   正式上線需補上「告緊規則」（疑點）、權限控制和人工複合機制。
4.  **硬件資源限制**：
    *   官方設計針對單張 R4G 顯卡，測試者需使用雙張 RTX 4070 Ti Super 並依靠程序自動拆分模型才能運行，顯示對顯存有一定要求。

## 逐字稿辨識疑點

*   **MOSVIA / MOS 智能 / Mousewell**：
    *   逐字稿開頭提及「MOSVIA Real Time」，中間提及「MOS 智能」，結尾提及「Mousewell Real-Time」。三者指代同一模型的可能性極高，但字面拼寫差異巨大，無法確定正確品牌名稱。
*   **實施版**：
    *   文中多次將該版本稱為「實施版」（例如：「實施版才專門面對持續視頻流」、「啟動實施推理程序」）。考慮到上下文強調的是「Real Time」（實時），「實施版」極可能是「實時版」的聽寫錯誤，但依規則僅標註為疑點。
*   **R4G**：
    *   官方設計針對的顯卡型號寫作「R4G」，常見顯卡型號中無此標準命名，疑為特定型號或聽寫錯誤（如 RTX 4090 或其他型號的誤聽）。
*   **電源**：
    *   測試描述中出現「櫃台後的電源進入畫面」，隨後又說「識別電源正在介紹三種杯子」。在咖啡店場景中，「電源」一詞極可能為「店員」、「服務員」或特定人物名稱的聽寫錯誤，但依規則保留原詞。
*   **抽針**：
    *   文中提到「抽針越密」，結合上下文關於視頻採樣的描述，疑為「抽幀」或「採樣」的聽寫錯誤。
*   **告緊規則**：
    *   文中提到「真正上線是告緊規則」，結合應用層開發語境，疑為「告警規則」或「關鍵規則」的聽寫錯誤。

## 可延伸追問

1.  關於「256,000 上下文」的具體計算方式，是否與視頻幀數、幀間隔時間及對話長度有明確的數學關係？
2.  若要提高採樣頻率以減少動作漏損，目前的架構下顯存佔用會呈線性增長還是指數增長？是否有更優的壓縮方案？
3.  「R4G」顯卡具體指代哪一款產品？是否為 NVIDIA 的某個特定型號或內部代號？
4.  應用層過濾「無明顯變化狀態」的控制標記，具體的算法或邏輯建議是什麼？
5.  模型在「主動沉默」機制下，如何定義「證據不足」的閾值？