逐字稿文字預覽
视频还没播完,MOSVIA Real Time已经开始描述画面。 他先认出咖啡店和走进门的一男一女,随后又跟到了柜台前的交谈。 后面的人物继续出现,文字也继续往下涨。 这不是等视频结束以后再做总结,模型正在跟着画面一起走。 它是MOS智能推出的110亿参数开放全入模型,专门处理持续进入的视频流。 普通的视频问答往往要先看完整段再统一回答。 事实版把等待拆开了,新画面不断进来,理解和文字生成也可以同时继续。 按照官方介绍,你可以在视频播放过程中插入问题、证据还不够时。 它可以先保持沉默,后面的画面改变了情境,它还能补充或者修正此前的判断。 边看边答,主动沉默和动态更新构成了这个版本最核心的区别。 同系列还有基础版和指令版。 基础版适合继续训练,指令版面向完整视频的深入问答。 实施版才专门面对持续视频流。 官方标注的256000上下文,表示一次能够参考的信息容量, 不是固定的视频分钟数。抽针越密,对话越长,能够容纳的视频时长就会跟着变化。 接下来是我最关心的问题,消费机显卡能不能把它跑起来。 官方给出了4比特量化版本,按照一张R4G显卡设计,我没有这张卡, 于是改用两张4070Ti Super让程序自动拆分模型。 本地部署走的是一条完整的成功路径。 仓库拉到本地以后,我创建独立环境,装好运行依赖,再下载官方量化权重。 启动实施推理程序时,三个权重分片依次加载。 加载完成以后,模型开始按时间接收视频。 两张显卡也同时参与推理。 画面继续进入,文字随之更新,终端最后显示36帧全部送达, 这次本地部署正式跑通。 测试输入是一段30多秒的咖啡店视频,程序每秒取一帧, 模型先认出了门店和进场人物,随后描述男子走向柜台, 店员递出纸杯,场景继续变化,他又跟到了后面的人物冲突。 整段输出不是最后一次性出现,而是随着视频推进不断补充。 我又在视频播到约10秒时插入一个问题,问现在画面里有几个人, 他先回答两个人。 7秒以后,柜台后的电源进入画面,他没有等我再问, 直接把答案更新成3个人,到了26秒我再问刚才发生了什么变化。 他先认出电源正在介绍三种杯子,随后又补充男子已经走到柜台前, 两次提问都发生在播放过程中,后面的画面也没有被第一轮回答挡住。 这次运行也给出了一个很直接的硬件结论, 我用两张4070Ti Super跑完了这段视频,扣掉系统本来的占用, 模型额外使用的显存大约13.3G,这个结果只对应当前样片和参数, 但至少证明这套双卡配置可以完成一次本地实施推理。 输出中间还有一段很值得看画面没有明显变化时, 终端没有继续增加描述,后面的人物进入以后文字才重新出现。 原始接口会把这种状态写成控制标记,真正做成应用时需要先过滤, 对观众来说更重要的是模型知道什么时候先观察, 而不是每一帧都重复说话。 不过,实时不代表每个瞬间都不会漏掉,当前测试每秒只取一帧, 视频里一个非常短的击打动作就没有被稳定识别。 它看到了动作前后不等于看见了中间的每一刻, 提高采样频率可能保留更多细节,也会同时增加输入和缓存压力。 这种持续更新来自模型的输入方式,视觉信息不是等到整段结束再交给语言部分, 每个采样画面还带着自己的时间位置,所以事件先后和状态变化能够进入同一段推理。 官方代码除了读取本地视频还支持摄像头、屏幕和外部发送的视频帧, 它可以成为直播辅助实验观察、流程提醒或者屏幕任务监控的视觉底座。 模型负责持续理解和回答,真正上线是告紧规则、权限控制和人工复合仍然要由应用层补上。 所以Mousewell Real-Time的优势很明确,视频还在发声,问题和答案就能一起向前推进。 它的限制也同样明确,采样会漏掉短动作,长上下文会继续消耗缓存,原始输出也不是装好就能使用的监控产品。 如果你的任务只是等视频结束以后再总结,指令版会更直接。 如果你需要在视频进行中观察、提问等待,再根据新画面更新判断,实施版才真正对口。 项目地址和官方资料放在评论区,感兴趣可以拿自己的视频试一遍。
本次執行流程與問題處理
下達指令
預期流程
- 自動字幕優先，Whisper 作為備援
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：33.6 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：37.7 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
4. 句子密度平衡
工具：videonote_balance_sentence_units.py
處理：平衡句子長度與密度
產出：sentence_units.json（句子單元）
耗時：0.7 秒
關係：依序執行
結果：完成
5. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.8 秒
關係：依序執行
結果：完成
6. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.8 秒
關係：依序執行
結果：完成
7. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.8 秒
關係：依序執行
結果：完成
8. 逐字稿交叉檢查
工具：videonote_cross_check_transcript.py
處理：交叉檢查逐字稿與來源字幕
產出：transcript_crosscheck_report.json（交叉檢查）
耗時：0.9 秒
關係：依序執行
結果：完成
9. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.9 秒
關係：依序執行
結果：完成
10. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：105.7 秒
關係：依序執行
結果：完成
11. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.8 秒
關係：依序執行
結果：完成
12. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.9 秒
關係：依序執行
結果：完成
手動來源字幕
- 尚未產生
自動來源字幕
Whisper 字幕
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.whisper.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- 逐字稿可先使用，但有待校正清單
segment=59 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語；segment=69 unnatural_sentence_boundary: 標點出現在句首或停在逗號位置，斷句可能不符合文法/口語
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。