逐字稿文字預覽
谷歌发布了智能视频理解API 一段3小时的课程里 讲者可能只用2秒钟承认实验失败 传统AI每秒抽取一张画面 从头读到尾 仍然可能错过那两秒 谷歌新发布的智能视频 理解API换了一种做法 Gemini会先判断答案可能藏在哪里 读取字幕并跳到对应时间 再提高局部帧率 必要时重新检查 AI第一次不只是在看视频 它开始决定该看什么看多久 以及什么时候应该回头再看 这项功能叫agentic video understanding 也就是智能体式视频理解 首批支持Gemini 3. 7 Flash 3. 6Flash和3. 5Flashlight 开发者在API配置中把 视频处理模式设成agentic 就可以让模型动态浏览视频 上传文件和公开 YouTube 链接都能使用 Google AI studio与Gemini enterprise agent platform已经开放 谷歌公布的数字很醒目 与固定帧率的静态处理相比 智能体模式在测试中 最高减少88%的TOKEN消耗 最高降低66%的分析成本 回答质量最高提高7% 三个最高必须保留 因为它们来自不同任务和测试条件 不能理解为所有视频 都会同时达到这组结果 短片和长课程以及监控录像与 体育素材的收益会有很大差别 要理解这项更新的分量 先要看传统视频AI怎样工作 Gemini的默认静态模式通常 按照每秒一帧读取画面音频 按固定规格处理 再把时间戳和媒体信息放入上下文 低媒体分辨率下 一秒视频大约消耗100个TOKEN 高分辨率可接近300个TOKEN 一小时内容大约 对应36万到108万个TOKEN 还没计算问题系统指令和输出 固定抽帧有两个明显缺陷 第一是成本跟时长近似线性增长 视频从10分钟变成两小时 系统即使只需要回答一个局部问题 也要处理大量无关片段 第二是精度被采样率限制 一个快速手势仪表跳变 或者剪辑点持续不到1秒 固定的一帧可能刚好 落在动作之前和之后 中间最关键的状态 没有进入模型上下文 开发者以前可以自己解决 他们先跑语音转录 再用关键词定位时间段 然后切割视频 提高局部帧率 最后把片段送入视觉模型 遇到复杂问题还要写循环 让模型重新查找 工程上做得到 代价是维护转录和检索 还要处理切片与多模态推理 每种视频格式 每类问题都可能需要不同规则 谷歌现在把这条 流水线收进模型内部 Gemini接到问题后 可以先检查转录文字 确定几个可能的时间窗口 接着调用内部视频工具 读取局部画面或音频 证据不足时 它会改变采样方式 再看一次 API响应中的Processing call和 Processing result会记录这些加载步骤 最后才生成答案 这里的智能体没有神秘成分 它代表模型拥有了一个循环 先制定搜索方向 调用工具取得局部证据 判断证据是否够用 再决定下一步 过去的视频模型更像一次性读取器 所有内容在回答前就被装进上下文 新模式把视频当成可查询的数据源 模型只在需要时取出相关部分 这一变化首先解决 长视频的经济问题 用户询问一场90分钟 发布会中的三个公告 静态模式会为整场内容支付TOKEN 智能体模式 可能先看转录 找到三处重点 再加载附近画面 核对产品名称和演示细节 大量重复镜头停顿和 与问题无关的内容 无需进入上下文 成本自然下降 88%的TOKEN节省由此而来 但它没有改变模型定价 谷歌暂时不收取额外功能费 输入和输出以及中间推理与工具 加载内容仍按标准Gemini价格计算 节省来自少读数据 并非每个TOKEN变便宜 问题越集中 视频越长 无关内容越多 这种方式越划算 反过来如果用户要求完整列出 整场比赛每一次传球 模型几乎要检查全部内容 智能体模式能省下 的TOKEN会明显减少 反复规划还可能增加额外思考费用 谷歌开发文档也提醒 TOKEN消耗取决于内容 复杂度和导航深度 动态浏览是一种资源分配策略 不是一台固定比例的视频压缩器 第二个变化是模型可以 在局部提高时间精度 静态模式默认每秒一帧 适合大多数缓慢场景 智能体发现某个时间 窗口存在快速动作后 可以调整帧率并重复查看 谷歌展示的方向包括精确计算 重复动作和捕捉短暂状态变化 还能寻找紧密剪辑边界 以及检查高速运动中的异常 以工厂质检为例 一条传送带运行几个小时 真正的机械卡顿可能只有半秒 把所有画面都按高帧率送入模型 账单和延迟都会很高 先用低成本信号锁定异常窗口 再对几秒内容密集采样 才符合生产系统的资源逻辑 模型的价值来自把 算力集中到可疑位置 体育分析也是同一套原理 用户询问一名球员 何时改变跑动方向 字幕几乎没有帮助 模型就需要依赖画面 用户询问教练在暂停时说了什么 转录和音频更重要 过去多模态常被理解为 把几种数据一起输入 智能体 模型可以先依靠文本快速定位 多人同时讲话口音复杂 或者没有字幕的素材 需要读取更多音频和画面 TOKEN节省可能下降 纯视觉任务又会把 压力转到镜头理解 厂商公布一个平均 数字很难覆盖这些差异 再按自己的语言和话值 再按内容类型建立测试集 同一个问题的写法也可能改变成本 询问总结整场会议 模型需要覆盖大量片段 询问财务负责人在哪 一段下调收入预期 搜索范围明显更集中 智能体模式会让提示词从 表达习惯变成资源调度信号 问题越明确 模型越容易决定哪些内容无需加载 模糊问题则可能触发 更广泛的搜索和多轮复查 这给产品设计提出了新要求 界面不能只放一个输入框 还应该让用户选择 速度完整度和证据要求 快速查找允许模型少看一些 合规审查则要扩大覆盖范围 并返回时间戳 不同任务共用一个默认配置 最终往往既不够快 也不够可靠 API提供能力 体验仍然要由应用开发者完成 这种选择带来最高7%的质量提升 原因并不复杂 静态模式为了控制成本 只能降低整体采样率 关键细节可能 从一开始就没有被读取 智能体模式先粗查 再把有限TOKEN用在重要片段 局部证据反而更多 不过7%仍然是谷歌 测试中的最佳提升 不能推导成每项 视频任务都会更准确 长视频海里捞针是最直接的应用 几小时会议中 一名发言者提到某个数字 教学录像里 老师临时修正一个公式 监控画面中 一个物体短暂离开又返回 传统语义检索依赖字幕 遇到没有对白的视觉事件就会失效 Gemini可以先用字幕缩小范围 也能直接扫描画面和音频 再对候选片段复查 亚秒级时刻检索则会影响自动剪辑 剪辑系统过去可以找到一段话 却很难精确判断动作 开始和结束的位置 结果常常多切半秒或截断手势 模型能从新采样局部画面后 可以寻找更紧的切点 它仍然需要人工检查节奏和叙事 但粗剪镜头定位和 素材筛选会快很多 内容创作者面对的第一个 变化是素材库开始真正可搜索 大量频道保存着多年采访和发布会 也留下不少录屏 文件名无法描述其中 每一分钟发生了什么 智能视频API可以围绕 具体问题查询这些素材 比如找出某位嘉宾所有 谈到芯片成本的片段 或者定位产品界面 第一次出现异常的位置 过去被存进硬盘后很少再用的内容 有机会重新变成生产资料 第二个变化是核对流程 脚本提到一个产品功能 模型可以跳到相关演示片段 检查画面是否真的支持这句描述 剪辑完成后 也可以核对旁白字幕和 镜头有没有明显冲突 AI不能替代编辑做最终事实判断 但它能把需要人工检查的 范围从两小时缩到几分钟 第三个变化是长内容再利用 一场访谈可以被拆成 主题段落和短片候选 同时生成时间轴 课程可以自动生成章节索引 企业培训录像可以按问题调用 用户用自然语言直接进入某个时刻 并看到支持答案的画面 比再做一个摘要按钮更有价值 谷歌自己拥有一个其他 模型公司很难复制的优势YouTube 官方计划在未来数月让智能体视频 理解支持播放页面的ask YouTube功能 并逐步进入Gemini应用 的Flash和Flashlight模型 Gemini一旦能够动态 读取Youtube画面与字幕 还能读取音频 平台搜索的对象就会从标题与描述 再从转录文字扩展到 视频内部真正发生的动作 传统搜索引擎主要索引网页文本 视频搜索长期依赖 创作者写标题和打标签 也依赖上传字幕 画面中的细节很难被准确索引 智能体理解让 哪一期评测里出现过这个接口 哪场比赛发生过类似动作 这样的查询更接近可用 Youtube数十亿小时内容也会 因此变成Google模型独有的 训练和检索以及产品分发优势 旧内容的价值也可能重新计算 一段上传5年的教程 标题早已不符合今天的搜索表达 其中某个30秒演示仍然很有用 平台能理解画面后 这个片段有机会直接回答新问题 长视频不必完全依赖 发布日期和整体点击量 它内部的具体知识可以被再次发现 创作者过去积累的内容库 可能成为持续被检索的资产 这也会改变内容结构 讲者如果清楚说出阶段结论 画面与论点保持对应 模型更容易建立可靠索引 大量绕圈 标题与内容脱节 或者关键信息没有视觉证据 会增加机器理解难度 面向人类的好表达 和面向AI的可检索性 在很多地方其实一致 主题明确 信息有上下文 结论能够被证据定位 这套组合有很强的商业闭环 Google提供模型和API 也掌握云计算平台与视频内容入口 开发者为动态分析支付TOKEN 普通用户在Gemini和Youtube中使用结果 技术提升带来的收益 不止落在模型调用量 还可能提高用户停留 时间和搜索覆盖率 也让旧内容再次获得分发机会 创作者也要看到另一面 平台能更细的理解画面后 标题和封面与实际内容是否 匹配会更容易被机器检查 只靠夸张标题吸引点击 正文长期不兑现承诺的内容 可能更难获得稳定推荐 相反结构清晰且画面证据充分 每一段都有新信息的长内容 更容易被系统拆解成可检索片段 这并不代表算法已经公开 承诺按照这种方式排名 Google只确认智能体理解将用于ask YouTube 解将用于ask YouTube 没有宣布它直接改变推荐权重 合理推测与已确认功能要分开 可以确定的是 平台理解内容的粒度正在提高 至于它何时以什么方式影响分发 仍要等待产品上线后的 公开说明和实际数据 企业市场的用途更广 客服团队可以查询屏幕录制 寻找用户在哪一步操作失败 保险公司可以定位 事故录像中的关键动作 医疗培训可以按手术阶段检索片段 零售系统可以统计特定事件 安全团队则能从 长时间监控中筛选异常 每个场景都需要独立评估准确率 不能因为通用榜单 提高7%就省掉行业验证 尤其是异常检测 错误成本可能完全不同 漏掉短暂故障会造成停机 误报太多又会让工作人员失去耐心 Gemini能够提高局部帧率 并不等于它理解所有物理因果 真实部署要保留阈值设计 抽样复合和人工升级机制 高风险决定不能只凭一句模型输出 智能体模式还有一个 容易被忽略的代价 首次响应可能变慢 5分钟以内的短片 如果强调速度 静态模式通常更合适 智能体要先规划和调用内部工具 等待片段返回后再生成答案 它少处理了整体内容 却增加了几轮内部操作 成本和准确率以及首字 延迟之间仍然需要取舍 开发文档还保留了 静态模式的自定义能力 开发者可以指定视频起止时间 也能设置固定帧率 某些任务已经知道目标区间 直接切片比让模型自行寻找更快 逐帧检查法规要求完整覆盖 或需要确定性处理的流程 也不适合完全交给动态导航 新功能扩充了工具箱 没有让旧方法失效 多轮对话同样存在工程细节 使用有状态模式时 服务器可以保留视频上下文 无状态模式需要开发者把 Processing call与Processing result等 步骤带入下一次请求 遗漏这些步骤不会立刻报错 却会丢失已经建立的视频上下文 后续回答质量可能明显下降 产品体验是否可靠 很大程度取决于开发者 有没有正确管理状态 隐私问题也会随能力增强而扩大 视频常常包含人脸和声音 也可能包含屏幕内容与地理位置 比普通文本更容易暴露身份 企业上传会议录像或监控资料前 要确认数据保留和地区合规 也要确认访问权限 API能否理解视频与组织是否 有权处理视频是两件不同的事 版权风险也需要单独处理 系统可以定位并总结公开视频 还能切割相关片段 不代表开发者自动拥有 重新发布内容的权利 公开视频链接只是输入方式 版权仍然属于权利人 创作者使用第三方片段时 需要加入实质性的评论和分析 或提供教育价值 并确认素材使用 符合法律与平台规则 技术把复制和剪辑变容易后 原创判断反而更重要 Youtube当前的创作者规则没有 禁止使用AI协助选题与脚本 或者生成标题和字幕 平台重点审查批量生产和内容重复 也会看频道是否缺少原创判断 能否看出实质改造 如果智能视频API只是把大量 内容自动摘要后重新上传 仍可能被认定为低价值或非原创内容 价值或非原创内容 加入清楚的判断并重新组织事实 还要提供独立分析 才形成可识别的创作贡献 如果成片使用AI生成的 逼真人物或真实地点 也包括并未发生的现实事件 还要按照Youtube要求 进行合成内容披露 单纯用AI整理材料和辅助写作 或者生成标题 通常不需要披露 智能视频理解本身属于分析工具 是否需要标签取决于最终画面和 声音有没有以逼真方式改变现实 模型主动选择观看范围 还会引入一种新错误 静态模式至少能确认所有按固定 间隔抽取的画面都进入了上下文 智能体模式可能在 搜索阶段判断错方向 关键片段从未被加载 随后给出逻辑流畅但 证据不完整的答案 TOKEN减少和证据覆盖之间存在张力 开发者要能够检查 模型到底看了哪些片段 还有一种错误来自跨模态冲突 字幕写着一个数字 演示文稿显示另一个数字 讲者随后又口头修正 模型必须判断哪一项代表最终结论 如果它只加载转录 可能漏掉屏幕修订 只看画面 又可能不知道讲者已经否定旧数据 智能体的优势来自灵活选择 可靠性却要求它在存在 冲突时主动读取第二种证据 开发者可以设置一条简单规则 重要结论至少有两类信号互相核对 涉及数字时同时检查语音和画面 涉及动作时 查看动作前后完整区间 涉及人物表态时 保留足够上下文 避免截取半句话 这样会增加TOKEN 却能降低断章取义和局部误判 效率最高的答案不一定是业务 风险最低的答案Processing call和 Processing result为可观测性提供了入口 但目前这些步骤不等于 一份完整的审计报告 高风险系统还需要 记录查询和加载区间 以及采样参数模型版本与最终依据 只有结果可追踪 团队才能区分模型看错还是漏看 或者素材本身不清楚 没有这层记录 动态导航发生错误时会更难复盘 谷歌这次更新代表多 模态AI进入新的阶段 早期模型解决能不能读懂一张图 后来解决能不能接收一整段
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：3.2 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：36.0 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：1.1 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.1 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.1 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.2 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：155.5 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.6 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.6 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
目前待解決問題與初步改善方向
- ⚠️ 全文快速校讀：已套用暫定修正，請確認
segment=17 已先套用暫定修正：首批支持Gemini3.7Flash → 首批支持Gemini 3.7 Flash；segment=22 已先套用暫定修正：上传文件和公开Youtube连接都能使用 → 上传文件和公开 YouTube 链接都能使用；segment=35 已先套用暫定修正：短片和长客以及监控录像与 → 短片和长课程以及监控录像与；segment=163 已先套用暫定修正：智能 → 智能体；segment=17 待確認：Gemini 3.7 Flash 為尚未發布之版本，與上下文提及之 3.6/3.5 不符，疑為 'Gemini 2.0 Flash' 或 'Gemini 1.5 Flash' 之誤聽。；暫定：首批支持Gemini 3.7 Flash；segment=173 待確認：'话值' 语意不明，疑为 '画质' (video quality) 或 '话题' (topic) 之误听。；暫定：再按自己的语言和话值；segment=366 待確認：'复合' 和 '升级' 在工程语境下略显生硬，需确认为 '采样策略' 和 '人工复核'。；暫定：抽样复合和人工升级机制；segment=539 待確認：'令' 字语义不明，需确认为 '零成本' 或 '冷启动' 等相关术语。；暫定：来自人工快进播放令
- 逐字稿可先使用，但有待校正清單
segment=17 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=173 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=366 rapid_semantic_review: [366] 抽样复合和人工升级机制 [367] 高风险决定不能只凭一句模型输出；segment=539 rapid_semantic_review: [538] API有时真正面对的竞争 [539] 来自人工快进播放令 [540] 一加模型反倒排在后面
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。