谷歌发布了智能视频理解API
一段3小时的课程里
讲者可能只用2秒钟承认实验失败
传统AI每秒抽取一张画面
从头读到尾
仍然可能错过那两秒
谷歌新发布的智能视频
理解API换了一种做法
Gemini会先判断答案可能藏在哪里
读取字幕并跳到对应时间
再提高局部帧率
必要时重新检查
AI第一次不只是在看视频
它开始决定该看什么看多久
以及什么时候应该回头再看
这项功能叫agentic video understanding
也就是智能体式视频理解
首批支持Gemini3.7Flash
3.6Flash和3.5Flashlight
开发者在API配置中把
视频处理模式设成agentic
就可以让模型动态浏览视频
上传文件和公开Youtube连接都能使用
Google AI studio与Gemini enterprise
agent platform已经开放
谷歌公布的数字很醒目
与固定帧率的静态处理相比
智能体模式在测试中
最高减少88%的TOKEN消耗
最高降低66%的分析成本
回答质量最高提高7%
三个最高必须保留
因为它们来自不同任务和测试条件
不能理解为所有视频
都会同时达到这组结果
短片和长客以及监控录像与
体育素材的收益会有很大差别
要理解这项更新的分量
先要看传统视频AI怎样工作
Gemini的默认静态模式通常
按照每秒一帧读取画面音频
按固定规格处理
再把时间戳和媒体信息放入上下文
低媒体分辨率下
一秒视频大约消耗100个TOKEN
高分辨率可接近300个TOKEN
一小时内容大约
对应36万到108万个TOKEN
还没计算问题系统指令和输出
固定抽帧有两个明显缺陷
第一是成本跟时长近似线性增长
视频从10分钟变成两小时
系统即使只需要回答一个局部问题
也要处理大量无关片段
第二是精度被采样率限制
一个快速手势仪表跳变
或者剪辑点持续不到1秒
固定的一帧可能刚好
落在动作之前和之后
中间最关键的状态
没有进入模型上下文
开发者以前可以自己解决
他们先跑语音转录
再用关键词定位时间段
然后切割视频
提高局部帧率
最后把片段送入视觉模型
遇到复杂问题还要写循环
让模型重新查找
工程上做得到
代价是维护转录和检索
还要处理切片与多模态推理
每种视频格式
每类问题都可能需要不同规则
谷歌现在把这条
流水线收进模型内部
Gemini接到问题后
可以先检查转录文字
确定几个可能的时间窗口
接着调用内部视频工具
读取局部画面或音频
证据不足时
它会改变采样方式
再看一次
API响应中的Processing call和
Processing result会记录这些加载步骤
最后才生成答案
这里的智能体没有神秘成分
它代表模型拥有了一个循环
先制定搜索方向
调用工具取得局部证据
判断证据是否够用
再决定下一步
过去的视频模型更像一次性读取器
所有内容在回答前就被装进上下文
新模式把视频当成可查询的数据源
模型只在需要时取出相关部分
这一变化首先解决
长视频的经济问题
用户询问一场90分钟
发布会中的三个公告
静态模式会为整场内容支付TOKEN
智能体模式
可能先看转录
找到三处重点
再加载附近画面
核对产品名称和演示细节
大量重复镜头停顿和
与问题无关的内容
无需进入上下文
成本自然下降
88%的TOKEN节省由此而来
但它没有改变模型定价
谷歌暂时不收取额外功能费
输入和输出以及中间推理与工具
加载内容仍按标准Gemini价格计算
节省来自少读数据
并非每个TOKEN变便宜
问题越集中
视频越长
无关内容越多
这种方式越划算
反过来如果用户要求完整列出
整场比赛每一次传球
模型几乎要检查全部内容
智能体模式能省下
的TOKEN会明显减少
反复规划还可能增加额外思考费用
谷歌开发文档也提醒
TOKEN消耗取决于内容
复杂度和导航深度
动态浏览是一种资源分配策略
不是一台固定比例的视频压缩器
第二个变化是模型可以
在局部提高时间精度
静态模式默认每秒一帧
适合大多数缓慢场景
智能体发现某个时间
窗口存在快速动作后
可以调整帧率并重复查看
谷歌展示的方向包括精确计算
重复动作和捕捉短暂状态变化
还能寻找紧密剪辑边界
以及检查高速运动中的异常
以工厂质检为例
一条传送带运行几个小时
真正的机械卡顿可能只有半秒
把所有画面都按高帧率送入模型
账单和延迟都会很高
先用低成本信号锁定异常窗口
再对几秒内容密集采样
才符合生产系统的资源逻辑
模型的价值来自把
算力集中到可疑位置
体育分析也是同一套原理
用户询问一名球员
何时改变跑动方向
字幕几乎没有帮助
模型就需要依赖画面
用户询问教练在暂停时说了什么
转录和音频更重要
过去多模态常被理解为
把几种数据一起输入
智能
模型可以先依靠文本快速定位
多人同时讲话口音复杂
或者没有字幕的素材
需要读取更多音频和画面
TOKEN节省可能下降
纯视觉任务又会把
压力转到镜头理解
厂商公布一个平均
数字很难覆盖这些差异
开发者最好按自己的语言和话值
再按内容类型建立测试集
同一个问题的写法也可能改变成本
询问总结整场会议
模型需要覆盖大量片段
询问财务负责人在哪
一段下调收入预期
搜索范围明显更集中
智能体模式会让提示词从
表达习惯变成资源调度信号
问题越明确
模型越容易决定哪些内容无需加载
模糊问题则可能触发
更广泛的搜索和多轮复查
这给产品设计提出了新要求
界面不能只放一个输入框
还应该让用户选择
速度完整度和证据要求
快速查找允许模型少看一些
合规审查则要扩大覆盖范围
并返回时间戳
不同任务共用一个默认配置
最终往往既不够快
也不够可靠
API提供能力
体验仍然要由应用开发者完成
这种选择带来最高7%的质量提升
原因并不复杂
静态模式为了控制成本
只能降低整体采样率
关键细节可能
从一开始就没有被读取
智能体模式先粗查
再把有限TOKEN用在重要片段
局部证据反而更多
不过7%仍然是谷歌
测试中的最佳提升
不能推导成每项
视频任务都会更准确
长视频海里捞针是最直接的应用
几小时会议中
一名发言者提到某个数字
教学录像里
老师临时修正一个公式
监控画面中
一个物体短暂离开又返回
传统语义检索依赖字幕
遇到没有对白的视觉事件就会失效
Gemini可以先用字幕缩小范围
也能直接扫描画面和音频
再对候选片段复查
亚秒级时刻检索则会影响自动剪辑
剪辑系统过去可以找到一段话
却很难精确判断动作
开始和结束的位置
结果常常多切半秒或截断手势
模型能从新采样局部画面后
可以寻找更紧的切点
它仍然需要人工检查节奏和叙事
但粗剪镜头定位和
素材筛选会快很多
内容创作者面对的第一个
变化是素材库开始真正可搜索
大量频道保存着多年采访和发布会
也留下不少录屏
文件名无法描述其中
每一分钟发生了什么
智能视频API可以围绕
具体问题查询这些素材
比如找出某位嘉宾所有
谈到芯片成本的片段
或者定位产品界面
第一次出现异常的位置
过去被存进硬盘后很少再用的内容
有机会重新变成生产资料
第二个变化是核对流程
脚本提到一个产品功能
模型可以跳到相关演示片段
检查画面是否真的支持这句描述
剪辑完成后
也可以核对旁白字幕和
镜头有没有明显冲突
AI不能替代编辑做最终事实判断
但它能把需要人工检查的
范围从两小时缩到几分钟
第三个变化是长内容再利用
一场访谈可以被拆成
主题段落和短片候选
同时生成时间轴
课程可以自动生成章节索引
企业培训录像可以按问题调用
用户用自然语言直接进入某个时刻
并看到支持答案的画面
比再做一个摘要按钮更有价值
谷歌自己拥有一个其他
模型公司很难复制的优势YouTube
官方计划在未来数月让智能体视频
理解支持播放页面的ask YouTube功能
并逐步进入Gemini应用
的Flash和Flashlight模型
Gemini一旦能够动态
读取Youtube画面与字幕
还能读取音频
平台搜索的对象就会从标题与描述
再从转录文字扩展到
视频内部真正发生的动作
传统搜索引擎主要索引网页文本
视频搜索长期依赖
创作者写标题和打标签
也依赖上传字幕
画面中的细节很难被准确索引
智能体理解让
哪一期评测里出现过这个接口
哪场比赛发生过类似动作
这样的查询更接近可用
Youtube数十亿小时内容也会
因此变成Google模型独有的
训练和检索以及产品分发优势
旧内容的价值也可能重新计算
一段上传5年的教程
标题早已不符合今天的搜索表达
其中某个30秒演示仍然很有用
平台能理解画面后
这个片段有机会直接回答新问题
长视频不必完全依赖
发布日期和整体点击量
它内部的具体知识可以被再次发现
创作者过去积累的内容库
可能成为持续被检索的资产
这也会改变内容结构
讲者如果清楚说出阶段结论
画面与论点保持对应
模型更容易建立可靠索引
大量绕圈
标题与内容脱节
或者关键信息没有视觉证据
会增加机器理解难度
面向人类的好表达
和面向AI的可检索性
在很多地方其实一致
主题明确
信息有上下文
结论能够被证据定位
这套组合有很强的商业闭环
Google提供模型和API
也掌握云计算平台与视频内容入口
开发者为动态分析支付TOKEN
普通用户在Gemini和Youtube中使用结果
技术提升带来的收益
不止落在模型调用量
还可能提高用户停留
时间和搜索覆盖率
也让旧内容再次获得分发机会
创作者也要看到另一面
平台能更细的理解画面后
标题和封面与实际内容是否
匹配会更容易被机器检查
只靠夸张标题吸引点击
正文长期不兑现承诺的内容
可能更难获得稳定推荐
相反结构清晰且画面证据充分
每一段都有新信息的长内容
更容易被系统拆解成可检索片段
这并不代表算法已经公开
承诺按照这种方式排名
Google只确认智能体理
解将用于ask YouTube
没有宣布它直接改变推荐权重
合理推测与已确认功能要分开
可以确定的是
平台理解内容的粒度正在提高
至于它何时以什么方式影响分发
仍要等待产品上线后的
公开说明和实际数据
企业市场的用途更广
客服团队可以查询屏幕录制
寻找用户在哪一步操作失败
保险公司可以定位
事故录像中的关键动作
医疗培训可以按手术阶段检索片段
零售系统可以统计特定事件
安全团队则能从
长时间监控中筛选异常
每个场景都需要独立评估准确率
不能因为通用榜单
提高7%就省掉行业验证
尤其是异常检测
错误成本可能完全不同
漏掉短暂故障会造成停机
误报太多又会让工作人员失去耐心
Gemini能够提高局部帧率
并不等于它理解所有物理因果
真实部署要保留阈值设计
抽样复合和人工升级机制
高风险决定不能只凭一句模型输出
智能体模式还有一个
容易被忽略的代价
首次响应可能变慢
5分钟以内的短片
如果强调速度
静态模式通常更合适
智能体要先规划和调用内部工具
等待片段返回后再生成答案
它少处理了整体内容
却增加了几轮内部操作
成本和准确率以及首字
延迟之间仍然需要取舍
开发文档还保留了
静态模式的自定义能力
开发者可以指定视频起止时间
也能设置固定帧率
某些任务已经知道目标区间
直接切片比让模型自行寻找更快
逐帧检查法规要求完整覆盖
或需要确定性处理的流程
也不适合完全交给动态导航
新功能扩充了工具箱
没有让旧方法失效
多轮对话同样存在工程细节
使用有状态模式时
服务器可以保留视频上下文
无状态模式需要开发者把
Processing call与Processing result等
步骤带入下一次请求
遗漏这些步骤不会立刻报错
却会丢失已经建立的视频上下文
后续回答质量可能明显下降
产品体验是否可靠
很大程度取决于开发者
有没有正确管理状态
隐私问题也会随能力增强而扩大
视频常常包含人脸和声音
也可能包含屏幕内容与地理位置
比普通文本更容易暴露身份
企业上传会议录像或监控资料前
要确认数据保留和地区合规
也要确认访问权限
API能否理解视频与组织是否
有权处理视频是两件不同的事
版权风险也需要单独处理
系统可以定位并总结公开视频
还能切割相关片段
不代表开发者自动拥有
重新发布内容的权利
公开视频链接只是输入方式
版权仍然属于权利人
创作者使用第三方片段时
需要加入实质性的评论和分析
或提供教育价值
并确认素材使用
符合法律与平台规则
技术把复制和剪辑变容易后
原创判断反而更重要
Youtube当前的创作者规则没有
禁止使用AI协助选题与脚本
或者生成标题和字幕
平台重点审查批量生产和内容重复
也会看频道是否缺少原创判断
能否看出实质改造
如果智能视频API只是把大量
内容自动摘要后重新上传
仍可能被认定为低
价值或非原创内容
加入清楚的判断并重新组织事实
还要提供独立分析
才形成可识别的创作贡献
如果成片使用AI生成的
逼真人物或真实地点
也包括并未发生的现实事件
还要按照Youtube要求
进行合成内容披露
单纯用AI整理材料和辅助写作
或者生成标题
通常不需要披露
智能视频理解本身属于分析工具
是否需要标签取决于最终画面和
声音有没有以逼真方式改变现实
模型主动选择观看范围
还会引入一种新错误
静态模式至少能确认所有按固定
间隔抽取的画面都进入了上下文
智能体模式可能在
搜索阶段判断错方向
关键片段从未被加载
随后给出逻辑流畅但
证据不完整的答案
TOKEN减少和证据覆盖之间存在张力
开发者要能够检查
模型到底看了哪些片段
还有一种错误来自跨模态冲突
字幕写着一个数字
演示文稿显示另一个数字
讲者随后又口头修正
模型必须判断哪一项代表最终结论
如果它只加载转录
可能漏掉屏幕修订
只看画面
又可能不知道讲者已经否定旧数据
智能体的优势来自灵活选择
可靠性却要求它在存在
冲突时主动读取第二种证据
开发者可以设置一条简单规则
重要结论至少有两类信号互相核对
涉及数字时同时检查语音和画面
涉及动作时
查看动作前后完整区间
涉及人物表态时
保留足够上下文
避免截取半句话
这样会增加TOKEN
却能降低断章取义和局部误判
效率最高的答案不一定是业务
风险最低的答案Processing call和
Processing result为可观测性提供了入口
但目前这些步骤不等于
一份完整的审计报告
高风险系统还需要
记录查询和加载区间
以及采样参数模型版本与最终依据
只有结果可追踪
团队才能区分模型看错还是漏看
或者素材本身不清楚
没有这层记录
动态导航发生错误时会更难复盘
谷歌这次更新代表多
模态AI进入新的阶段
早期模型解决能不能读懂一张图
后来解决能不能接收一整段视频
现在的问题变成能不能
围绕目标管理自己的注意力
视频长度继续增长之后
知道哪一秒值得消耗
更多算力会成为稀缺能力
把所有内容塞进上下文只是基础
这种注意力分配会影响
模型架构和产品设计
未来的视频应用可能先由便宜
模型扫描字幕和低分辨率画面
再调用更强模型检查少数片段
不同工具负责检索和重采样
以及识别验证
最终由一个智能体组织流程
用户只提出问题
后台根据证据难度决定花多少钱
模型公司也会从出售上下文
窗口转向出售解决问题的路径
过去大上下文越长越容易宣传
开发者却要为大量无关输入付费
动态视频理解显示
窗口足够大之后
下一轮竞争会转向检索
效率工具调用和证据选择
读的少还能答的准
比单纯读的多更有商业价值
云计算市场也会受到影响
企业过去先用专门服务
完成转录和视觉识别
再做内容检索
最后把结构化结果交给大模型
Gemini把这些步骤合在一次交互中
开发门槛下降
调用也更集中到Google体系
独立工具不会马上消失
它们需要在行业精度和私有部署
以及可审计性上证明自身价值
API有时真正面对的竞争
来自人工快进播放令
一加模型反倒排在后面
一个分析员花40分钟
浏览两小时录像
如果模型调用费用更高
结果还要从头复核
自动化就没有经济价值
智能体模式要证明的是它能把人类
复核压缩到几个带时间戳的片段
并且总成本低于人工初筛
这个标准比榜单提高
几个百分点更严格
Google给出的最高88%TOKEN
节省和7%质量提升
正好体现这条路线
他们目前仍是厂商测试数字
需要第三方在不同
语言和不同画质下
再按任务类型复现
特别是字幕缺失和多人重叠说话
再加上镜头快速
切换与专业术语密集
效果可能与标准测试相差很大
判断这项API是否真正成功
可以看三个指标
第一个是长视频成本
能否随着问题范围缩小
而不是随着总时长线性上涨
第二个是模型遗漏关键片段的概率
不能只看最终平均准确率
第三个是证据能否
回到清楚的时间戳
让用户快速核对
只要这三点同时成立
视频才会从难以利用的
文件变成可靠的数据源
对创作者而言
最先落地的机会可能很朴素
找素材更快
切片更准
核对事实也更容易
对企业而言
它可以减少人工浏览
数小时录像的时间
对Google而言
意义更大
Gemini终于能用一种成本可控
的方式深入Youtube和企业视频
让模型和云平台再与
内容入口连接起来
这场变化不会让人类
编辑和分析人员立刻消失
机器负责缩小范围
人负责判断语境和版权
也负责因果与表达
模型越擅长寻找片段
人类越应该把时间
放在它不擅长的部分
比如判断一句话是否断章取义
一个画面是否具有代表性
以及某个统计结果能不能推广
谷歌发布了一项视频API
底层改变的是AI获取信息的方法
过去它被动接收
开发者准备好的上下文
现在它会自己搜索
回看并改变采样策略
模型开始管理自己的注意力以后
视频理解的上限不再
只由上下文长度决定
也由它寻找证据的能力决定
下一阶段的竞争会围绕谁能用
更少TOKEN找到更关键的几秒
谁能把答案绑定到可核查的画面
谁又能在隐私和版权
边界内处理海量内容
Gemini的智能视频理解
已经迈出第一步
最高节省数字可以继续验证
但方向已经很明确
AI不需要看完整段内容
才有可能真正看懂问题