逐字稿文字預覽
谷歌刚刚改掉了语音AI里 一个很不起眼的信号 过去系统发出turn complete 开发者就知道这一轮结束了 可以收尾释放状态 等用户说下一句话 到了Gemini3. 8 live EXTENDED thinking 这个信号不再代表模型已经停下 它可能还在后台推理 可能正在调用工具 也可能过几秒又送回一段语音 一个看似普通的协议变化 留下了真正的问题 如果AI已经能一边和人说话 一边在后台继续工作 它还是语音助手 还是一个藏在 对话框背后的执行系统 2025年9月15日 谷歌正式发布Gemini3. 8live 和Gemini3. 8live EXTENDED THINKING 名字很接近 定位却被刻意拆开 基础版主打规模成本和低延迟 适合大量实时会话 extended thinking 负责复杂多步骤任务 允许模型在保持语音 交流的同时继续推理 谷歌没有把两者包装 成同一款模型的快慢档位 而是把实时语音市场分成了两层 大量便宜反应快的日常交互 以及需要更长思考更强 工具调用的复杂工作 过去十多年 手机里的语音助手 一直卡在一个尴尬位置 它们能设闹钟查天气拨电话 也能回答结构简单的问题 一旦任务跨过几个步骤 体验就会迅速崩掉 用户说一句话 语音先被转成文字 文字交给语言模型 模型生成答案 再由另一个系统把文字念出来 每经过一层 延迟都会增加 语气停顿和现场信息也会损失 用户打断时 系统还得判断这究竟是补充要求 还是要求它闭嘴 Gemini3. 8live试图把这条流水线 压成一套原生的实时模型 它直接接收音频 也能同时接收文字图像和视频 再直接输出语音与文字 对用户来说 变化不止体现在声音更顺 更关键的是模型能够保留说话方式 视觉环境和任务状态之间的联系 摄像头对着设备 用户可以边移动镜头边追问 画面发生变化 回答也能跟着调整 语音不再只是把文字送进去的入口 而是整个交互过程的一部分 但基础版最有价值的能力 可能并不在对话本身 而在异步函数调用 传统语音智能体调用外部工具时 经常要停下来等 它查订单 就等订单系统回传 它安排日程 就等日历接口完成 他修改账户 就等权限验证结束 几秒钟的停顿 放在网页里不算什么 放在电话里却足以 让人怀疑线路断了 Gemini3. 8live 可以让工具在后台运行 前台对话继续 模型能先确认请求 也能补问必要信息 甚至在任务执行期间解释当前进度 查航班和确认酒店可以同时进行 用户临时改变日期 系统再调整尚未提交的步骤 这里出现的是一套开始具备 并行工作能力的语音执行层 聊天只是它的前台表现 extended thinking把这条路线推得更远 复杂任务到来时 它可以先说一句正在检查 随后继续做多步骤推理 模型的后台状态不会 因为一句回答结束而清空 开发者必须持续监听服务器信息 通过interaction status判断 他仍在思考等待工具 还是已经真正空闲 也就是说 应用不能再把一次对话当成 问一句答一句的回合制游戏 它需要管理一个持续存在 随时可能返回新动作的代理状态 这个变化听起来很技术 商业影响却很直接 客服系统过去按照通话 时长和单轮处理设计 新的语音代理可能在一通电话 里同时访问知识库核对身份 修改后台记录并生成后续邮件 办公软件过去等用户点击菜单 新系统则允许用户用 连续语音描述目标 让模型跨越邮件文档 和待办事项处理工作 产品界面也会随之变化 屏幕上的按钮不会消失 但越来越多操作会从用户自己点完 变成用户交代目标 系统汇报过程 谷歌给出的演示很能说明方向 模型可以根据实时画面 指导员工完成入职流程 可以观察棋盘并保持自然对话 也可以把手绘草图和语音修改 要求变成可运行的react组件 另一个场景是多步骤预定 模型同时协调不同函数调用 又不让谈话中断 这些例子看起来分散 底层依赖同一种能力 让视觉与语音交互连 到推理和工具调用中 并维持一个持续会话 语言覆盖也被扩大到97种 系统可以在谈话中 自动发现语言变化 不要求用户先进入设置切换 对于跨国客服与旅游服务 以及医疗预约和远程协作 这比单纯增加语言数量更实用 真实交流经常混入公司名和产品名 也常夹着数字与英文缩写 一段话里切换两种语言并不少见 谷歌还特别强调字母数字精度 因为验证码和理赔编号 以及地址与技术参数 正是语音系统最容易 听错又最不能听错的内容 不过模型支持97种语言 不等于97种语言都达到同样水平 训练数据口音覆盖和 地区用词都会影响表现 一个模型在英语测试里领先 不能自动证明它能处理粤语加英文 印度英语或嘈杂门店里的专业术语 谷歌公布的是能力边界 企业真正部署前仍要用自己 的用户设备和环境重新测试 官方模型卡给出了更清楚的规格 两款模型都建立在Gemini3Pro之上 可以接收文字与图片 也能处理视频和音频 上下文上限为131,072个TOKEN 输出上限为65,536个TOKEN EXTENDED thinking支持搜索 接地和异步函数调用 却不支持代码执行与文件搜索 也没有结构化输出和网址上下文 功能表里的一排不支持很重要 它提醒开发者 这是一款为实时语音和 工具协作优化的模型 并没有把所有Gemini 能力都塞进电话线路 谷歌把边说边想放在发布重点里 评测自然也集中在语音 质量推理和任务完成 Gemini 3. 8 live EXTENDED thinking AI Artificial Analysis speech to speech quality index 模型獲得82. 6分 这个指数把语音推理对话动态 和代理任务表现合在一起计算 在BigBench Audio中達到97. 7% 在测试智能体任务完成 在測試智能體任務完成能力的Tall Voice里達到68. 6% 这些数字解释了谷歌为什么敢把 它称为最先进的实时对话模型 可真正值得盯住的数字是 银行业务基准里的35. 1% 这个测试要求语音代理 处理多步骤银行流程 成功率越过三成 却仍有接近2/3的任务没有完整完成 82. 6分很适合放在发布会大屏幕上 35. 1% 更接近企业部署时必须面对的现实 模型已经能处理过去 做不到的复杂流程 但离可以把高风险业务放心 交出去仍然隔着很长一段路 这也说明语音AI的竞争正在换指标 早期产品比较谁的声音更像真人 随后比较首个音节要等多久 现在声音自然只是门票 真正决定价值的是 一通对话结束以后 事情有没有办成 记录有没有写对 权限有没有越界 用户临时改口以后 系统有没有撤回旧操作 一个声音很自然 任务却做错的代理 只会让错误更有迷惑性 排行榜本身也需要谨慎解读 官方发布时 基础版Gemini 3. 8live在 盲测偏好中排名靠前 extended thinking在综合质量指数领先 可不同榜单测量的东西不同 模型设置和思考强度 再加上延迟与价格 都会改变结果 盲测更看重人是否喜欢这段对话 任务基准更看重流程是否完成 企业不能只选总分最高的模型 还得确认自己的 任务更怕延迟与费用 还是听错数字或错误调用工具 价格正是谷歌这次进攻的另一部分 官方开发者资料给出的音频 输入价格约为每分钟0. 005美元 音频输出约为每分钟0. 018美元 连续输入一小时大约0. 3美元 连续输出一小时约1. 08美元 真实通话不会始终由同一方说话 实际账单还取决于沉默处理 上下文长度工具调用和会话管理 但这个价格已经足以让大规模客服 陪练和企业助手认真计算替代方案 谷歌选在这个时间点推出两款模型 也暴露了他对市场的判断 实时语音不会只有一个冠军通吃 高频简单 成本敏感的业务需要基础版 少量复杂价值更高的流程 才值得开启extended thinking 要是每次查天气都 让模型长时间推理 用户会觉得慢 企业也会为没有必要的计算付钱 双模型结构等于把什么时候 值得思考变成产品设计的一部分 开发者还要承担新的工程成本 要求函数调用全部采用异步方式 客户端不能在出现后立即关闭连接 后台推理可能继续 返回工具请求和音频帧 应用必须能取消和处理超时 还要防止重复提交并恢复状态 用户说算了不要定 系统能否及时终止已经启动的步骤 网路短暂中断以后 模型会不会把同一笔操作执行两次 这些问题不会出现在 漂亮的语音演示里 却会决定产品能不能上线 权限设计也比过去更难 一个只能回答问题的模型说错话 主要风险是误导 一个可以访问邮箱与日历 还能接触客户资料和 付款接口的模型说错话 风险会变成真实动作 企业需要把能听懂请求 和有权执行请求拆开 查询信息可以自动完成 修改账户发送敏感邮件或提交交易 应当触发再次确认 语音越自然 越不能让用户误以为系统拥有 和人类员工相同的判断能力 银行场景能把这套矛盾看得最清楚 客户打电话修改通讯地址 表面只是几句话 后台先要验证身份 查询账户和提示风险 随后还要变更资料并留下审计记录 任何一步做错 后面的动作都会建立在错误状态上 实时模型的优势是不用把 客户反复转接给不同菜单 风险则是它可能用非常自然的 语气把一条错误路径执行到底 因此企业需要给每个 工具设置独立权限 不能因为模型通过了身份验证 就默认它获得整场 会话的全部操作权 医疗预约也一样 模型可以查看时间表 询问症状 匹配科室 再发送提醒 这些工作很适合自动化 可它不能因为听见几个关键词 就替医生做诊断 系统必须把行政 流程和医疗判断分开 哪句话只是收集信息 哪句话属于健康建议 什么情况必须转给真人 都应在模型之外写成明确规则 模型越能自由交流 外部规则越要清楚 企业培训可能成为更早成熟的市场 谈判训练销售陪练和客服模拟 不需要模型真的修改客户账户 却非常依赖语气打断和连续追问 Gemini 3. 8live可以扮演 不同类型的对话对象 根据学员表现及时改变难度 再把交流记录交给评估系统 这里即使出现错误 也容易在训练结束后纠正 部署风险低于金融交易 却能充分利用实时语音的优势 无障碍交互同样值得注意 用户可以把摄像头对准设备 让模型用语音描述按钮位置 或者边操作边询问下一步 视力受限者 手部操作不便者 以及不熟悉复杂软件的人 都可能因此减少学习成本 不过视觉帧率 环境光线和网络延迟会影响判断 模型看漏一个指示灯 后面的指导就可能失去依据 无障碍工具更需要 明确表达不确定性 不能为了流畅而假装看清了 这些场景共同指向一个工程原则 实时语音代理不应只按 回答是否好听验收 还要拆成多个指标 听写是否准确 身份信息有没有串到下一名用户 工具参数是否正确 取消指令能否及时生效 长会话以后状态会不会漂移 网路恢复后是否重复执行 都要单独测试 传统聊天机器人的离线 问答集覆盖不了这些问题 官方评测也暴露了这一点 artificial analysis的综合指数把 多项能力合并成一个分数 便于横向比较 却无法替代业务测试 top voice测量代理在完整 语音任务中的完成情况 已经比单轮问答接近真实使用 银行基准进一步加入 规则和多步骤流程 所以成功率明显下降 任务越接近现实 票量分数越难维持 35. 1%直接标出了企业 自动化的真实边界 不能简单算作发布失败 还有一个容易忽略的成本是上下文 实时会话不断积累音频 视觉帧工具结果和系统状态 即使每分钟音频价格很低 长时间保留全部内容 也会增加推理负担 产品需要决定哪些 信息继续留在上下文里 哪些压缩成摘要 哪些在任务结束后立即删除 压缩太早 模型可能忘记用户刚刚修改的条件 什么都保留 费用延迟和隐私风险都会上升 这会催生一层新的会话基础设施 他要检测语音活动和处理打断 也要压缩状态管理工具队列 并负责用户确认与错误恢复 基础模型给出能力上限 这层基础设施决定 能力能否稳定落地 谷歌同時與Livekit、Agora、Pipecat Lang chain和Versatile等平台合作 原因就在这里 多数开发团队不愿从头 处理实时音视频传输 他们更希望直接设计业务流程 产品经理面对的问题也变了 过去设计语音助手 需要为每个意图写固定路线 现在模型能理解开放表达 团队不用穷举所有说法 却必须规定哪些目标 允许模型自行拆解 自由度越高 测试空间越大 一个用户可能先订酒店 再突然要求取消航班 随后补充同行者信息 系统得知道哪些动作仍在草稿 哪些已经提交 哪些需要退款 自然语言只是入口 真正困难的是交易状态 谷歌把可配置思考加入EXTENDED thinking 也是在处理成本与可靠性的冲突 简单问题不需要长时间推理 复杂流程才值得付出更多计算 企业可以根据任务 风险调整思考强度 高价值操作用更严格的推理和验证 普通查询则优先保证速度 但思考时间更长并不 自动等于结果正确 模型可能用更多步骤巩固错误假设 因此仍要依靠外部 数据和工具回传纠正 实时进度播报也需要节制 模型如果每走一步都解释 会拉长通话并增加输出费用 完全沉默 用户又不知道任务是否卡住 合理做法是只在状态发生变化 需要用户补充信息或 等待明显变长时播报 这个细节会决定AI听起来像 一个有效率的服务人员 还是一个不停描述自己动作的系统 视觉输入又打开了另一条供给面 讓它能看見屏幕和摄像头 也可能读到画面里 专门写给AI的恶意指令 一个网页 一张海报 甚至远程会议中的共享画面 都可能试图诱导代理忽略原任务 语音里同样可以夹带间接提示注入 实时系统必须知道 哪些内容来自用户 哪些来自环境 哪些只应该被当做资料 不能让所有输入拥有同等指挥权 隐私问题也不会因为 模型更流畅而自动消失 实时语音往往包含背景谈话 家庭环境办公室画面和身份信息 模型为了保持连续性 还需要维护更长的会话状态 企业必须明确音频是否保存 保存多久 谁能访问 是否用于训练 以及用户怎样删除 很多人愿意把一条 文字问题交给云端 不代表他们愿意把整场会议 和摄像头画面持续送出去 谷歌为生成音频加入SINC ID水印 所有自家AI产品产生的音频 都嵌入不可感知的标记 这有助于识别合成内容 却解决不了全部问题 水印主要说明一段音频由AI生成 不能证明内容真实 也不能阻止有人截取混剪 或通过其他系统重新编码 更何况实时语音代理最大的 风险未必是伪造一段录音 而是他在真实账户 里执行了错误操作 模型卡还列出几个容易 被发布热度盖住的限制 两款模型仍会产生幻觉 也可能遇到响应变慢和超时 知识截止时间是2025年1月 他们在前沿安全和 越狱抵抗上经过加强 却没有被宣布为不可绕过 用于新闻与金融 或者医疗和法律场景时 实时说出答案不等于答案已经核验 速度越快 产品越需要把
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：14.8 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：46.2 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.3 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.3 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.3 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.4 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.4 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：180.5 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.6 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.6 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
目前待解決問題與初步改善方向
- ⚠️ 全文快速校讀：已套用暫定修正，請確認
segment=18 已先套用暫定修正：2026年9月15日 → 2025年9月15日；segment=187 已先套用暫定修正：AI artificial analysis → AI Artificial Analysis；segment=189 已先套用暫定修正：琼获得82.6分 → 模型獲得82.6分；segment=192 已先套用暫定修正：模型在bigbench Audio中达到97.7% → 在BigBench Audio中達到97.7%；segment=18 待確認：上下文第495段明確指出知識截止為2025年1月，且Gemini 3.8為最新發布，2026年9月為未來時間，與「剛剛震撼發布」的語境矛盾，推測為2025年的筆誤。；暫定：2025年9月15日；segment=194 待確認：「tall voice」疑為評測基準名稱「ToolBench」或「Tool Voice」的同音錯詞，但暫無法確定確切名稱，故標記為待確認。；暫定：在測試智能體任務完成能力的Tall Voice里達到68.6%；segment=402 待確認：「Pipekit」疑為「Pipecat」（常見音頻流處理庫）的同音錯詞，但需確認具體合作名單。；暫定：谷歌同時與Livekit、Agora、Pipecat；segment=589 待確認：「Workspace search和Gemini应用」中間缺少連接詞或頓號，且「search」應大寫，推測為產品列表。；暫定：Workspace、Search和Gemini應用
- 逐字稿可先使用，但有待校正清單
segment=18 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=194 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=402 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=589 rapid_semantic_review: 全文速讀上下文判斷；尚未回聽或交叉比對；segment=187 rapid_semantic_review: 第366段明確寫出「artificial analysis」，此處為同音錯詞。；segment=189 rapid_semantic_review: 「琼」在語境中無意義，推測為「模型」或「其」。；segment=478 rapid_semantic_review: 「SINC ID」需確認是否為Google官方術語。；segment=616 rapid_semantic_review: 「异常」後語意斷裂，需補全。
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。