逐字稿文字預覽
一个AI agent 连续试了几百条路线 大部分失败 少数成功 任务结束以后 成功答案被保存 失败过程通常被丢进日志 Dreamrsi提出了一个反常做法 真正值钱的可能正是那些失败记录 它们可以组成一张探索地图 让下一版agent不用重新花钱执行 就能在过去走过的世界 里测试上千种新策略 但一个问题也跟着出现 agent是在真正变聪明 还是只学会了更 熟练的走一张旧地图 2026年9月 由Google Google deep mind 马里兰大学和 弗吉尼亚大学研究人员组成的团队 发布Dreamrsl RSI是recursive self improvement 也就是递归自我改进 这个词很容易让人联想到 AI重写自己的大脑能力 一轮又一轮上涨 最后进入智能爆炸 dream RSI做的事情更具体 它不修改基础模型的权重 也没有训练出一个新的Gemini 它改进的是agent在复杂 任务中怎样分配探索资源 要理解这项工作 得先看AI agent处理长 任务时究竟在做什么 假设任务是优化一个GPU内核 agent先提出一段代码 执行测速 再根据结果决定下一步 它可能修改内存访问 可能换一种并行方式 也可能从某个旧版本重新分支 简单任务走几步就结束 真正困难的任务会形成 几十甚至上千条路线 这里最昂贵的部分是 决定下一次尝试放在哪里 生成代码反而只占其中一环 应该继续打磨当前最好方案 还是回头救一条被过早放弃的分支 应该同时运行多少个候选 一个方向连续失败几次以后 什么时候停 这些选择统称为探索策略 策略写得差 再强的模型也会把 大量算力浪费在死路上 现用系统常用固定 策略解决这个问题 人类提前规定每轮生成多少候选 保留几个高分结果 并行探索几条路线 再循环多少次 这种方法稳定 却不会从过去的搜索经验中学习 agent已经反复撞过同一堵墙 调度规则下一轮仍可能 把资源投向类似方向 另一条路是在线优化探索策略 让agent一边执行任务 一边试验哪种调度方式更好 问题马上变成成本 判断一套探索策略有没有用 不能只看它下一步选对没有 往往要让它跑完整个长周期任务 最后比较结果和费用 候选策略很多 大多数还会很差 每测试一个策略都重新调用模型 编译代码和运行评测 元优化本身可能比解决任务更贵 dream RSI抓住了一个长期 被当成副产品的东西 完整的发现历史 一次长任务结束后 系统手里不只有最终答案 还有一棵探索树 树上的每个节点都保存 当时的观察和生成方案 也保存文件状态执行 结果以及诊断信息与评分 这是一份结构化的行动与结果记录 远比一段模糊的经验总结具体 研究团队把这棵树当成重放模拟器 新的探索策略进入以后 不需要真的重新 生成和运行每个候选 它只要按照自己的规则遍历这棵树 它可以先看另一条分支 可以同时打开更多节点 也可以更早停止低价值路线 只要它访问的节点已经存在 结果就能从硬盘里直接读出 一次昂贵的在线探索 因此可以支持大量 便宜的离线策略测试 论文把这个过程称为做梦 agent没有回到真实环境重新工作 而是在过去形成的 世界里尝试不同走法 这个比喻听起来很大 机制其实非常工程化 历史记录给出的结果不会像 学习型世界模型那样猜测 因为节点里的代码已经运行过 分数也已经测过 在历史真正覆盖的区域内 它是一次精确重放 限制也埋在同一句话里 历史没有去过的地方 模拟器就无法回答 新策略走到一条过去未展开的分支 系统手中没有结果 既不能保证那里是死路 也不能凭空预测它会成功 Dreamrsi只拥有已经 探索区域的精确地图 覆盖不了整个未知空间 这也是系统必须递归运行的原因 第一轮当前策略进入在线环境 驱动编码agent展开探索 并保存一棵树 第二步这棵树被加入模拟器池 第三步策略开发agent开始 修改探索策略的代码 生成多个候选版本 再把它们放进所有历史树中重放 综合表现最好的策略被选中 进入下一轮在线探索 新策略回到真实任务后 可能到达旧策略从未到过的区域 于是生成一棵不同的探索树 这颗新树又进入模拟器池 供下一轮策略改进使用 策略改变探索 探索扩大历史 扩大的历史再改变策略 dream RSI所谓的递归 指的就是这个闭环 被修改的对象必须再强调一次 论文中的基础模型保持不变 执行任务的编码agent保持不变 评分器和工具接口也保持不变 系统没有对Gemini进行梯度更新 它重写的是外部调度代码 包括分支选择 并行数量和停止规则 项目说明甚至专门写出 Zero gradient steps on the coding agent 就是为了避免把它误解 成模型再重新训练自己 这并不代表改进很浅 模型能力决定一个 候选方案能做到多好 探索策略决定有限预算 能不能找到那个候选 现实中的很多AI任务 模型本来可能会做 只是系统在正确答案出现以前 已经耗完时间TOKEN或执行额度 调度层只要减少无效尝试 就能在不更换模型的 情况下提高最终结果 dream RSI的策略本身是可执行代码 策略开发agent会连续 写出多个修订版 每个版本在历史 模拟器池中接受评分 当前正在使用的旧 策略也被放进候选集合 因此系统总能保留旧版本 论文据此提出 新一轮选出的策略在历史 重放分数上不会比旧策略更差 不会更差有严格范围 它只保证选出的策略在 已经记录的历史和既定 评分方式下不低于旧策略 换一个任务 换一种数据分布 或者评分器本身漏掉了重要质量 新策略依然可能退步 历史回放能防止明显回归 不能提供对未知世界的永久保证 研究团队在8项发现 任务上测试了这套框架 覆盖算法工程数学 优化和GPU内核工程 对照组叫recursive fixed exploration 两边使用相同的基础模型评分器 初始策略和每轮预算 第一轮甚至完全一致 差别从第二轮开始出现 对照组保持原调度方式 dream RSI根据历史重放 持续修改探索策略 算法工程部分选择了 Lasso正则化路径求解器 这个任务要求agent写出速度快 结果正确的程序 再在6个流出数据集 上测量运行时间 使用Gemini3.1Pro时 固定探索消耗550次 发现agent调用 最终平均运行时间为3,587.1毫秒 dream RSI使用317次调用 把平均时间降到2,931.0毫秒 调用量减少约1.7倍 找到的程序反而更快 换成Gemini3.7Flash以后 固定策略用了3,200次调用 平均运行时间是2,516.7毫秒 dream RSI用了1,879次调用 得到2,350.6毫秒 和simple test使用的51,200次生成相比 论文在部分设置中报告 最多162倍的调用节省 这个数字很醒目 但比较对象和预算 设置必须一起保留 不能把它解释成 所有任务都节省162倍 被发现的Lasso程序也不是 凭空拼出一段神秘代码 它结合了强规则筛选 基于柯西斯瓦茨不等式的KKT剪枝 活动集合管理 延迟构建GRAM矩阵和硬件 优化系统在大量候选中 找到了一套更合适的组合 并根据问题规模调整验证成本 他证明调度改进可以 落到可测量的程序性能 而不是只让agent自评这次更有创意 数学优化部分包含核差集合 自相关不等式与圆形装箱 dream RSI在核差问题上取得1.145427 超过论文列出的simple test与固定探索结果 原型装箱达到2.635983 与最强对照结果持平 自相关任务得到1.456375 没有超过simple TES的1.453675 因为该项指标越低越好 这个结果提醒外界 dream RSI没有在每个任务上全面获胜 它的优势仍体现在预算 simple t ES在对照中使用51200次生成 Dreamrsi少于1,000次 部分结果未必拿到单项第一 但单位计算成本更有竞争力 这类系统真正追求的目标是用更 少真实执行找到足够好的方案 排行榜最高分只是其中一个指标 GPU内核工程又提供了另一种检验 在VGG16和layer norm任务中 dream RSI达到相近性能时 分别减少2.43倍和1.79倍生成次数 CONV div与CONV Max在相近预算下 性能分别达到固定 探索的2.09倍和1.44倍 四类任务涉及不同计算结构 说明学习到的策略至少 没有被锁死在一个算法题上 研究人员还观察了策略怎样变化 在Convictive实验中 系统表现上升后 把每轮评估的尝试从110个降到50个 主动节省计算 进展停滞以后 它又扩大探索 评估数量回升 随后出现新的性能跳跃 他学会根据进展调节搜索强度 表现上升时缩减预算 停滞时重新扩大分支 另一个实验更有意思 研究团队把历史轨迹 总结成高层语义建议 再塞回提示词 例如告诉agent哪些 方向可能更有希望 这种看起来更像人类复盘的做法 表现反而低于直接使用历史数重放 原因可能是总结会过早压缩信息 也会把过去的成功变成强烈偏见 导致新一轮探索集中在少数方向 树状历史保留了更多反事实空间 策略可以看到某条路线在哪里停下 也能重新安排那些 当时被忽略的节点 文字总结通常只留下应该做什么 探索树还保留做过什么 失败在哪里 当时还有哪些路没继续 对于长周期多分支任务 这两类记忆并不等价 它和检索增强生成也有明显差别 普通记忆系统在遇到新任务时 找出几段相似经验放进上下文 模型读完以后自行决定怎么做 dream RSI不止提供旧经验 还让候选策略在旧树上实际走一遍 并按照成本与结果计分 前者提供参考材料 后者提供可比较的行为反馈 它也不同于微调 微调把经验压进模型参数 可能提高一类任务的平均表现 却很难解释某次提升来自哪条轨迹 dream RSI保留基础模型 只修改外部策略代码 旧策略和新策略可以逐行比较 表现变化也能对应到具体历史数 代价是它不能直接扩大 模型的知识和推理上限 只能更有效地调用已有能力 和传统强化学习相比 dream RSI借用了离线策略评估的思想 却利用了编码任务特有的结构 环境结果已经被保存在 文件程序输出和分数中 重放时不需要学习 一个近似动力学模型 只要候选策略不走出历史树 反馈就是当时真实执行过的结果 强化学习中常见的模型 预测误差因此被缩小 但覆盖不足的问题仍然存在 可以用一个简化例子理解 某次内核优化一共展开100个节点 旧策略先连续打磨a路线40次 再试b和c 后来发现真正的突破 来自c的第六个分支 新策略可以在历史树里提前访问c 并减少a上的预算 它不需要重新编译那100份代码 因为结果都已保存 可要是新策略想尝试 从未出现过的d路线 历史就无法提供答案 只能等下一轮真实执行 这套方法因此同时依赖两种质量 第一种是历史覆盖 探索树必须足够丰富 不能只记录最后几个成功候选 第二种是评分质量 每个节点的结果必须可靠 日志缺失执行环境变化或 评分器错误都会让模拟世界失真 系统节省了重复执行成本 也把更高要求转移给 记录和评测基础设施 研究团队让候选策略在 全部历史数上接受评估 而不是只看最近一轮 这样可以降低策略 迎合单次任务的风险 旧世界越多 候选策略越难靠偶然路线获胜 不过历史池本身仍可能 偏向某些任务类型 如果过去全是GPU优化 得到的调度习惯未必适合数学证明 跨领域泛化需要更多实验 不能只凭三个领域就下定论 策略选择还涉及多目标权衡 发现系统既想要高质量结果 也想减少模型调用 执行时间和并行资源 一个策略可能用很少 调用找到不错答案 另一个策略消耗 更多预算拿到略高分 最终选谁取决于评价函数 怎样给质量和成本定价 Dreamrsi能优化这套权衡 却不能替使用者决定什么最重要 Dreamrsi最重要的产业含义 也许是把日志从成本变成资产 今天大量agent平台保存轨迹 主要用于排查错误 审计调用和改进提示词 dream RSI展示了另一种用途 只要轨迹包含清楚的 决策结构和可复现结果 它就能成为测试 未来调度策略的环境 公司已经为在线运行付过一次费用 后续可以反复利用 这段历史筛选策略 这会改变agent系统的竞争方式 模型公司比参数和推理能力 应用公司则可能开始 积累自己的探索世界 哪家企业拥有更多高质量任务轨迹 准确评分和真实执行结果 哪家企业就更容易把同 一款基础模型调度得更好 模型可以从API购买 历史数和业务评估器 却很难复制 这种资产还有很强的领域属性 芯片公司积累的是 内核编译器和硬件结果 药物公司积累的是 分子设计与实验反馈 软件团队积累的是代码 修改测试和故障记录 它们无法像通用文本 那样随手从互联网获取 未来的agent护城河 可能由两部分组成 一套探索策略 加上一批经过验证 能够重放的决策世界 成本结构也会改变 在线执行需要调用模型 占用机器并等待评估 离线重放主要读取保存结果 企业可以在真实执行次数不变 的情况下测试更多调度候选 一次失败不再只产生沉默成本 还能提高以后筛选策略的效率 任务量越大 历史复用带来的边际价值越明显 不过保存完整探索树并不便宜 每个节点可能包含代码仓库快照 编译产物日志评测结果和模型 上下文 长期积累会带来存储与治理压力 企业还要处理商业机密 个人数据和第三方代码许可 不能为了训练调度器 无限期保存所有轨迹 哪些节点值得保留 怎样脱敏 多久删除 同样需要策略 多人协作会让问题更复杂 一个agent负责提出方案 另一个负责测试 第三个负责审查 探索树里就会包含多个角色的行动 Dreamrsi目前主要改进 统一的探索控制器 未来系统可能进一步 学习怎样分配角色 什么时候让不同模型互相检查 调度层一旦扩展到模型选择 成本和能力都会出现新的组合空间 这里也存在反馈回路风险 某一版策略偏爱某种路线 它生成的新历史就会 更多覆盖这种路线 下一版又在这些历史上训练 偏好可能逐轮强化 系统需要保留一定探索比例 主动寻找历史之外的区域 否则模拟器池越大 视野反而越窄 论文中策略在停滞后重新扩大探索 是一个积极信号 却不能保证所有任务 都会自然出现这种行为 软件工程会最先受益 编译测试和性能评估都有明确反馈 agent生成代码以后 可以迅速知道对错 芯片设计数据库查询优化自动 调参和运筹问题也具备类似条件 只要结果可以自动验证 历史就能被组织成重放空间 策略改进也有稳定分数可以追踪 开放式研究要困难的多 一项科学假设是否有价值 可能几年后才知道 实验失败也可能来自 设备样本或测量误差 评分器给错方向 agent就会越来越擅长追逐错误目标 dream RSI解决了反馈昂贵的问题 却没有自动解决 反馈是否真实的问题 这种风险在自我 改进系统里会被放
本次執行流程與問題處理
下達指令
預期流程
- 採用來源字幕（略過語音辨識）
- 來源選擇與品質檢查
- 文字校正與句子單元
- 筆記與發布
- 公開網頁發布
1. 下載與語音辨識
工具：videonote-transcribe-url（主辨識管線：下載、Whisper 辨識與選稿）
處理：下載音訊、以 Whisper 辨識並選出最佳逐字稿
產出：yt_dlp_meta.json（影片元資料）、audio_16k_mono.wav（16kHz 單聲道音訊）、transcript.whisper.json（Whisper 辨識結果）、transcript.json（正式逐字稿）、transcript_selection_report.json（來源選擇報告）
耗時：15.1 秒
關係：依序執行
結果：完成
2. 全文快速校讀
工具：videonote_rapid_transcript_review.py
處理：先速讀完整逐字稿，再修正高可信突兀詞句並列出待確認項目
產出：rapid_transcript_review_report.json（產出檔案）
耗時：52.0 秒
關係：依序執行
結果：完成
3. 建立句子單元
工具：videonote-build-sentence-units
處理：將逐字稿切成帶時間軸的句子單元
產出：sentence_units.json（句子單元）
耗時：0.1 秒
關係：依序執行
結果：完成
4. 時間軸稽核
工具：videonote_timeline_audit.py
處理：檢查時間軸與音訊對齊
產出：timeline_audit_report.json（時間軸稽核）
耗時：0.1 秒
關係：依序執行
結果：完成
5. 品質檢查
工具：videonote_controlled_quality.py（檢查時間軸與品質）
處理：檢查語言、時間軸與可讀性品質
產出：controlled_quality_report.json（品質報告）、language_sanity_report.json（語言檢查）
耗時：0.2 秒
關係：依序執行
結果：完成
6. 播放時間軸回填
工具：videonote_rebase_display_timeline.py
處理：將網頁播放時間軸回填為校正字幕時間
產出：display_timeline_rebase_report.json（時間軸回填報告）
耗時：0.2 秒
關係：依序執行
結果：完成
7. 來源句整理
工具：videonote_prepare_source_entries.py
處理：整理來源句子供時間軸與頁面使用
產出：sentence_units.json（句子單元）
耗時：0.2 秒
關係：依序執行
結果：完成
8. 生成筆記摘要
工具：videonote-generate-note（生成筆記摘要）
處理：生成筆記摘要與重點
產出：note.md（筆記 Markdown）、note.html（筆記 HTML）
耗時：151.1 秒
關係：依序執行
結果：完成
9. 建立筆記頁面
工具：videonote-render-html（產生筆記 HTML）
處理：產生可閱讀的筆記 HTML 頁面
產出：note.html（筆記 HTML）
耗時：0.2 秒
關係：依序執行
結果：完成
10. 發布公開頁面
工具：videonote-publish（發布公開頁面）
處理：發布到公開網站與每日列表
產出：公開筆記網址、result.json（管線結果）
耗時：0.3 秒
關係：依序執行
結果：完成
手動來源字幕
自動來源字幕
Whisper 字幕
- 尚未產生
Qwen 字幕
- 尚未產生
Parakeet 字幕
- 尚未產生
MOSS 字幕
- 尚未產生
聲學時間證據（PyAnnote / WhisperX）
- 尚未產生
校正前後逐字稿
- 校正前 transcript.source.json 純文字 JSON
- 校正後 transcript.json 純文字 JSON
目前待解決問題與初步改善方向
- 逐字稿全文快速校讀未完成
已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。；RAPID_REVIEW_STATUS=REVIEW_REQUIRED_INVALID_OUTPUT
- Qwen3-ASR 未完成，需確認 qwen_asr_lab 環境與音訊後重試精進模式。
- 音訊下載不穩定，需更新 cookies / PO token 後重試精進模式。