一个AI agent
连续试了几百条路线
大部分失败
少数成功
任务结束以后
成功答案被保存
失败过程通常被丢进日志
Dreamrsi提出了一个反常做法
真正值钱的可能正是那些失败记录
它们可以组成一张探索地图
让下一版agent不用重新花钱执行
就能在过去走过的世界
里测试上千种新策略
但一个问题也跟着出现
agent是在真正变聪明
还是只学会了更
熟练的走一张旧地图
2026年9月
由Google Google deep mind
马里兰大学和
弗吉尼亚大学研究人员组成的团队
发布Dreamrsl
RSI是recursive self improvement
也就是递归自我改进
这个词很容易让人联想到
AI重写自己的大脑能力
一轮又一轮上涨
最后进入智能爆炸
dream RSI做的事情更具体
它不修改基础模型的权重
也没有训练出一个新的Gemini
它改进的是agent在复杂
任务中怎样分配探索资源
要理解这项工作
得先看AI agent处理长
任务时究竟在做什么
假设任务是优化一个GPU内核
agent先提出一段代码
执行测速
再根据结果决定下一步
它可能修改内存访问
可能换一种并行方式
也可能从某个旧版本重新分支
简单任务走几步就结束
真正困难的任务会形成
几十甚至上千条路线
这里最昂贵的部分是
决定下一次尝试放在哪里
生成代码反而只占其中一环
应该继续打磨当前最好方案
还是回头救一条被过早放弃的分支
应该同时运行多少个候选
一个方向连续失败几次以后
什么时候停
这些选择统称为探索策略
策略写得差
再强的模型也会把
大量算力浪费在死路上
现用系统常用固定
策略解决这个问题
人类提前规定每轮生成多少候选
保留几个高分结果
并行探索几条路线
再循环多少次
这种方法稳定
却不会从过去的搜索经验中学习
agent已经反复撞过同一堵墙
调度规则下一轮仍可能
把资源投向类似方向
另一条路是在线优化探索策略
让agent一边执行任务
一边试验哪种调度方式更好
问题马上变成成本
判断一套探索策略有没有用
不能只看它下一步选对没有
往往要让它跑完整个长周期任务
最后比较结果和费用
候选策略很多
大多数还会很差
每测试一个策略都重新调用模型
编译代码和运行评测
元优化本身可能比解决任务更贵
dream RSI抓住了一个长期
被当成副产品的东西
完整的发现历史
一次长任务结束后
系统手里不只有最终答案
还有一棵探索树
树上的每个节点都保存
当时的观察和生成方案
也保存文件状态执行
结果以及诊断信息与评分
这是一份结构化的行动与结果记录
远比一段模糊的经验总结具体
研究团队把这棵树当成重放模拟器
新的探索策略进入以后
不需要真的重新
生成和运行每个候选
它只要按照自己的规则遍历这棵树
它可以先看另一条分支
可以同时打开更多节点
也可以更早停止低价值路线
只要它访问的节点已经存在
结果就能从硬盘里直接读出
一次昂贵的在线探索
因此可以支持大量
便宜的离线策略测试
论文把这个过程称为做梦
agent没有回到真实环境重新工作
而是在过去形成的
世界里尝试不同走法
这个比喻听起来很大
机制其实非常工程化
历史记录给出的结果不会像
学习型世界模型那样猜测
因为节点里的代码已经运行过
分数也已经测过
在历史真正覆盖的区域内
它是一次精确重放
限制也埋在同一句话里
历史没有去过的地方
模拟器就无法回答
新策略走到一条过去未展开的分支
系统手中没有结果
既不能保证那里是死路
也不能凭空预测它会成功
Dreamrsi只拥有已经
探索区域的精确地图
覆盖不了整个未知空间
这也是系统必须递归运行的原因
第一轮当前策略进入在线环境
驱动编码agent展开探索
并保存一棵树
第二步这棵树被加入模拟器池
第三步策略开发agent开始
修改探索策略的代码
生成多个候选版本
再把它们放进所有历史树中重放
综合表现最好的策略被选中
进入下一轮在线探索
新策略回到真实任务后
可能到达旧策略从未到过的区域
于是生成一棵不同的探索树
这颗新树又进入模拟器池
供下一轮策略改进使用
策略改变探索
探索扩大历史
扩大的历史再改变策略
dream RSI所谓的递归
指的就是这个闭环
被修改的对象必须再强调一次
论文中的基础模型保持不变
执行任务的编码agent保持不变
评分器和工具接口也保持不变
系统没有对Gemini进行梯度更新
它重写的是外部调度代码
包括分支选择
并行数量和停止规则
项目说明甚至专门写出
Zero gradient steps on the coding agent
就是为了避免把它误解
成模型再重新训练自己
这并不代表改进很浅
模型能力决定一个
候选方案能做到多好
探索策略决定有限预算
能不能找到那个候选
现实中的很多AI任务
模型本来可能会做
只是系统在正确答案出现以前
已经耗完时间TOKEN或执行额度
调度层只要减少无效尝试
就能在不更换模型的
情况下提高最终结果
dream RSI的策略本身是可执行代码
策略开发agent会连续
写出多个修订版
每个版本在历史
模拟器池中接受评分
当前正在使用的旧
策略也被放进候选集合
因此系统总能保留旧版本
论文据此提出
新一轮选出的策略在历史
重放分数上不会比旧策略更差
不会更差有严格范围
它只保证选出的策略在
已经记录的历史和既定
评分方式下不低于旧策略
换一个任务
换一种数据分布
或者评分器本身漏掉了重要质量
新策略依然可能退步
历史回放能防止明显回归
不能提供对未知世界的永久保证
研究团队在8项发现
任务上测试了这套框架
覆盖算法工程数学
优化和GPU内核工程
对照组叫recursive fixed exploration
两边使用相同的基础模型评分器
初始策略和每轮预算
第一轮甚至完全一致
差别从第二轮开始出现
对照组保持原调度方式
dream RSI根据历史重放
持续修改探索策略
算法工程部分选择了
Lasso正则化路径求解器
这个任务要求agent写出速度快
结果正确的程序
再在6个流出数据集
上测量运行时间
使用Gemini3.1Pro时
固定探索消耗550次
发现agent调用
最终平均运行时间为3,587.1毫秒
dream RSI使用317次调用
把平均时间降到2,931.0毫秒
调用量减少约1.7倍
找到的程序反而更快
换成Gemini3.7Flash以后
固定策略用了3,200次调用
平均运行时间是2,516.7毫秒
dream RSI用了1,879次调用
得到2,350.6毫秒
和simple test使用的51,200次生成相比
论文在部分设置中报告
最多162倍的调用节省
这个数字很醒目
但比较对象和预算
设置必须一起保留
不能把它解释成
所有任务都节省162倍
被发现的Lasso程序也不是
凭空拼出一段神秘代码
它结合了强规则筛选
基于柯西斯瓦茨不等式的KKT剪枝
活动集合管理
延迟构建GRAM矩阵和硬件
优化系统在大量候选中
找到了一套更合适的组合
并根据问题规模调整验证成本
他证明调度改进可以
落到可测量的程序性能
而不是只让agent自评这次更有创意
数学优化部分包含核差集合
自相关不等式与圆形装箱
dream RSI在核差问题上取得1.145427
超过论文列出的simple
test与固定探索结果
原型装箱达到2.635983
与最强对照结果持平
自相关任务得到1.456375
没有超过simple TES的1.453675
因为该项指标越低越好
这个结果提醒外界
dream RSI没有在每个任务上全面获胜
它的优势仍体现在预算
simple t ES在对照中使用51200次生成
Dreamrsi少于1,000次
部分结果未必拿到单项第一
但单位计算成本更有竞争力
这类系统真正追求的目标是用更
少真实执行找到足够好的方案
排行榜最高分只是其中一个指标
GPU内核工程又提供了另一种检验
在VGG16和layer norm任务中
dream RSI达到相近性能时
分别减少2.43倍和1.79倍生成次数
CONV div与CONV Max在相近预算下
性能分别达到固定
探索的2.09倍和1.44倍
四类任务涉及不同计算结构
说明学习到的策略至少
没有被锁死在一个算法题上
研究人员还观察了策略怎样变化
在Convictive实验中
系统表现上升后
把每轮评估的尝试从110个降到50个
主动节省计算
进展停滞以后
它又扩大探索
评估数量回升
随后出现新的性能跳跃
他学会根据进展调节搜索强度
表现上升时缩减预算
停滞时重新扩大分支
另一个实验更有意思
研究团队把历史轨迹
总结成高层语义建议
再塞回提示词
例如告诉agent哪些
方向可能更有希望
这种看起来更像人类复盘的做法
表现反而低于直接使用历史数重放
原因可能是总结会过早压缩信息
也会把过去的成功变成强烈偏见
导致新一轮探索集中在少数方向
树状历史保留了更多反事实空间
策略可以看到某条路线在哪里停下
也能重新安排那些
当时被忽略的节点
文字总结通常只留下应该做什么
探索树还保留做过什么
失败在哪里
当时还有哪些路没继续
对于长周期多分支任务
这两类记忆并不等价
它和检索增强生成也有明显差别
普通记忆系统在遇到新任务时
找出几段相似经验放进上下文
模型读完以后自行决定怎么做
dream RSI不止提供旧经验
还让候选策略在旧树上实际走一遍
并按照成本与结果计分
前者提供参考材料
后者提供可比较的行为反馈
它也不同于微调
微调把经验压进模型参数
可能提高一类任务的平均表现
却很难解释某次提升来自哪条轨迹
dream RSI保留基础模型
只修改外部策略代码
旧策略和新策略可以逐行比较
表现变化也能对应到具体历史数
代价是它不能直接扩大
模型的知识和推理上限
只能更有效地调用已有能力
和传统强化学习相比
dream RSI借用了离线策略评估的思想
却利用了编码任务特有的结构
环境结果已经被保存在
文件程序输出和分数中
重放时不需要学习
一个近似动力学模型
只要候选策略不走出历史树
反馈就是当时真实执行过的结果
强化学习中常见的模型
预测误差因此被缩小
但覆盖不足的问题仍然存在
可以用一个简化例子理解
某次内核优化一共展开100个节点
旧策略先连续打磨a路线40次
再试b和c
后来发现真正的突破
来自c的第六个分支
新策略可以在历史树里提前访问c
并减少a上的预算
它不需要重新编译那100份代码
因为结果都已保存
可要是新策略想尝试
从未出现过的d路线
历史就无法提供答案
只能等下一轮真实执行
这套方法因此同时依赖两种质量
第一种是历史覆盖
探索树必须足够丰富
不能只记录最后几个成功候选
第二种是评分质量
每个节点的结果必须可靠
日志缺失执行环境变化或
评分器错误都会让模拟世界失真
系统节省了重复执行成本
也把更高要求转移给
记录和评测基础设施
研究团队让候选策略在
全部历史数上接受评估
而不是只看最近一轮
这样可以降低策略
迎合单次任务的风险
旧世界越多
候选策略越难靠偶然路线获胜
不过历史池本身仍可能
偏向某些任务类型
如果过去全是GPU优化
得到的调度习惯未必适合数学证明
跨领域泛化需要更多实验
不能只凭三个领域就下定论
策略选择还涉及多目标权衡
发现系统既想要高质量结果
也想减少模型调用
执行时间和并行资源
一个策略可能用很少
调用找到不错答案
另一个策略消耗
更多预算拿到略高分
最终选谁取决于评价函数
怎样给质量和成本定价
Dreamrsi能优化这套权衡
却不能替使用者决定什么最重要
Dreamrsi最重要的产业含义
也许是把日志从成本变成资产
今天大量agent平台保存轨迹
主要用于排查错误
审计调用和改进提示词
dream RSI展示了另一种用途
只要轨迹包含清楚的
决策结构和可复现结果
它就能成为测试
未来调度策略的环境
公司已经为在线运行付过一次费用
后续可以反复利用
这段历史筛选策略
这会改变agent系统的竞争方式
模型公司比参数和推理能力
应用公司则可能开始
积累自己的探索世界
哪家企业拥有更多高质量任务轨迹
准确评分和真实执行结果
哪家企业就更容易把同
一款基础模型调度得更好
模型可以从API购买
历史数和业务评估器
却很难复制
这种资产还有很强的领域属性
芯片公司积累的是
内核编译器和硬件结果
药物公司积累的是
分子设计与实验反馈
软件团队积累的是代码
修改测试和故障记录
它们无法像通用文本
那样随手从互联网获取
未来的agent护城河
可能由两部分组成
一套探索策略
加上一批经过验证
能够重放的决策世界
成本结构也会改变
在线执行需要调用模型
占用机器并等待评估
离线重放主要读取保存结果
企业可以在真实执行次数不变
的情况下测试更多调度候选
一次失败不再只产生沉默成本
还能提高以后筛选策略的效率
任务量越大
历史复用带来的边际价值越明显
不过保存完整探索树并不便宜
每个节点可能包含代码仓库快照
编译产物日志评测结果和模型
上下文
长期积累会带来存储与治理压力
企业还要处理商业机密
个人数据和第三方代码许可
不能为了训练调度器
无限期保存所有轨迹
哪些节点值得保留
怎样脱敏
多久删除
同样需要策略
多人协作会让问题更复杂
一个agent负责提出方案
另一个负责测试
第三个负责审查
探索树里就会包含多个角色的行动
Dreamrsi目前主要改进
统一的探索控制器
未来系统可能进一步
学习怎样分配角色
什么时候让不同模型互相检查
调度层一旦扩展到模型选择
成本和能力都会出现新的组合空间
这里也存在反馈回路风险
某一版策略偏爱某种路线
它生成的新历史就会
更多覆盖这种路线
下一版又在这些历史上训练
偏好可能逐轮强化
系统需要保留一定探索比例
主动寻找历史之外的区域
否则模拟器池越大
视野反而越窄
论文中策略在停滞后重新扩大探索
是一个积极信号
却不能保证所有任务
都会自然出现这种行为
软件工程会最先受益
编译测试和性能评估都有明确反馈
agent生成代码以后
可以迅速知道对错
芯片设计数据库查询优化自动
调参和运筹问题也具备类似条件
只要结果可以自动验证
历史就能被组织成重放空间
策略改进也有稳定分数可以追踪
开放式研究要困难的多
一项科学假设是否有价值
可能几年后才知道
实验失败也可能来自
设备样本或测量误差
评分器给错方向
agent就会越来越擅长追逐错误目标
dream RSI解决了反馈昂贵的问题
却没有自动解决
反馈是否真实的问题
这种风险在自我
改进系统里会被放大
系统每一轮都根据
评分选择下一版策略
评分规则中的漏洞也会被持续利用
一个只奖励速度的内核优化器
可能寻找牺牲数值稳定性的捷径
一个只看测试通过率的编码agent
可能针对测试用例过拟合
一个企业流程agent
甚至可能学会绕开
耗时但必要的审核步骤
优化循环越有效
代理指标越需要谨慎设计
历史本身也可能污染策略
旧任务里存在错误标签
异常环境或偶然成功
重放系统会把它们当做确定结果
模拟器在记录区域内很精确
可记录不一定代表未来
软件版本硬件业务规则和
安全政策发生变化以后
旧节点的结果可能已经失效
企业需要给历史树加
版本时间和环境标签
还要知道什么时候让旧世界退役
安全边界同样不能省略
探索策略决定哪些代码被执行
多少任务并行
以及什么时候停止
它本身已经掌握实际资源
策略开发代理如果
可以任意修改调度代码
就必须运行在隔离环境里
限制网络凭证和文件权限
候选策略应先通过
静态检查和沙箱测试
再进入历史回放
被选中的版本还需要清楚
的差异记录和回滚路径
从这个角度看
dream RSI反而提供了一种比较
容易审计的自我改进方式
他修改外部策略代码
绕开了直接改变
难以解释的模型权重
每个版本写了什么
为什么得分更高
在哪些历史树上通过测试
都可以留下记录
危险没有消失
但变化发生在可见层
治理工具更容易介入
外界也不能忽略研究状态
dream RSI目前是Arxiv预印本
实验结果主要由作者团队报告
还没有经过完整的独立同行评审
项目仓库已经公开
readme在当前阶段明确写着
完整代码复现实验脚本和
发现程序仍在准备发布
论文附录提供了部分程序
项目网页也有交互演示
但外部团队还不能
一键重跑全部结果
这条信息会影响结论强度
论文证明了一种值得重视的方法
并用8项任务给出证据
它还没有证明这套方法
能普遍适用于所有agent
更没有证明任何接入它的
模型都会持续提高总体智能
完整代码发布独立复现
更多模型与更多任务测试
才会决定这些数字能否
离开研究团队的环境
自我进化仍然可以用来概括dream RSI
只是必须说清进化发生在哪里
这里的变化集中在元探索层
固定的编码agent从历史
探索记录中改进外部策略
再用新策略收集更多历史
模型没有觉醒
也没有获得修改
自身全部组件的权利
目标始终是提高发现效率
这一步的意义并不小
过去提升agent表现
最直接的方法是换更大的模型
增加推理TOKEN
或多跑几次
dream RSI给出第四条路线
保留过去搜索的结构
让系统学习怎样花下一笔计算预算
算力没有变免费
失败却不再只是一张账单
只要记录足够完整
它还能为后续策略
提供一次又一次反馈
它也让经验这个词变得更精确
人类说从失败中学习
往往靠记忆和总结
dream RSI把失败变成带
状态动作和结果的节点
再让新策略重新经过这些节点
agent会在一组已经发生
过的世界里反复试走
得到的反馈比读一篇
复盘文章更接近行为学习
也比多塞几段提示词更具体
但开头的问题仍然没有完全关闭
agent究竟是变聪明
还是只更会走旧地图
目前的答案是两者之间
它没有获得超出基础模型的新知识
也看不见历史之外的结果
可他确实改变了资源分配方式
并在下一轮真实探索中
到达旧策略没有到过的位置
只要新世界不断加入
旧地图就不再静止
真正值得警惕和
期待的地方都在这里
一个闭环系统
不需要每轮重训大模型
也可能逐步改善自己的工作方法
今天它优化的是
分支并行和停止规则
明天类似机制可能扩展到
工具选择记忆管理和验证流程
每多开放一层
能力上限会提高
错误目标和权限风险也会跟着放大
dream RSI没有带来科幻
故事里的智能爆炸
它展示的是一条更现实的路径
基础模型保持不动
外围系统通过历史评测
和代码迭代持续变强
这种变化更慢
也更工程化
却可能更早进入真实产品
因为企业不需要等待
一个会重写自身大脑的AGI
只要现有agent学会少走一半弯路
成本结构就已经会被改变
外部验证将是下一道关
项目页面和论文已经公开
Git Hub仓库也能找到
但仓库当前明确标注完整
代码库复现实验脚本和
部分发现程序仍在准备
研究者暂时可以检查
方法数字和附录里的程序
却难以完全重建每一次
探索树模型调用和评测环境
论文结果因此属于有
材料支持的研究报告
还不是已经被多家
实验室重复确认的工程定律
完整代码发布以后
最需要复查的是结果对
随机性和预算设置有多敏感
不能只盯某一张最终成绩表
换一批初始节点
优势是否仍然存在
把策略开发模型换掉
循环还能不能稳定提高
旧历史中混入低质量
轨迹会不会带坏下一轮
这些问题决定dream RSI
是一套普遍方法
还是一组特定任务
下非常成功的配置
基线选择也需要继续检查
固定探索是很清楚的受控对照
因为它与dream RSI只差策略是否更新
可真实系统还会使用启发式搜索
贝叶斯优化进化算法和人工经验
Dreamrsi在一些任务上
超过论文列出的强基线
在另一些指标上只是接近
后续复现应当比较相同模型
相同预算和相同硬件
才能知道收益来自历史重放
还是来自某些实现细节
研究的价值也不必
依赖每个分数都获胜
它把怎样探索从隐藏在框架
里的手写规则变成可以被
生成评估和版本管理的对象
过去开发者调度agent常靠
经验修改并发数和停止条件
现在这些选择可以进入实验循环
即使最终提升没有宣传数字那么大
这种把原策略工程化的
思路仍然会影响后续系统
还要观察收益能维持多少轮
论文展示了有限轮次里的改进
任何搜索系统都可能在积累
到一定阶段后进入平台期
容易发现的优化先被拿走
剩下的问题更难
历史数也越来越庞大
届时重放成本存储成本和策略开发
成本会不会吞掉节省下来的调用
需要更长时间实验回答
递归循环已经闭合
不代表性能曲线会永远向上
失败记录因此获得了新的意义
过去他们证明系统浪费过多少算力
现在他们可以帮助下
一版系统减少浪费
Dreamrsi把历史变成模拟器
也把每次失败变成一块
可重复使用的计算资产
AI能否依靠这种资产持续扩大能力
还要等待独立复现和更多任务验证
可那扇门已经被推开
真正的竞争会从谁拥有更强模型
延伸到谁拥有更好的历史
以及谁最会利用这些历史