0:00.133–0:01.300
zh一个AI agent
0:01.666–0:03.566
zh连续试了几百条路线
0:03.566–0:04.666
zh大部分失败
0:04.700–0:05.800
zh少数成功
0:06.566–0:07.766
zh任务结束以后
0:07.766–0:09.300
zh成功答案被保存
0:09.900–0:12.166
zh失败过程通常被丢进日志
0:12.500–0:15.133
zhDreamrsi提出了一个反常做法
0:15.600–0:18.900
zh真正值钱的可能正是那些失败记录
0:19.066–0:21.266
zh它们可以组成一张探索地图
0:21.733–0:24.666
zh让下一版agent不用重新花钱执行
0:25.400–0:26.966
zh就能在过去走过的世界
0:26.966–0:29.000
zh里测试上千种新策略
0:29.366–0:31.300
zh但一个问题也跟着出现
0:31.500–0:33.300
zhagent是在真正变聪明
0:33.400–0:34.566
zh还是只学会了更
0:34.566–0:36.366
zh熟练的走一张旧地图
0:36.466–0:37.766
zh2026年9月
0:37.766–0:39.800
zh由Google Google deep mind
0:40.133–0:41.200
zh马里兰大学和
0:41.200–0:43.500
zh弗吉尼亚大学研究人员组成的团队
0:43.500–0:45.000
zh发布Dreamrsl
0:45.300–0:47.866
zhRSI是recursive self improvement
0:48.066–0:50.000
zh也就是递归自我改进
0:50.166–0:52.133
zh这个词很容易让人联想到
0:52.133–0:54.466
zhAI重写自己的大脑能力
0:54.533–0:56.200
zh一轮又一轮上涨
0:56.333–0:58.000
zh最后进入智能爆炸
0:58.600–1:01.666
zhdream RSI做的事情更具体
1:01.866–1:04.100
zh它不修改基础模型的权重
1:04.200–1:06.466
zh也没有训练出一个新的Gemini
1:06.600–1:08.933
zh它改进的是agent在复杂
1:08.933–1:11.400
zh任务中怎样分配探索资源
1:11.966–1:13.466
zh要理解这项工作
1:13.466–1:15.566
zh得先看AI agent处理长
1:15.566–1:17.266
zh任务时究竟在做什么
1:17.466–1:20.133
zh假设任务是优化一个GPU内核
1:20.500–1:22.333
zhagent先提出一段代码
1:22.400–1:23.500
zh执行测速
1:23.700–1:25.666
zh再根据结果决定下一步
1:25.800–1:27.500
zh它可能修改内存访问
1:27.600–1:29.400
zh可能换一种并行方式
1:29.766–1:32.333
zh也可能从某个旧版本重新分支
1:32.666–1:34.666
zh简单任务走几步就结束
1:34.866–1:36.666
zh真正困难的任务会形成
1:36.666–1:38.766
zh几十甚至上千条路线
1:38.866–1:40.766
zh这里最昂贵的部分是
1:40.766–1:42.966
zh决定下一次尝试放在哪里
1:43.166–1:45.533
zh生成代码反而只占其中一环
1:45.966–1:48.166
zh应该继续打磨当前最好方案
1:48.333–1:51.200
zh还是回头救一条被过早放弃的分支
1:51.500–1:53.800
zh应该同时运行多少个候选
1:53.866–1:56.566
zh一个方向连续失败几次以后
1:56.666–1:57.800
zh什么时候停
1:57.800–2:00.500
zh这些选择统称为探索策略
2:01.066–2:02.300
zh策略写得差
2:02.400–2:04.300
zh再强的模型也会把
2:04.300–2:06.566
zh大量算力浪费在死路上
2:06.666–2:08.300
zh现用系统常用固定
2:08.300–2:09.766
zh策略解决这个问题
2:10.400–2:13.700
zh人类提前规定每轮生成多少候选
2:14.166–2:15.933
zh保留几个高分结果
2:16.133–2:18.000
zh并行探索几条路线
2:18.333–2:19.766
zh再循环多少次
2:19.933–2:21.400
zh这种方法稳定
2:21.500–2:24.466
zh却不会从过去的搜索经验中学习
2:24.766–2:27.533
zhagent已经反复撞过同一堵墙
2:27.800–2:29.733
zh调度规则下一轮仍可能
2:29.733–2:31.866
zh把资源投向类似方向
2:32.266–2:35.266
zh另一条路是在线优化探索策略
2:35.366–2:37.600
zh让agent一边执行任务
2:37.666–2:40.333
zh一边试验哪种调度方式更好
2:40.366–2:42.133
zh问题马上变成成本
2:42.333–2:44.300
zh判断一套探索策略有没有用
2:44.300–2:46.666
zh不能只看它下一步选对没有
2:47.100–2:49.600
zh往往要让它跑完整个长周期任务
2:49.700–2:51.600
zh最后比较结果和费用
2:51.666–2:53.100
zh候选策略很多
2:53.100–2:54.566
zh大多数还会很差
2:54.666–2:57.300
zh每测试一个策略都重新调用模型
2:57.500–2:59.400
zh编译代码和运行评测
2:59.600–3:02.400
zh元优化本身可能比解决任务更贵
3:02.566–3:04.666
zhdream RSI抓住了一个长期
3:04.666–3:06.500
zh被当成副产品的东西
3:06.900–3:08.333
zh完整的发现历史
3:08.500–3:10.366
zh一次长任务结束后
3:10.500–3:12.700
zh系统手里不只有最终答案
3:12.733–3:14.200
zh还有一棵探索树
3:14.366–3:16.000
zh树上的每个节点都保存
3:16.000–3:18.100
zh当时的观察和生成方案
3:18.500–3:20.500
zh也保存文件状态执行
3:20.500–3:22.866
zh结果以及诊断信息与评分
3:23.166–3:25.966
zh这是一份结构化的行动与结果记录
3:26.000–3:28.700
zh远比一段模糊的经验总结具体
3:28.900–3:31.666
zh研究团队把这棵树当成重放模拟器
3:32.133–3:33.900
zh新的探索策略进入以后
3:33.900–3:35.066
zh不需要真的重新
3:35.066–3:36.933
zh生成和运行每个候选
3:37.366–3:40.200
zh它只要按照自己的规则遍历这棵树
3:40.333–3:42.000
zh它可以先看另一条分支
3:42.300–3:44.366
zh可以同时打开更多节点
3:44.500–3:46.900
zh也可以更早停止低价值路线
3:47.066–3:49.366
zh只要它访问的节点已经存在
3:49.733–3:52.200
zh结果就能从硬盘里直接读出
3:52.300–3:54.366
zh一次昂贵的在线探索
3:54.866–3:56.400
zh因此可以支持大量
3:56.400–3:58.300
zh便宜的离线策略测试
3:58.533–4:00.600
zh论文把这个过程称为做梦
4:01.000–4:03.733
zhagent没有回到真实环境重新工作
4:03.800–4:05.200
zh而是在过去形成的
4:05.200–4:07.100
zh世界里尝试不同走法
4:07.466–4:09.300
zh这个比喻听起来很大
4:09.366–4:11.366
zh机制其实非常工程化
4:11.733–4:13.766
zh历史记录给出的结果不会像
4:13.766–4:16.066
zh学习型世界模型那样猜测
4:16.266–4:18.766
zh因为节点里的代码已经运行过
4:18.866–4:20.466
zh分数也已经测过
4:20.466–4:22.900
zh在历史真正覆盖的区域内
4:22.900–4:24.866
zh它是一次精确重放
4:25.166–4:27.133
zh限制也埋在同一句话里
4:27.200–4:28.900
zh历史没有去过的地方
4:28.933–4:30.600
zh模拟器就无法回答
4:30.733–4:33.666
zh新策略走到一条过去未展开的分支
4:34.000–4:35.566
zh系统手中没有结果
4:35.933–4:37.866
zh既不能保证那里是死路
4:37.966–4:40.166
zh也不能凭空预测它会成功
4:40.366–4:42.133
zhDreamrsi只拥有已经
4:42.133–4:43.866
zh探索区域的精确地图
4:44.133–4:45.933
zh覆盖不了整个未知空间
4:46.000–4:48.533
zh这也是系统必须递归运行的原因
4:48.666–4:51.566
zh第一轮当前策略进入在线环境
4:51.866–4:54.400
zh驱动编码agent展开探索
4:54.466–4:55.766
zh并保存一棵树
4:56.000–4:58.700
zh第二步这棵树被加入模拟器池
4:58.900–5:02.133
zh第三步策略开发agent开始
5:02.133–5:04.133
zh修改探索策略的代码
5:04.300–5:06.166
zh生成多个候选版本
5:06.366–5:09.533
zh再把它们放进所有历史树中重放
5:09.600–5:12.266
zh综合表现最好的策略被选中
5:12.600–5:14.533
zh进入下一轮在线探索
5:14.733–5:16.966
zh新策略回到真实任务后
5:17.066–5:19.866
zh可能到达旧策略从未到过的区域
5:20.066–5:22.533
zh于是生成一棵不同的探索树
5:22.966–5:25.133
zh这颗新树又进入模拟器池
5:25.200–5:27.400
zh供下一轮策略改进使用
5:27.666–5:29.200
zh策略改变探索
5:29.466–5:30.866
zh探索扩大历史
5:31.000–5:32.766
zh扩大的历史再改变策略
5:33.000–5:35.000
zhdream RSI所谓的递归
5:35.400–5:36.866
zh指的就是这个闭环
5:37.000–5:39.600
zh被修改的对象必须再强调一次
5:40.100–5:42.466
zh论文中的基础模型保持不变
5:42.700–5:46.100
zh执行任务的编码agent保持不变
5:46.300–5:49.100
zh评分器和工具接口也保持不变
5:49.300–5:52.000
zh系统没有对Gemini进行梯度更新
5:52.200–5:54.466
zh它重写的是外部调度代码
5:54.600–5:55.966
zh包括分支选择
5:56.533–5:58.700
zh并行数量和停止规则
5:58.900–6:00.933
zh项目说明甚至专门写出
6:01.300–6:03.900
enZero gradient steps on the coding agent
6:04.200–6:05.766
zh就是为了避免把它误解
6:05.766–6:07.900
zh成模型再重新训练自己
6:08.000–6:09.733
zh这并不代表改进很浅
6:10.400–6:11.566
zh模型能力决定一个
6:11.566–6:13.400
zh候选方案能做到多好
6:13.566–6:15.400
zh探索策略决定有限预算
6:15.400–6:16.933
zh能不能找到那个候选
6:17.066–6:18.700
zh现实中的很多AI任务
6:18.700–6:20.333
zh模型本来可能会做
6:20.333–6:23.300
zh只是系统在正确答案出现以前
6:23.300–6:26.466
zh已经耗完时间TOKEN或执行额度
6:26.800–6:28.800
zh调度层只要减少无效尝试
6:29.066–6:30.666
zh就能在不更换模型的
6:30.666–6:32.566
zh情况下提高最终结果
6:33.366–6:36.333
zhdream RSI的策略本身是可执行代码
6:36.533–6:38.566
zh策略开发agent会连续
6:38.566–6:40.100
zh写出多个修订版
6:40.533–6:41.866
zh每个版本在历史
6:41.866–6:43.766
zh模拟器池中接受评分
6:44.366–6:45.966
zh当前正在使用的旧
6:45.966–6:48.000
zh策略也被放进候选集合
6:48.366–6:50.866
zh因此系统总能保留旧版本
6:51.000–6:52.500
zh论文据此提出
6:52.566–6:55.166
zh新一轮选出的策略在历史
6:55.166–6:58.000
zh重放分数上不会比旧策略更差
6:58.000–7:00.000
zh不会更差有严格范围
7:00.300–7:02.266
zh它只保证选出的策略在
7:02.266–7:04.500
zh已经记录的历史和既定
7:04.500–7:07.000
zh评分方式下不低于旧策略
7:07.366–7:08.366
zh换一个任务
7:08.466–7:09.866
zh换一种数据分布
7:10.666–7:13.166
zh或者评分器本身漏掉了重要质量
7:13.333–7:15.200
zh新策略依然可能退步
7:15.466–7:17.666
zh历史回放能防止明显回归
7:18.066–7:20.566
zh不能提供对未知世界的永久保证
7:20.900–7:22.700
zh研究团队在8项发现
7:22.700–7:24.566
zh任务上测试了这套框架
7:25.000–7:26.766
zh覆盖算法工程数学
7:26.766–7:28.866
zh优化和GPU内核工程
7:29.000–7:31.933
zh对照组叫recursive fixed exploration
7:32.300–7:35.600
zh两边使用相同的基础模型评分器
7:35.966–7:38.066
zh初始策略和每轮预算
7:38.166–7:40.200
zh第一轮甚至完全一致
7:40.366–7:42.333
zh差别从第二轮开始出现
7:42.666–7:44.966
zh对照组保持原调度方式
7:45.300–7:47.266
zhdream RSI根据历史重放
7:47.266–7:48.933
zh持续修改探索策略
7:49.166–7:51.000
zh算法工程部分选择了
7:51.000–7:53.333
zhLasso正则化路径求解器
7:53.666–7:56.366
zh这个任务要求agent写出速度快
7:56.400–7:57.800
zh结果正确的程序
7:58.066–7:59.766
zh再在6个流出数据集
7:59.766–8:01.400
zh上测量运行时间
8:01.600–8:04.000
zh使用Gemini3.1Pro时
8:04.366–8:06.466
zh固定探索消耗550次
8:06.566–8:08.166
zh发现agent调用
8:08.266–8:12.333
zh最终平均运行时间为3,587.1毫秒
8:12.566–8:15.466
zhdream RSI使用317次调用
8:15.800–8:19.266
zh把平均时间降到2,931.0毫秒
8:19.466–8:21.366
zh调用量减少约1.7倍
8:21.366–8:23.166
zh找到的程序反而更快
8:23.500–8:25.566
zh换成Gemini3.7Flash以后
8:25.566–8:28.066
zh固定策略用了3,200次调用
8:28.066–8:31.800
zh平均运行时间是2,516.7毫秒
8:32.100–8:35.500
zhdream RSI用了1,879次调用
8:35.500–8:38.000
zh得到2,350.6毫秒
8:38.466–8:42.266
zh和simple test使用的51,200次生成相比
8:42.533–8:44.500
zh论文在部分设置中报告
8:44.500–8:46.933
zh最多162倍的调用节省
8:47.100–8:48.500
zh这个数字很醒目
8:48.600–8:50.333
zh但比较对象和预算
8:50.333–8:52.100
zh设置必须一起保留
8:52.200–8:53.600
zh不能把它解释成
8:53.600–8:56.000
zh所有任务都节省162倍
8:56.466–8:58.366
zh被发现的Lasso程序也不是
8:58.366–9:00.300
zh凭空拼出一段神秘代码
9:00.400–9:02.200
zh它结合了强规则筛选
9:02.366–9:05.466
zh基于柯西斯瓦茨不等式的KKT剪枝
9:05.866–9:06.933
zh活动集合管理
9:07.100–9:09.333
zh延迟构建GRAM矩阵和硬件
9:09.333–9:11.766
zh优化系统在大量候选中
9:11.766–9:13.866
zh找到了一套更合适的组合
9:13.966–9:16.933
zh并根据问题规模调整验证成本
9:17.166–9:18.666
zh他证明调度改进可以
9:18.666–9:20.666
zh落到可测量的程序性能
9:20.966–9:23.800
zh而不是只让agent自评这次更有创意
9:23.966–9:26.500
zh数学优化部分包含核差集合
9:27.000–9:29.366
zh自相关不等式与圆形装箱
9:29.800–9:34.166
zhdream RSI在核差问题上取得1.145427
9:34.600–9:36.166
zh超过论文列出的simple
9:36.300–9:38.200
zhtest与固定探索结果
9:38.366–9:41.600
zh原型装箱达到2.635983
9:41.800–9:43.933
zh与最强对照结果持平
9:44.166–9:47.000
zh自相关任务得到1.456375
9:47.066–9:50.566
zh没有超过simple TES的1.453675
9:51.066–9:53.133
zh因为该项指标越低越好
9:53.200–9:54.766
zh这个结果提醒外界
9:55.133–9:58.300
zhdream RSI没有在每个任务上全面获胜
9:58.400–10:00.500
zh它的优势仍体现在预算
10:00.900–10:04.766
zhsimple t ES在对照中使用51200次生成
10:05.266–10:07.333
zhDreamrsi少于1,000次
10:07.533–10:10.066
zh部分结果未必拿到单项第一
10:10.100–10:12.700
zh但单位计算成本更有竞争力
10:12.733–10:15.866
zh这类系统真正追求的目标是用更
10:15.866–10:18.933
zh少真实执行找到足够好的方案
10:19.266–10:22.000
zh排行榜最高分只是其中一个指标
10:22.200–10:24.933
zhGPU内核工程又提供了另一种检验
10:25.166–10:28.266
zh在VGG16和layer norm任务中
10:28.500–10:31.066
zhdream RSI达到相近性能时
10:31.200–10:35.266
zh分别减少2.43倍和1.79倍生成次数
10:35.466–10:38.733
zhCONV div与CONV Max在相近预算下
10:38.933–10:40.466
zh性能分别达到固定
10:40.466–10:43.200
zh探索的2.09倍和1.44倍
10:44.000–10:46.400
zh四类任务涉及不同计算结构
10:46.666–10:48.500
zh说明学习到的策略至少
10:48.500–10:50.766
zh没有被锁死在一个算法题上
10:50.966–10:53.766
zh研究人员还观察了策略怎样变化
10:53.900–10:55.766
zh在Convictive实验中
10:56.000–10:57.600
zh系统表现上升后
10:57.600–11:01.366
zh把每轮评估的尝试从110个降到50个
11:01.800–11:03.200
zh主动节省计算
11:03.366–11:04.733
zh进展停滞以后
11:04.733–11:05.933
zh它又扩大探索
11:06.100–11:07.533
zh评估数量回升
11:07.700–11:09.733
zh随后出现新的性能跳跃
11:10.200–11:13.200
zh他学会根据进展调节搜索强度
11:13.300–11:15.566
zh表现上升时缩减预算
11:15.666–11:17.866
zh停滞时重新扩大分支
11:18.066–11:19.733
zh另一个实验更有意思
11:20.200–11:21.866
zh研究团队把历史轨迹
11:21.866–11:23.766
zh总结成高层语义建议
11:23.866–11:25.300
zh再塞回提示词
11:25.533–11:27.266
zh例如告诉agent哪些
11:27.266–11:28.766
zh方向可能更有希望
11:28.933–11:31.666
zh这种看起来更像人类复盘的做法
11:32.000–11:35.200
zh表现反而低于直接使用历史数重放
11:35.400–11:38.300
zh原因可能是总结会过早压缩信息
11:38.466–11:41.166
zh也会把过去的成功变成强烈偏见
11:41.366–11:44.166
zh导致新一轮探索集中在少数方向
11:44.666–11:47.300
zh树状历史保留了更多反事实空间
11:47.533–11:50.700
zh策略可以看到某条路线在哪里停下
11:50.700–11:52.466
zh也能重新安排那些
11:52.466–11:54.366
zh当时被忽略的节点
11:54.466–11:57.333
zh文字总结通常只留下应该做什么
11:57.566–12:00.000
zh探索树还保留做过什么
12:00.100–12:01.266
zh失败在哪里
12:01.533–12:03.333
zh当时还有哪些路没继续
12:03.400–12:06.066
zh对于长周期多分支任务
12:06.066–12:08.066
zh这两类记忆并不等价
12:08.166–12:11.200
zh它和检索增强生成也有明显差别
12:11.866–12:14.166
zh普通记忆系统在遇到新任务时
12:14.300–12:17.200
zh找出几段相似经验放进上下文
12:17.366–12:19.600
zh模型读完以后自行决定怎么做
12:19.800–12:22.133
zhdream RSI不止提供旧经验
12:22.333–12:25.466
zh还让候选策略在旧树上实际走一遍
12:25.900–12:28.066
zh并按照成本与结果计分
12:28.566–12:30.200
zh前者提供参考材料
12:30.366–12:32.700
zh后者提供可比较的行为反馈
12:32.866–12:34.266
zh它也不同于微调
12:34.500–12:36.800
zh微调把经验压进模型参数
12:36.800–12:39.333
zh可能提高一类任务的平均表现
12:39.466–12:43.000
zh却很难解释某次提升来自哪条轨迹
12:43.366–12:45.500
zhdream RSI保留基础模型
12:45.700–12:47.533
zh只修改外部策略代码
12:47.800–12:50.300
zh旧策略和新策略可以逐行比较
12:50.400–12:53.300
zh表现变化也能对应到具体历史数
12:53.533–12:55.666
zh代价是它不能直接扩大
12:55.666–12:57.566
zh模型的知识和推理上限
12:58.100–13:00.366
zh只能更有效地调用已有能力
13:00.500–13:02.400
zh和传统强化学习相比
13:02.700–13:06.533
zhdream RSI借用了离线策略评估的思想
13:06.666–13:09.133
zh却利用了编码任务特有的结构
13:09.266–13:10.866
zh环境结果已经被保存在
13:10.866–13:13.600
zh文件程序输出和分数中
13:14.200–13:15.500
zh重放时不需要学习
13:15.500–13:17.200
zh一个近似动力学模型
13:17.333–13:19.666
zh只要候选策略不走出历史树
13:20.066–13:22.766
zh反馈就是当时真实执行过的结果
13:23.466–13:25.166
zh强化学习中常见的模型
13:25.166–13:27.200
zh预测误差因此被缩小
13:27.366–13:29.800
zh但覆盖不足的问题仍然存在
13:29.933–13:31.900
zh可以用一个简化例子理解
13:32.333–13:35.200
zh某次内核优化一共展开100个节点
13:35.366–13:38.366
zh旧策略先连续打磨a路线40次
13:38.500–13:39.800
zh再试b和c
13:40.266–13:41.866
zh后来发现真正的突破
13:41.866–13:43.733
zh来自c的第六个分支
13:44.066–13:47.066
zh新策略可以在历史树里提前访问c
13:47.200–13:49.133
zh并减少a上的预算
13:49.300–13:51.866
zh它不需要重新编译那100份代码
13:51.933–13:53.600
zh因为结果都已保存
13:53.866–13:55.800
zh可要是新策略想尝试
13:55.800–13:57.700
zh从未出现过的d路线
13:58.100–13:59.900
zh历史就无法提供答案
14:00.000–14:02.300
zh只能等下一轮真实执行
14:02.366–14:05.133
zh这套方法因此同时依赖两种质量
14:05.166–14:06.900
zh第一种是历史覆盖
14:07.166–14:08.900
zh探索树必须足够丰富
14:08.933–14:11.300
zh不能只记录最后几个成功候选
14:11.700–14:13.400
zh第二种是评分质量
14:13.500–14:15.566
zh每个节点的结果必须可靠
14:15.766–14:18.600
zh日志缺失执行环境变化或
14:18.600–14:21.800
zh评分器错误都会让模拟世界失真
14:22.466–14:24.733
zh系统节省了重复执行成本
14:24.900–14:26.766
zh也把更高要求转移给
14:26.766–14:28.766
zh记录和评测基础设施
14:29.100–14:31.000
zh研究团队让候选策略在
14:31.000–14:33.066
zh全部历史数上接受评估
14:33.100–14:34.766
zh而不是只看最近一轮
14:34.966–14:36.400
zh这样可以降低策略
14:36.400–14:38.166
zh迎合单次任务的风险
14:38.366–14:39.566
zh旧世界越多
14:39.766–14:42.533
zh候选策略越难靠偶然路线获胜
14:43.133–14:45.600
zh不过历史池本身仍可能
14:45.600–14:47.333
zh偏向某些任务类型
14:47.866–14:50.200
zh如果过去全是GPU优化
14:50.333–14:53.300
zh得到的调度习惯未必适合数学证明
14:53.400–14:55.333
zh跨领域泛化需要更多实验
14:55.333–14:57.666
zh不能只凭三个领域就下定论
14:58.666–15:00.966
zh策略选择还涉及多目标权衡
15:01.200–15:03.533
zh发现系统既想要高质量结果
15:03.533–15:05.300
zh也想减少模型调用
15:05.300–15:07.100
zh执行时间和并行资源
15:07.266–15:08.900
zh一个策略可能用很少
15:08.900–15:10.566
zh调用找到不错答案
15:11.066–15:12.366
zh另一个策略消耗
15:12.366–15:14.366
zh更多预算拿到略高分
15:14.500–15:17.100
zh最终选谁取决于评价函数
15:17.100–15:19.200
zh怎样给质量和成本定价
15:19.700–15:21.700
zhDreamrsi能优化这套权衡
15:21.733–15:24.333
zh却不能替使用者决定什么最重要
15:24.666–15:26.866
zhDreamrsi最重要的产业含义
15:27.500–15:30.100
zh也许是把日志从成本变成资产
15:30.200–15:32.733
zh今天大量agent平台保存轨迹
15:33.133–15:34.900
zh主要用于排查错误
15:35.100–15:37.666
zh审计调用和改进提示词
15:38.000–15:40.533
zhdream RSI展示了另一种用途
15:41.166–15:42.800
zh只要轨迹包含清楚的
15:42.800–15:44.933
zh决策结构和可复现结果
15:45.200–15:46.533
zh它就能成为测试
15:46.533–15:48.400
zh未来调度策略的环境
15:48.800–15:51.400
zh公司已经为在线运行付过一次费用
15:51.566–15:52.933
zh后续可以反复利用
15:52.933–15:54.600
zh这段历史筛选策略
15:54.733–15:57.466
zh这会改变agent系统的竞争方式
15:57.700–16:00.300
zh模型公司比参数和推理能力
16:00.733–16:02.266
zh应用公司则可能开始
16:02.266–16:04.000
zh积累自己的探索世界
16:04.133–16:07.000
zh哪家企业拥有更多高质量任务轨迹
16:07.333–16:09.766
zh准确评分和真实执行结果
16:09.933–16:11.700
zh哪家企业就更容易把同
16:11.700–16:13.900
zh一款基础模型调度得更好
16:14.000–16:15.700
zh模型可以从API购买
16:15.700–16:18.066
zh历史数和业务评估器
16:18.066–16:19.333
zh却很难复制
16:19.866–16:22.200
zh这种资产还有很强的领域属性
16:22.366–16:23.800
zh芯片公司积累的是
16:23.800–16:26.566
zh内核编译器和硬件结果
16:26.866–16:28.366
zh药物公司积累的是
16:28.366–16:30.533
zh分子设计与实验反馈
16:30.900–16:32.933
zh软件团队积累的是代码
16:32.933–16:35.266
zh修改测试和故障记录
16:35.700–16:37.333
zh它们无法像通用文本
16:37.333–16:39.566
zh那样随手从互联网获取
16:39.733–16:41.366
zh未来的agent护城河
16:41.566–16:43.133
zh可能由两部分组成
16:43.566–16:44.933
zh一套探索策略
16:44.966–16:46.600
zh加上一批经过验证
16:46.600–16:48.733
zh能够重放的决策世界
16:48.933–16:50.566
zh成本结构也会改变
16:50.766–16:52.800
zh在线执行需要调用模型
16:53.000–16:54.900
zh占用机器并等待评估
16:55.200–16:57.600
zh离线重放主要读取保存结果
16:58.100–17:00.333
zh企业可以在真实执行次数不变
17:00.333–17:03.066
zh的情况下测试更多调度候选
17:03.100–17:06.066
zh一次失败不再只产生沉默成本
17:06.300–17:08.966
zh还能提高以后筛选策略的效率
17:09.466–17:10.666
zh任务量越大
17:10.766–17:13.666
zh历史复用带来的边际价值越明显
17:13.733–17:16.766
zh不过保存完整探索树并不便宜
17:16.866–17:19.933
zh每个节点可能包含代码仓库快照
17:20.100–17:23.366
zh编译产物日志评测结果和模型
17:23.366–17:24.266
zh上下文
17:24.466–17:27.733
zh长期积累会带来存储与治理压力
17:28.100–17:30.000
zh企业还要处理商业机密
17:30.000–17:32.400
zh个人数据和第三方代码许可
17:32.500–17:34.133
zh不能为了训练调度器
17:34.133–17:36.066
zh无限期保存所有轨迹
17:36.200–17:37.800
zh哪些节点值得保留
17:37.966–17:38.933
zh怎样脱敏
17:39.133–17:40.266
zh多久删除
17:40.466–17:41.733
zh同样需要策略
17:41.866–17:44.166
zh多人协作会让问题更复杂
17:44.800–17:46.966
zh一个agent负责提出方案
17:47.300–17:48.700
zh另一个负责测试
17:48.900–17:50.466
zh第三个负责审查
17:50.733–17:53.500
zh探索树里就会包含多个角色的行动
17:53.800–17:55.700
zhDreamrsi目前主要改进
17:55.700–17:57.366
zh统一的探索控制器
17:57.500–17:59.000
zh未来系统可能进一步
17:59.000–18:00.700
zh学习怎样分配角色
18:00.900–18:03.400
zh什么时候让不同模型互相检查
18:03.566–18:06.133
zh调度层一旦扩展到模型选择
18:06.300–18:09.333
zh成本和能力都会出现新的组合空间
18:09.400–18:11.733
zh这里也存在反馈回路风险
18:12.300–18:14.500
zh某一版策略偏爱某种路线
18:14.733–18:16.600
zh它生成的新历史就会
18:16.600–18:18.266
zh更多覆盖这种路线
18:19.133–18:21.266
zh下一版又在这些历史上训练
18:21.400–18:23.200
zh偏好可能逐轮强化
18:23.366–18:25.566
zh系统需要保留一定探索比例
18:25.733–18:27.900
zh主动寻找历史之外的区域
18:28.266–18:30.000
zh否则模拟器池越大
18:30.066–18:31.200
zh视野反而越窄
18:31.666–18:35.133
zh论文中策略在停滞后重新扩大探索
18:35.766–18:37.300
zh是一个积极信号
18:37.366–18:39.166
zh却不能保证所有任务
18:39.166–18:41.166
zh都会自然出现这种行为
18:41.400–18:43.266
zh软件工程会最先受益
18:43.533–18:46.900
zh编译测试和性能评估都有明确反馈
18:47.166–18:48.733
zhagent生成代码以后
18:48.733–18:50.366
zh可以迅速知道对错
18:50.733–18:54.066
zh芯片设计数据库查询优化自动
18:54.066–18:57.466
zh调参和运筹问题也具备类似条件
18:57.600–18:59.533
zh只要结果可以自动验证
19:00.266–19:02.866
zh历史就能被组织成重放空间
19:03.100–19:05.700
zh策略改进也有稳定分数可以追踪
19:05.866–19:08.200
zh开放式研究要困难的多
19:08.200–19:11.100
zh一项科学假设是否有价值
19:11.200–19:12.866
zh可能几年后才知道
19:13.200–19:14.966
zh实验失败也可能来自
19:14.966–19:17.566
zh设备样本或测量误差
19:17.733–19:19.266
zh评分器给错方向
19:19.466–19:22.400
zhagent就会越来越擅长追逐错误目标
19:22.700–19:25.400
zhdream RSI解决了反馈昂贵的问题
19:25.700–19:27.066
zh却没有自动解决
19:27.066–19:28.800
zh反馈是否真实的问题
19:29.100–19:30.100
zh这种风险在自我
19:30.100–19:31.766
zh改进系统里会被放大
19:31.900–19:33.166
zh系统每一轮都根据
19:33.166–19:35.000
zh评分选择下一版策略
19:35.266–19:37.900
zh评分规则中的漏洞也会被持续利用
19:38.133–19:40.800
zh一个只奖励速度的内核优化器
19:41.100–19:44.266
zh可能寻找牺牲数值稳定性的捷径
19:44.400–19:47.400
zh一个只看测试通过率的编码agent
19:47.800–19:50.266
zh可能针对测试用例过拟合
19:50.600–19:52.133
zh一个企业流程agent
19:52.533–19:54.000
zh甚至可能学会绕开
19:54.000–19:56.333
zh耗时但必要的审核步骤
19:56.500–19:57.933
zh优化循环越有效
19:58.333–20:00.300
zh代理指标越需要谨慎设计
20:00.566–20:02.666
zh历史本身也可能污染策略
20:03.333–20:05.300
zh旧任务里存在错误标签
20:05.500–20:07.366
zh异常环境或偶然成功
20:07.933–20:10.500
zh重放系统会把它们当做确定结果
20:11.133–20:13.366
zh模拟器在记录区域内很精确
20:14.066–20:15.966
zh可记录不一定代表未来
20:16.066–20:19.400
zh软件版本硬件业务规则和
20:19.400–20:21.566
zh安全政策发生变化以后
20:21.700–20:24.100
zh旧节点的结果可能已经失效
20:24.266–20:26.000
zh企业需要给历史树加
20:26.000–20:28.500
zh版本时间和环境标签
20:28.600–20:31.133
zh还要知道什么时候让旧世界退役
20:31.366–20:33.566
zh安全边界同样不能省略
20:34.133–20:36.600
zh探索策略决定哪些代码被执行
20:36.600–20:38.066
zh多少任务并行
20:38.066–20:39.533
zh以及什么时候停止
20:39.700–20:41.933
zh它本身已经掌握实际资源
20:42.133–20:43.500
zh策略开发代理如果
20:43.500–20:45.466
zh可以任意修改调度代码
20:45.533–20:48.066
zh就必须运行在隔离环境里
20:48.200–20:51.066
zh限制网络凭证和文件权限
20:51.566–20:53.200
zh候选策略应先通过
20:53.200–20:55.300
zh静态检查和沙箱测试
20:55.300–20:56.900
zh再进入历史回放
20:57.133–20:59.333
zh被选中的版本还需要清楚
20:59.333–21:01.533
zh的差异记录和回滚路径
21:01.766–21:02.966
zh从这个角度看
21:03.166–21:05.733
zhdream RSI反而提供了一种比较
21:05.733–21:08.166
zh容易审计的自我改进方式
21:08.733–21:10.600
zh他修改外部策略代码
21:10.766–21:11.966
zh绕开了直接改变
21:11.966–21:13.766
zh难以解释的模型权重
21:13.966–21:15.500
zh每个版本写了什么
21:15.500–21:16.966
zh为什么得分更高
21:16.966–21:19.266
zh在哪些历史树上通过测试
21:19.300–21:20.600
zh都可以留下记录
21:21.133–21:22.300
zh危险没有消失
21:22.300–21:24.300
zh但变化发生在可见层
21:24.400–21:26.200
zh治理工具更容易介入
21:26.300–21:28.466
zh外界也不能忽略研究状态
21:29.300–21:32.300
zhdream RSI目前是Arxiv预印本
21:32.666–21:35.300
zh实验结果主要由作者团队报告
21:35.400–21:38.100
zh还没有经过完整的独立同行评审
21:38.500–21:39.966
zh项目仓库已经公开
21:40.133–21:42.300
zhreadme在当前阶段明确写着
21:42.300–21:44.700
zh完整代码复现实验脚本和
21:44.700–21:46.766
zh发现程序仍在准备发布
21:46.933–21:48.866
zh论文附录提供了部分程序
21:49.333–21:51.200
zh项目网页也有交互演示
21:51.366–21:52.700
zh但外部团队还不能
21:52.700–21:54.400
zh一键重跑全部结果
21:54.533–21:57.200
zh这条信息会影响结论强度
21:57.400–21:59.966
zh论文证明了一种值得重视的方法
22:00.000–22:02.166
zh并用8项任务给出证据
22:02.333–22:03.900
zh它还没有证明这套方法
22:03.900–22:06.000
zh能普遍适用于所有agent
22:06.400–22:08.266
zh更没有证明任何接入它的
22:08.266–22:10.866
zh模型都会持续提高总体智能
22:10.866–22:13.266
zh完整代码发布独立复现
22:13.400–22:15.800
zh更多模型与更多任务测试
22:16.000–22:17.866
zh才会决定这些数字能否
22:17.866–22:19.500
zh离开研究团队的环境
22:19.600–22:22.966
zh自我进化仍然可以用来概括dream RSI
22:23.333–22:25.933
zh只是必须说清进化发生在哪里
22:25.966–22:28.300
zh这里的变化集中在元探索层
22:28.466–22:30.666
zh固定的编码agent从历史
22:30.666–22:32.933
zh探索记录中改进外部策略
22:33.100–22:35.366
zh再用新策略收集更多历史
22:35.666–22:36.766
zh模型没有觉醒
22:36.900–22:38.066
zh也没有获得修改
22:38.066–22:39.900
zh自身全部组件的权利
22:40.100–22:42.266
zh目标始终是提高发现效率
22:42.500–22:44.100
zh这一步的意义并不小
22:44.266–22:46.100
zh过去提升agent表现
22:46.300–22:49.200
zh最直接的方法是换更大的模型
22:49.300–22:50.600
zh增加推理TOKEN
22:50.733–22:52.000
zh或多跑几次
22:52.200–22:54.500
zhdream RSI给出第四条路线
22:54.666–22:56.266
zh保留过去搜索的结构
22:56.266–22:59.300
zh让系统学习怎样花下一笔计算预算
22:59.533–23:00.966
zh算力没有变免费
23:01.466–23:03.733
zh失败却不再只是一张账单
23:03.900–23:05.566
zh只要记录足够完整
23:05.733–23:07.200
zh它还能为后续策略
23:07.200–23:09.000
zh提供一次又一次反馈
23:09.266–23:11.766
zh它也让经验这个词变得更精确
23:12.166–23:14.333
zh人类说从失败中学习
23:14.533–23:16.333
zh往往靠记忆和总结
23:16.700–23:18.966
zhdream RSI把失败变成带
23:18.966–23:21.533
zh状态动作和结果的节点
23:21.700–23:24.333
zh再让新策略重新经过这些节点
23:24.600–23:26.400
zhagent会在一组已经发生
23:26.400–23:28.466
zh过的世界里反复试走
23:28.733–23:30.366
zh得到的反馈比读一篇
23:30.366–23:32.933
zh复盘文章更接近行为学习
23:33.000–23:35.766
zh也比多塞几段提示词更具体
23:36.066–23:38.600
zh但开头的问题仍然没有完全关闭
23:38.900–23:40.666
zhagent究竟是变聪明
23:40.666–23:42.600
zh还是只更会走旧地图
23:42.900–23:45.400
zh目前的答案是两者之间
23:45.566–23:48.100
zh它没有获得超出基础模型的新知识
23:48.366–23:50.500
zh也看不见历史之外的结果
23:50.866–23:53.166
zh可他确实改变了资源分配方式
23:53.400–23:55.566
zh并在下一轮真实探索中
23:55.700–23:58.066
zh到达旧策略没有到过的位置
23:58.400–24:00.100
zh只要新世界不断加入
24:00.200–24:01.733
zh旧地图就不再静止
24:01.933–24:03.700
zh真正值得警惕和
24:03.700–24:05.533
zh期待的地方都在这里
24:05.566–24:06.600
zh一个闭环系统
24:06.600–24:08.666
zh不需要每轮重训大模型
24:08.666–24:11.300
zh也可能逐步改善自己的工作方法
24:11.666–24:12.866
zh今天它优化的是
24:12.866–24:15.200
zh分支并行和停止规则
24:15.700–24:17.733
zh明天类似机制可能扩展到
24:17.733–24:20.600
zh工具选择记忆管理和验证流程
24:20.766–24:22.133
zh每多开放一层
24:22.200–24:23.866
zh能力上限会提高
24:23.966–24:27.133
zh错误目标和权限风险也会跟着放大
24:27.266–24:29.100
zhdream RSI没有带来科幻
24:29.100–24:30.800
zh故事里的智能爆炸
24:31.333–24:33.800
zh它展示的是一条更现实的路径
24:34.133–24:35.933
zh基础模型保持不动
24:36.000–24:38.400
zh外围系统通过历史评测
24:38.400–24:40.566
zh和代码迭代持续变强
24:40.666–24:41.966
zh这种变化更慢
24:41.966–24:43.333
zh也更工程化
24:43.400–24:46.066
zh却可能更早进入真实产品
24:46.133–24:47.700
zh因为企业不需要等待
24:47.700–24:50.500
zh一个会重写自身大脑的AGI
24:50.966–24:54.333
zh只要现有agent学会少走一半弯路
24:54.700–24:57.166
zh成本结构就已经会被改变
24:57.266–24:59.333
zh外部验证将是下一道关
24:59.766–25:01.933
zh项目页面和论文已经公开
25:02.333–25:04.066
zhGit Hub仓库也能找到
25:04.133–25:06.400
zh但仓库当前明确标注完整
25:06.400–25:09.133
zh代码库复现实验脚本和
25:09.133–25:11.266
zh部分发现程序仍在准备
25:11.466–25:13.000
zh研究者暂时可以检查
25:13.000–25:15.533
zh方法数字和附录里的程序
25:15.700–25:17.733
zh却难以完全重建每一次
25:17.733–25:20.800
zh探索树模型调用和评测环境
25:21.300–25:22.900
zh论文结果因此属于有
25:22.900–25:24.700
zh材料支持的研究报告
25:25.000–25:26.400
zh还不是已经被多家
25:26.400–25:28.766
zh实验室重复确认的工程定律
25:28.966–25:30.600
zh完整代码发布以后
25:30.733–25:32.533
zh最需要复查的是结果对
25:32.533–25:34.900
zh随机性和预算设置有多敏感
25:35.400–25:37.866
zh不能只盯某一张最终成绩表
25:38.166–25:39.800
zh换一批初始节点
25:40.100–25:42.000
zh优势是否仍然存在
25:42.200–25:44.466
zh把策略开发模型换掉
25:45.000–25:47.000
zh循环还能不能稳定提高
25:47.200–25:48.766
zh旧历史中混入低质量
25:48.766–25:51.133
zh轨迹会不会带坏下一轮
25:51.266–25:53.466
zh这些问题决定dream RSI
25:53.466–25:55.066
zh是一套普遍方法
25:55.133–25:56.533
zh还是一组特定任务
25:56.533–25:58.266
zh下非常成功的配置
25:58.533–26:00.866
zh基线选择也需要继续检查
26:01.300–26:03.966
zh固定探索是很清楚的受控对照
26:04.333–26:08.000
zh因为它与dream RSI只差策略是否更新
26:08.600–26:11.766
zh可真实系统还会使用启发式搜索
26:12.066–26:15.733
zh贝叶斯优化进化算法和人工经验
26:16.000–26:17.933
zhDreamrsi在一些任务上
26:17.933–26:20.100
zh超过论文列出的强基线
26:20.166–26:22.400
zh在另一些指标上只是接近
26:22.600–26:25.166
zh后续复现应当比较相同模型
26:25.566–26:27.700
zh相同预算和相同硬件
26:27.800–26:30.300
zh才能知道收益来自历史重放
26:30.300–26:32.366
zh还是来自某些实现细节
26:32.566–26:34.100
zh研究的价值也不必
26:34.100–26:35.866
zh依赖每个分数都获胜
26:36.700–26:39.333
zh它把怎样探索从隐藏在框架
26:39.333–26:41.733
zh里的手写规则变成可以被
26:41.733–26:44.666
zh生成评估和版本管理的对象
26:44.866–26:47.600
zh过去开发者调度agent常靠
26:47.600–26:50.166
zh经验修改并发数和停止条件
26:50.666–26:53.333
zh现在这些选择可以进入实验循环
26:53.500–26:56.600
zh即使最终提升没有宣传数字那么大
26:56.733–26:58.966
zh这种把原策略工程化的
26:58.966–27:01.533
zh思路仍然会影响后续系统
27:01.566–27:04.000
zh还要观察收益能维持多少轮
27:04.700–27:07.200
zh论文展示了有限轮次里的改进
27:07.966–27:10.000
zh任何搜索系统都可能在积累
27:10.000–27:12.133
zh到一定阶段后进入平台期
27:12.500–27:14.866
zh容易发现的优化先被拿走
27:15.000–27:16.666
zh剩下的问题更难
27:16.900–27:18.900
zh历史数也越来越庞大
27:19.100–27:22.533
zh届时重放成本存储成本和策略开发
27:22.533–27:25.600
zh成本会不会吞掉节省下来的调用
27:25.933–27:27.966
zh需要更长时间实验回答
27:28.166–27:29.800
zh递归循环已经闭合
27:29.800–27:32.366
zh不代表性能曲线会永远向上
27:32.533–27:34.900
zh失败记录因此获得了新的意义
27:35.500–27:38.266
zh过去他们证明系统浪费过多少算力
27:38.533–27:39.900
zh现在他们可以帮助下
27:39.900–27:41.666
zh一版系统减少浪费
27:41.933–27:44.500
zhDreamrsi把历史变成模拟器
27:44.600–27:46.533
zh也把每次失败变成一块
27:46.533–27:48.800
zh可重复使用的计算资产
27:49.166–27:52.266
zhAI能否依靠这种资产持续扩大能力
27:52.300–27:55.300
zh还要等待独立复现和更多任务验证
27:55.366–27:57.333
zh可那扇门已经被推开
27:57.466–28:00.500
zh真正的竞争会从谁拥有更强模型
28:00.666–28:02.900
zh延伸到谁拥有更好的历史
28:03.100–28:05.000
zh以及谁最会利用这些历史
0:00.133–0:01.300
一个AI agent
0:01.666–0:03.566
连续试了几百条路线
0:03.566–0:04.666
大部分失败
0:04.700–0:05.800
少数成功
0:06.566–0:07.766
任务结束以后
0:07.766–0:09.300
成功答案被保存
0:09.900–0:12.166
失败过程通常被丢进日志
0:12.500–0:15.133
Dreamrsi提出了一个反常做法
0:15.600–0:18.900
真正值钱的可能正是那些失败记录
0:19.066–0:21.266
它们可以组成一张探索地图
0:21.733–0:24.666
让下一版agent不用重新花钱执行
0:25.400–0:26.966
就能在过去走过的世界
0:26.966–0:29.000
里测试上千种新策略
0:29.366–0:31.300
但一个问题也跟着出现
0:31.500–0:33.300
agent是在真正变聪明
0:33.400–0:34.566
还是只学会了更
0:34.566–0:36.366
熟练的走一张旧地图
0:36.466–0:37.766
2026年9月
0:37.766–0:39.800
由Google Google deep mind
0:40.133–0:41.200
马里兰大学和
0:41.200–0:43.500
弗吉尼亚大学研究人员组成的团队
0:43.500–0:45.000
发布Dreamrsl
0:45.300–0:47.866
RSI是recursive self improvement
0:48.066–0:50.000
也就是递归自我改进
0:50.166–0:52.133
这个词很容易让人联想到
0:52.133–0:54.466
AI重写自己的大脑能力
0:54.533–0:56.200
一轮又一轮上涨
0:56.333–0:58.000
最后进入智能爆炸
0:58.600–1:01.666
dream RSI做的事情更具体
1:01.866–1:04.100
它不修改基础模型的权重
1:04.200–1:06.466
也没有训练出一个新的Gemini
1:06.600–1:08.933
它改进的是agent在复杂
1:08.933–1:11.400
任务中怎样分配探索资源
1:11.966–1:13.466
要理解这项工作
1:13.466–1:15.566
得先看AI agent处理长
1:15.566–1:17.266
任务时究竟在做什么
1:17.466–1:20.133
假设任务是优化一个GPU内核
1:20.500–1:22.333
agent先提出一段代码
1:22.400–1:23.500
执行测速
1:23.700–1:25.666
再根据结果决定下一步
1:25.800–1:27.500
它可能修改内存访问
1:27.600–1:29.400
可能换一种并行方式
1:29.766–1:32.333
也可能从某个旧版本重新分支
1:32.666–1:34.666
简单任务走几步就结束
1:34.866–1:36.666
真正困难的任务会形成
1:36.666–1:38.766
几十甚至上千条路线
1:38.866–1:40.766
这里最昂贵的部分是
1:40.766–1:42.966
决定下一次尝试放在哪里
1:43.166–1:45.533
生成代码反而只占其中一环
1:45.966–1:48.166
应该继续打磨当前最好方案
1:48.333–1:51.200
还是回头救一条被过早放弃的分支
1:51.500–1:53.800
应该同时运行多少个候选
1:53.866–1:56.566
一个方向连续失败几次以后
1:56.666–1:57.800
什么时候停
1:57.800–2:00.500
这些选择统称为探索策略
2:01.066–2:02.300
策略写得差
2:02.400–2:04.300
再强的模型也会把
2:04.300–2:06.566
大量算力浪费在死路上
2:06.666–2:08.300
现用系统常用固定
2:08.300–2:09.766
策略解决这个问题
2:10.400–2:13.700
人类提前规定每轮生成多少候选
2:14.166–2:15.933
保留几个高分结果
2:16.133–2:18.000
并行探索几条路线
2:18.333–2:19.766
再循环多少次
2:19.933–2:21.400
这种方法稳定
2:21.500–2:24.466
却不会从过去的搜索经验中学习
2:24.766–2:27.533
agent已经反复撞过同一堵墙
2:27.800–2:29.733
调度规则下一轮仍可能
2:29.733–2:31.866
把资源投向类似方向
2:32.266–2:35.266
另一条路是在线优化探索策略
2:35.366–2:37.600
让agent一边执行任务
2:37.666–2:40.333
一边试验哪种调度方式更好
2:40.366–2:42.133
问题马上变成成本
2:42.333–2:44.300
判断一套探索策略有没有用
2:44.300–2:46.666
不能只看它下一步选对没有
2:47.100–2:49.600
往往要让它跑完整个长周期任务
2:49.700–2:51.600
最后比较结果和费用
2:51.666–2:53.100
候选策略很多
2:53.100–2:54.566
大多数还会很差
2:54.666–2:57.300
每测试一个策略都重新调用模型
2:57.500–2:59.400
编译代码和运行评测
2:59.600–3:02.400
元优化本身可能比解决任务更贵
3:02.566–3:04.666
dream RSI抓住了一个长期
3:04.666–3:06.500
被当成副产品的东西
3:06.900–3:08.333
完整的发现历史
3:08.500–3:10.366
一次长任务结束后
3:10.500–3:12.700
系统手里不只有最终答案
3:12.733–3:14.200
还有一棵探索树
3:14.366–3:16.000
树上的每个节点都保存
3:16.000–3:18.100
当时的观察和生成方案
3:18.500–3:20.500
也保存文件状态执行
3:20.500–3:22.866
结果以及诊断信息与评分
3:23.166–3:25.966
这是一份结构化的行动与结果记录
3:26.000–3:28.700
远比一段模糊的经验总结具体
3:28.900–3:31.666
研究团队把这棵树当成重放模拟器
3:32.133–3:33.900
新的探索策略进入以后
3:33.900–3:35.066
不需要真的重新
3:35.066–3:36.933
生成和运行每个候选
3:37.366–3:40.200
它只要按照自己的规则遍历这棵树
3:40.333–3:42.000
它可以先看另一条分支
3:42.300–3:44.366
可以同时打开更多节点
3:44.500–3:46.900
也可以更早停止低价值路线
3:47.066–3:49.366
只要它访问的节点已经存在
3:49.733–3:52.200
结果就能从硬盘里直接读出
3:52.300–3:54.366
一次昂贵的在线探索
3:54.866–3:56.400
因此可以支持大量
3:56.400–3:58.300
便宜的离线策略测试
3:58.533–4:00.600
论文把这个过程称为做梦
4:01.000–4:03.733
agent没有回到真实环境重新工作
4:03.800–4:05.200
而是在过去形成的
4:05.200–4:07.100
世界里尝试不同走法
4:07.466–4:09.300
这个比喻听起来很大
4:09.366–4:11.366
机制其实非常工程化
4:11.733–4:13.766
历史记录给出的结果不会像
4:13.766–4:16.066
学习型世界模型那样猜测
4:16.266–4:18.766
因为节点里的代码已经运行过
4:18.866–4:20.466
分数也已经测过
4:20.466–4:22.900
在历史真正覆盖的区域内
4:22.900–4:24.866
它是一次精确重放
4:25.166–4:27.133
限制也埋在同一句话里
4:27.200–4:28.900
历史没有去过的地方
4:28.933–4:30.600
模拟器就无法回答
4:30.733–4:33.666
新策略走到一条过去未展开的分支
4:34.000–4:35.566
系统手中没有结果
4:35.933–4:37.866
既不能保证那里是死路
4:37.966–4:40.166
也不能凭空预测它会成功
4:40.366–4:42.133
Dreamrsi只拥有已经
4:42.133–4:43.866
探索区域的精确地图
4:44.133–4:45.933
覆盖不了整个未知空间
4:46.000–4:48.533
这也是系统必须递归运行的原因
4:48.666–4:51.566
第一轮当前策略进入在线环境
4:51.866–4:54.400
驱动编码agent展开探索
4:54.466–4:55.766
并保存一棵树
4:56.000–4:58.700
第二步这棵树被加入模拟器池
4:58.900–5:02.133
第三步策略开发agent开始
5:02.133–5:04.133
修改探索策略的代码
5:04.300–5:06.166
生成多个候选版本
5:06.366–5:09.533
再把它们放进所有历史树中重放
5:09.600–5:12.266
综合表现最好的策略被选中
5:12.600–5:14.533
进入下一轮在线探索
5:14.733–5:16.966
新策略回到真实任务后
5:17.066–5:19.866
可能到达旧策略从未到过的区域
5:20.066–5:22.533
于是生成一棵不同的探索树
5:22.966–5:25.133
这颗新树又进入模拟器池
5:25.200–5:27.400
供下一轮策略改进使用
5:27.666–5:29.200
策略改变探索
5:29.466–5:30.866
探索扩大历史
5:31.000–5:32.766
扩大的历史再改变策略
5:33.000–5:35.000
dream RSI所谓的递归
5:35.400–5:36.866
指的就是这个闭环
5:37.000–5:39.600
被修改的对象必须再强调一次
5:40.100–5:42.466
论文中的基础模型保持不变
5:42.700–5:46.100
执行任务的编码agent保持不变
5:46.300–5:49.100
评分器和工具接口也保持不变
5:49.300–5:52.000
系统没有对Gemini进行梯度更新
5:52.200–5:54.466
它重写的是外部调度代码
5:54.600–5:55.966
包括分支选择
5:56.533–5:58.700
并行数量和停止规则
5:58.900–6:00.933
项目说明甚至专门写出
6:01.300–6:03.900
Zero gradient steps on the coding agent
6:04.200–6:05.766
就是为了避免把它误解
6:05.766–6:07.900
成模型再重新训练自己
6:08.000–6:09.733
这并不代表改进很浅
6:10.400–6:11.566
模型能力决定一个
6:11.566–6:13.400
候选方案能做到多好
6:13.566–6:15.400
探索策略决定有限预算
6:15.400–6:16.933
能不能找到那个候选
6:17.066–6:18.700
现实中的很多AI任务
6:18.700–6:20.333
模型本来可能会做
6:20.333–6:23.300
只是系统在正确答案出现以前
6:23.300–6:26.466
已经耗完时间TOKEN或执行额度
6:26.800–6:28.800
调度层只要减少无效尝试
6:29.066–6:30.666
就能在不更换模型的
6:30.666–6:32.566
情况下提高最终结果
6:33.366–6:36.333
dream RSI的策略本身是可执行代码
6:36.533–6:38.566
策略开发agent会连续
6:38.566–6:40.100
写出多个修订版
6:40.533–6:41.866
每个版本在历史
6:41.866–6:43.766
模拟器池中接受评分
6:44.366–6:45.966
当前正在使用的旧
6:45.966–6:48.000
策略也被放进候选集合
6:48.366–6:50.866
因此系统总能保留旧版本
6:51.000–6:52.500
论文据此提出
6:52.566–6:55.166
新一轮选出的策略在历史
6:55.166–6:58.000
重放分数上不会比旧策略更差
6:58.000–7:00.000
不会更差有严格范围
7:00.300–7:02.266
它只保证选出的策略在
7:02.266–7:04.500
已经记录的历史和既定
7:04.500–7:07.000
评分方式下不低于旧策略
7:07.366–7:08.366
换一个任务
7:08.466–7:09.866
换一种数据分布
7:10.666–7:13.166
或者评分器本身漏掉了重要质量
7:13.333–7:15.200
新策略依然可能退步
7:15.466–7:17.666
历史回放能防止明显回归
7:18.066–7:20.566
不能提供对未知世界的永久保证
7:20.900–7:22.700
研究团队在8项发现
7:22.700–7:24.566
任务上测试了这套框架
7:25.000–7:26.766
覆盖算法工程数学
7:26.766–7:28.866
优化和GPU内核工程
7:29.000–7:31.933
对照组叫recursive fixed exploration
7:32.300–7:35.600
两边使用相同的基础模型评分器
7:35.966–7:38.066
初始策略和每轮预算
7:38.166–7:40.200
第一轮甚至完全一致
7:40.366–7:42.333
差别从第二轮开始出现
7:42.666–7:44.966
对照组保持原调度方式
7:45.300–7:47.266
dream RSI根据历史重放
7:47.266–7:48.933
持续修改探索策略
7:49.166–7:51.000
算法工程部分选择了
7:51.000–7:53.333
Lasso正则化路径求解器
7:53.666–7:56.366
这个任务要求agent写出速度快
7:56.400–7:57.800
结果正确的程序
7:58.066–7:59.766
再在6个流出数据集
7:59.766–8:01.400
上测量运行时间
8:01.600–8:04.000
使用Gemini3.1Pro时
8:04.366–8:06.466
固定探索消耗550次
8:06.566–8:08.166
发现agent调用
8:08.266–8:12.333
最终平均运行时间为3,587.1毫秒
8:12.566–8:15.466
dream RSI使用317次调用
8:15.800–8:19.266
把平均时间降到2,931.0毫秒
8:19.466–8:21.366
调用量减少约1.7倍
8:21.366–8:23.166
找到的程序反而更快
8:23.500–8:25.566
换成Gemini3.7Flash以后
8:25.566–8:28.066
固定策略用了3,200次调用
8:28.066–8:31.800
平均运行时间是2,516.7毫秒
8:32.100–8:35.500
dream RSI用了1,879次调用
8:35.500–8:38.000
得到2,350.6毫秒
8:38.466–8:42.266
和simple test使用的51,200次生成相比
8:42.533–8:44.500
论文在部分设置中报告
8:44.500–8:46.933
最多162倍的调用节省
8:47.100–8:48.500
这个数字很醒目
8:48.600–8:50.333
但比较对象和预算
8:50.333–8:52.100
设置必须一起保留
8:52.200–8:53.600
不能把它解释成
8:53.600–8:56.000
所有任务都节省162倍
8:56.466–8:58.366
被发现的Lasso程序也不是
8:58.366–9:00.300
凭空拼出一段神秘代码
9:00.400–9:02.200
它结合了强规则筛选
9:02.366–9:05.466
基于柯西斯瓦茨不等式的KKT剪枝
9:05.866–9:06.933
活动集合管理
9:07.100–9:09.333
延迟构建GRAM矩阵和硬件
9:09.333–9:11.766
优化系统在大量候选中
9:11.766–9:13.866
找到了一套更合适的组合
9:13.966–9:16.933
并根据问题规模调整验证成本
9:17.166–9:18.666
他证明调度改进可以
9:18.666–9:20.666
落到可测量的程序性能
9:20.966–9:23.800
而不是只让agent自评这次更有创意
9:23.966–9:26.500
数学优化部分包含核差集合
9:27.000–9:29.366
自相关不等式与圆形装箱
9:29.800–9:34.166
dream RSI在核差问题上取得1.145427
9:34.600–9:36.166
超过论文列出的simple
9:36.300–9:38.200
test与固定探索结果
9:38.366–9:41.600
原型装箱达到2.635983
9:41.800–9:43.933
与最强对照结果持平
9:44.166–9:47.000
自相关任务得到1.456375
9:47.066–9:50.566
没有超过simple TES的1.453675
9:51.066–9:53.133
因为该项指标越低越好
9:53.200–9:54.766
这个结果提醒外界
9:55.133–9:58.300
dream RSI没有在每个任务上全面获胜
9:58.400–10:00.500
它的优势仍体现在预算
10:00.900–10:04.766
simple t ES在对照中使用51200次生成
10:05.266–10:07.333
Dreamrsi少于1,000次
10:07.533–10:10.066
部分结果未必拿到单项第一
10:10.100–10:12.700
但单位计算成本更有竞争力
10:12.733–10:15.866
这类系统真正追求的目标是用更
10:15.866–10:18.933
少真实执行找到足够好的方案
10:19.266–10:22.000
排行榜最高分只是其中一个指标
10:22.200–10:24.933
GPU内核工程又提供了另一种检验
10:25.166–10:28.266
在VGG16和layer norm任务中
10:28.500–10:31.066
dream RSI达到相近性能时
10:31.200–10:35.266
分别减少2.43倍和1.79倍生成次数
10:35.466–10:38.733
CONV div与CONV Max在相近预算下
10:38.933–10:40.466
性能分别达到固定
10:40.466–10:43.200
探索的2.09倍和1.44倍
10:44.000–10:46.400
四类任务涉及不同计算结构
10:46.666–10:48.500
说明学习到的策略至少
10:48.500–10:50.766
没有被锁死在一个算法题上
10:50.966–10:53.766
研究人员还观察了策略怎样变化
10:53.900–10:55.766
在Convictive实验中
10:56.000–10:57.600
系统表现上升后
10:57.600–11:01.366
把每轮评估的尝试从110个降到50个
11:01.800–11:03.200
主动节省计算
11:03.366–11:04.733
进展停滞以后
11:04.733–11:05.933
它又扩大探索
11:06.100–11:07.533
评估数量回升
11:07.700–11:09.733
随后出现新的性能跳跃
11:10.200–11:13.200
他学会根据进展调节搜索强度
11:13.300–11:15.566
表现上升时缩减预算
11:15.666–11:17.866
停滞时重新扩大分支
11:18.066–11:19.733
另一个实验更有意思
11:20.200–11:21.866
研究团队把历史轨迹
11:21.866–11:23.766
总结成高层语义建议
11:23.866–11:25.300
再塞回提示词
11:25.533–11:27.266
例如告诉agent哪些
11:27.266–11:28.766
方向可能更有希望
11:28.933–11:31.666
这种看起来更像人类复盘的做法
11:32.000–11:35.200
表现反而低于直接使用历史数重放
11:35.400–11:38.300
原因可能是总结会过早压缩信息
11:38.466–11:41.166
也会把过去的成功变成强烈偏见
11:41.366–11:44.166
导致新一轮探索集中在少数方向
11:44.666–11:47.300
树状历史保留了更多反事实空间
11:47.533–11:50.700
策略可以看到某条路线在哪里停下
11:50.700–11:52.466
也能重新安排那些
11:52.466–11:54.366
当时被忽略的节点
11:54.466–11:57.333
文字总结通常只留下应该做什么
11:57.566–12:00.000
探索树还保留做过什么
12:00.100–12:01.266
失败在哪里
12:01.533–12:03.333
当时还有哪些路没继续
12:03.400–12:06.066
对于长周期多分支任务
12:06.066–12:08.066
这两类记忆并不等价
12:08.166–12:11.200
它和检索增强生成也有明显差别
12:11.866–12:14.166
普通记忆系统在遇到新任务时
12:14.300–12:17.200
找出几段相似经验放进上下文
12:17.366–12:19.600
模型读完以后自行决定怎么做
12:19.800–12:22.133
dream RSI不止提供旧经验
12:22.333–12:25.466
还让候选策略在旧树上实际走一遍
12:25.900–12:28.066
并按照成本与结果计分
12:28.566–12:30.200
前者提供参考材料
12:30.366–12:32.700
后者提供可比较的行为反馈
12:32.866–12:34.266
它也不同于微调
12:34.500–12:36.800
微调把经验压进模型参数
12:36.800–12:39.333
可能提高一类任务的平均表现
12:39.466–12:43.000
却很难解释某次提升来自哪条轨迹
12:43.366–12:45.500
dream RSI保留基础模型
12:45.700–12:47.533
只修改外部策略代码
12:47.800–12:50.300
旧策略和新策略可以逐行比较
12:50.400–12:53.300
表现变化也能对应到具体历史数
12:53.533–12:55.666
代价是它不能直接扩大
12:55.666–12:57.566
模型的知识和推理上限
12:58.100–13:00.366
只能更有效地调用已有能力
13:00.500–13:02.400
和传统强化学习相比
13:02.700–13:06.533
dream RSI借用了离线策略评估的思想
13:06.666–13:09.133
却利用了编码任务特有的结构
13:09.266–13:10.866
环境结果已经被保存在
13:10.866–13:13.600
文件程序输出和分数中
13:14.200–13:15.500
重放时不需要学习
13:15.500–13:17.200
一个近似动力学模型
13:17.333–13:19.666
只要候选策略不走出历史树
13:20.066–13:22.766
反馈就是当时真实执行过的结果
13:23.466–13:25.166
强化学习中常见的模型
13:25.166–13:27.200
预测误差因此被缩小
13:27.366–13:29.800
但覆盖不足的问题仍然存在
13:29.933–13:31.900
可以用一个简化例子理解
13:32.333–13:35.200
某次内核优化一共展开100个节点
13:35.366–13:38.366
旧策略先连续打磨a路线40次
13:38.500–13:39.800
再试b和c
13:40.266–13:41.866
后来发现真正的突破
13:41.866–13:43.733
来自c的第六个分支
13:44.066–13:47.066
新策略可以在历史树里提前访问c
13:47.200–13:49.133
并减少a上的预算
13:49.300–13:51.866
它不需要重新编译那100份代码
13:51.933–13:53.600
因为结果都已保存
13:53.866–13:55.800
可要是新策略想尝试
13:55.800–13:57.700
从未出现过的d路线
13:58.100–13:59.900
历史就无法提供答案
14:00.000–14:02.300
只能等下一轮真实执行
14:02.366–14:05.133
这套方法因此同时依赖两种质量
14:05.166–14:06.900
第一种是历史覆盖
14:07.166–14:08.900
探索树必须足够丰富
14:08.933–14:11.300
不能只记录最后几个成功候选
14:11.700–14:13.400
第二种是评分质量
14:13.500–14:15.566
每个节点的结果必须可靠
14:15.766–14:18.600
日志缺失执行环境变化或
14:18.600–14:21.800
评分器错误都会让模拟世界失真
14:22.466–14:24.733
系统节省了重复执行成本
14:24.900–14:26.766
也把更高要求转移给
14:26.766–14:28.766
记录和评测基础设施
14:29.100–14:31.000
研究团队让候选策略在
14:31.000–14:33.066
全部历史数上接受评估
14:33.100–14:34.766
而不是只看最近一轮
14:34.966–14:36.400
这样可以降低策略
14:36.400–14:38.166
迎合单次任务的风险
14:38.366–14:39.566
旧世界越多
14:39.766–14:42.533
候选策略越难靠偶然路线获胜
14:43.133–14:45.600
不过历史池本身仍可能
14:45.600–14:47.333
偏向某些任务类型
14:47.866–14:50.200
如果过去全是GPU优化
14:50.333–14:53.300
得到的调度习惯未必适合数学证明
14:53.400–14:55.333
跨领域泛化需要更多实验
14:55.333–14:57.666
不能只凭三个领域就下定论
14:58.666–15:00.966
策略选择还涉及多目标权衡
15:01.200–15:03.533
发现系统既想要高质量结果
15:03.533–15:05.300
也想减少模型调用
15:05.300–15:07.100
执行时间和并行资源
15:07.266–15:08.900
一个策略可能用很少
15:08.900–15:10.566
调用找到不错答案
15:11.066–15:12.366
另一个策略消耗
15:12.366–15:14.366
更多预算拿到略高分
15:14.500–15:17.100
最终选谁取决于评价函数
15:17.100–15:19.200
怎样给质量和成本定价
15:19.700–15:21.700
Dreamrsi能优化这套权衡
15:21.733–15:24.333
却不能替使用者决定什么最重要
15:24.666–15:26.866
Dreamrsi最重要的产业含义
15:27.500–15:30.100
也许是把日志从成本变成资产
15:30.200–15:32.733
今天大量agent平台保存轨迹
15:33.133–15:34.900
主要用于排查错误
15:35.100–15:37.666
审计调用和改进提示词
15:38.000–15:40.533
dream RSI展示了另一种用途
15:41.166–15:42.800
只要轨迹包含清楚的
15:42.800–15:44.933
决策结构和可复现结果
15:45.200–15:46.533
它就能成为测试
15:46.533–15:48.400
未来调度策略的环境
15:48.800–15:51.400
公司已经为在线运行付过一次费用
15:51.566–15:52.933
后续可以反复利用
15:52.933–15:54.600
这段历史筛选策略
15:54.733–15:57.466
这会改变agent系统的竞争方式
15:57.700–16:00.300
模型公司比参数和推理能力
16:00.733–16:02.266
应用公司则可能开始
16:02.266–16:04.000
积累自己的探索世界
16:04.133–16:07.000
哪家企业拥有更多高质量任务轨迹
16:07.333–16:09.766
准确评分和真实执行结果
16:09.933–16:11.700
哪家企业就更容易把同
16:11.700–16:13.900
一款基础模型调度得更好
16:14.000–16:15.700
模型可以从API购买
16:15.700–16:18.066
历史数和业务评估器
16:18.066–16:19.333
却很难复制
16:19.866–16:22.200
这种资产还有很强的领域属性
16:22.366–16:23.800
芯片公司积累的是
16:23.800–16:26.566
内核编译器和硬件结果
16:26.866–16:28.366
药物公司积累的是
16:28.366–16:30.533
分子设计与实验反馈
16:30.900–16:32.933
软件团队积累的是代码
16:32.933–16:35.266
修改测试和故障记录
16:35.700–16:37.333
它们无法像通用文本
16:37.333–16:39.566
那样随手从互联网获取
16:39.733–16:41.366
未来的agent护城河
16:41.566–16:43.133
可能由两部分组成
16:43.566–16:44.933
一套探索策略
16:44.966–16:46.600
加上一批经过验证
16:46.600–16:48.733
能够重放的决策世界
16:48.933–16:50.566
成本结构也会改变
16:50.766–16:52.800
在线执行需要调用模型
16:53.000–16:54.900
占用机器并等待评估
16:55.200–16:57.600
离线重放主要读取保存结果
16:58.100–17:00.333
企业可以在真实执行次数不变
17:00.333–17:03.066
的情况下测试更多调度候选
17:03.100–17:06.066
一次失败不再只产生沉默成本
17:06.300–17:08.966
还能提高以后筛选策略的效率
17:09.466–17:10.666
任务量越大
17:10.766–17:13.666
历史复用带来的边际价值越明显
17:13.733–17:16.766
不过保存完整探索树并不便宜
17:16.866–17:19.933
每个节点可能包含代码仓库快照
17:20.100–17:23.366
编译产物日志评测结果和模型
17:23.366–17:24.266
上下文
17:24.466–17:27.733
长期积累会带来存储与治理压力
17:28.100–17:30.000
企业还要处理商业机密
17:30.000–17:32.400
个人数据和第三方代码许可
17:32.500–17:34.133
不能为了训练调度器
17:34.133–17:36.066
无限期保存所有轨迹
17:36.200–17:37.800
哪些节点值得保留
17:37.966–17:38.933
怎样脱敏
17:39.133–17:40.266
多久删除
17:40.466–17:41.733
同样需要策略
17:41.866–17:44.166
多人协作会让问题更复杂
17:44.800–17:46.966
一个agent负责提出方案
17:47.300–17:48.700
另一个负责测试
17:48.900–17:50.466
第三个负责审查
17:50.733–17:53.500
探索树里就会包含多个角色的行动
17:53.800–17:55.700
Dreamrsi目前主要改进
17:55.700–17:57.366
统一的探索控制器
17:57.500–17:59.000
未来系统可能进一步
17:59.000–18:00.700
学习怎样分配角色
18:00.900–18:03.400
什么时候让不同模型互相检查
18:03.566–18:06.133
调度层一旦扩展到模型选择
18:06.300–18:09.333
成本和能力都会出现新的组合空间
18:09.400–18:11.733
这里也存在反馈回路风险
18:12.300–18:14.500
某一版策略偏爱某种路线
18:14.733–18:16.600
它生成的新历史就会
18:16.600–18:18.266
更多覆盖这种路线
18:19.133–18:21.266
下一版又在这些历史上训练
18:21.400–18:23.200
偏好可能逐轮强化
18:23.366–18:25.566
系统需要保留一定探索比例
18:25.733–18:27.900
主动寻找历史之外的区域
18:28.266–18:30.000
否则模拟器池越大
18:30.066–18:31.200
视野反而越窄
18:31.666–18:35.133
论文中策略在停滞后重新扩大探索
18:35.766–18:37.300
是一个积极信号
18:37.366–18:39.166
却不能保证所有任务
18:39.166–18:41.166
都会自然出现这种行为
18:41.400–18:43.266
软件工程会最先受益
18:43.533–18:46.900
编译测试和性能评估都有明确反馈
18:47.166–18:48.733
agent生成代码以后
18:48.733–18:50.366
可以迅速知道对错
18:50.733–18:54.066
芯片设计数据库查询优化自动
18:54.066–18:57.466
调参和运筹问题也具备类似条件
18:57.600–18:59.533
只要结果可以自动验证
19:00.266–19:02.866
历史就能被组织成重放空间
19:03.100–19:05.700
策略改进也有稳定分数可以追踪
19:05.866–19:08.200
开放式研究要困难的多
19:08.200–19:11.100
一项科学假设是否有价值
19:11.200–19:12.866
可能几年后才知道
19:13.200–19:14.966
实验失败也可能来自
19:14.966–19:17.566
设备样本或测量误差
19:17.733–19:19.266
评分器给错方向
19:19.466–19:22.400
agent就会越来越擅长追逐错误目标
19:22.700–19:25.400
dream RSI解决了反馈昂贵的问题
19:25.700–19:27.066
却没有自动解决
19:27.066–19:28.800
反馈是否真实的问题
19:29.100–19:30.100
这种风险在自我
19:30.100–19:31.766
改进系统里会被放大
19:31.900–19:33.166
系统每一轮都根据
19:33.166–19:35.000
评分选择下一版策略
19:35.266–19:37.900
评分规则中的漏洞也会被持续利用
19:38.133–19:40.800
一个只奖励速度的内核优化器
19:41.100–19:44.266
可能寻找牺牲数值稳定性的捷径
19:44.400–19:47.400
一个只看测试通过率的编码agent
19:47.800–19:50.266
可能针对测试用例过拟合
19:50.600–19:52.133
一个企业流程agent
19:52.533–19:54.000
甚至可能学会绕开
19:54.000–19:56.333
耗时但必要的审核步骤
19:56.500–19:57.933
优化循环越有效
19:58.333–20:00.300
代理指标越需要谨慎设计
20:00.566–20:02.666
历史本身也可能污染策略
20:03.333–20:05.300
旧任务里存在错误标签
20:05.500–20:07.366
异常环境或偶然成功
20:07.933–20:10.500
重放系统会把它们当做确定结果
20:11.133–20:13.366
模拟器在记录区域内很精确
20:14.066–20:15.966
可记录不一定代表未来
20:16.066–20:19.400
软件版本硬件业务规则和
20:19.400–20:21.566
安全政策发生变化以后
20:21.700–20:24.100
旧节点的结果可能已经失效
20:24.266–20:26.000
企业需要给历史树加
20:26.000–20:28.500
版本时间和环境标签
20:28.600–20:31.133
还要知道什么时候让旧世界退役
20:31.366–20:33.566
安全边界同样不能省略
20:34.133–20:36.600
探索策略决定哪些代码被执行
20:36.600–20:38.066
多少任务并行
20:38.066–20:39.533
以及什么时候停止
20:39.700–20:41.933
它本身已经掌握实际资源
20:42.133–20:43.500
策略开发代理如果
20:43.500–20:45.466
可以任意修改调度代码
20:45.533–20:48.066
就必须运行在隔离环境里
20:48.200–20:51.066
限制网络凭证和文件权限
20:51.566–20:53.200
候选策略应先通过
20:53.200–20:55.300
静态检查和沙箱测试
20:55.300–20:56.900
再进入历史回放
20:57.133–20:59.333
被选中的版本还需要清楚
20:59.333–21:01.533
的差异记录和回滚路径
21:01.766–21:02.966
从这个角度看
21:03.166–21:05.733
dream RSI反而提供了一种比较
21:05.733–21:08.166
容易审计的自我改进方式
21:08.733–21:10.600
他修改外部策略代码
21:10.766–21:11.966
绕开了直接改变
21:11.966–21:13.766
难以解释的模型权重
21:13.966–21:15.500
每个版本写了什么
21:15.500–21:16.966
为什么得分更高
21:16.966–21:19.266
在哪些历史树上通过测试
21:19.300–21:20.600
都可以留下记录
21:21.133–21:22.300
危险没有消失
21:22.300–21:24.300
但变化发生在可见层
21:24.400–21:26.200
治理工具更容易介入
21:26.300–21:28.466
外界也不能忽略研究状态
21:29.300–21:32.300
dream RSI目前是Arxiv预印本
21:32.666–21:35.300
实验结果主要由作者团队报告
21:35.400–21:38.100
还没有经过完整的独立同行评审
21:38.500–21:39.966
项目仓库已经公开
21:40.133–21:42.300
readme在当前阶段明确写着
21:42.300–21:44.700
完整代码复现实验脚本和
21:44.700–21:46.766
发现程序仍在准备发布
21:46.933–21:48.866
论文附录提供了部分程序
21:49.333–21:51.200
项目网页也有交互演示
21:51.366–21:52.700
但外部团队还不能
21:52.700–21:54.400
一键重跑全部结果
21:54.533–21:57.200
这条信息会影响结论强度
21:57.400–21:59.966
论文证明了一种值得重视的方法
22:00.000–22:02.166
并用8项任务给出证据
22:02.333–22:03.900
它还没有证明这套方法
22:03.900–22:06.000
能普遍适用于所有agent
22:06.400–22:08.266
更没有证明任何接入它的
22:08.266–22:10.866
模型都会持续提高总体智能
22:10.866–22:13.266
完整代码发布独立复现
22:13.400–22:15.800
更多模型与更多任务测试
22:16.000–22:17.866
才会决定这些数字能否
22:17.866–22:19.500
离开研究团队的环境
22:19.600–22:22.966
自我进化仍然可以用来概括dream RSI
22:23.333–22:25.933
只是必须说清进化发生在哪里
22:25.966–22:28.300
这里的变化集中在元探索层
22:28.466–22:30.666
固定的编码agent从历史
22:30.666–22:32.933
探索记录中改进外部策略
22:33.100–22:35.366
再用新策略收集更多历史
22:35.666–22:36.766
模型没有觉醒
22:36.900–22:38.066
也没有获得修改
22:38.066–22:39.900
自身全部组件的权利
22:40.100–22:42.266
目标始终是提高发现效率
22:42.500–22:44.100
这一步的意义并不小
22:44.266–22:46.100
过去提升agent表现
22:46.300–22:49.200
最直接的方法是换更大的模型
22:49.300–22:50.600
增加推理TOKEN
22:50.733–22:52.000
或多跑几次
22:52.200–22:54.500
dream RSI给出第四条路线
22:54.666–22:56.266
保留过去搜索的结构
22:56.266–22:59.300
让系统学习怎样花下一笔计算预算
22:59.533–23:00.966
算力没有变免费
23:01.466–23:03.733
失败却不再只是一张账单
23:03.900–23:05.566
只要记录足够完整
23:05.733–23:07.200
它还能为后续策略
23:07.200–23:09.000
提供一次又一次反馈
23:09.266–23:11.766
它也让经验这个词变得更精确
23:12.166–23:14.333
人类说从失败中学习
23:14.533–23:16.333
往往靠记忆和总结
23:16.700–23:18.966
dream RSI把失败变成带
23:18.966–23:21.533
状态动作和结果的节点
23:21.700–23:24.333
再让新策略重新经过这些节点
23:24.600–23:26.400
agent会在一组已经发生
23:26.400–23:28.466
过的世界里反复试走
23:28.733–23:30.366
得到的反馈比读一篇
23:30.366–23:32.933
复盘文章更接近行为学习
23:33.000–23:35.766
也比多塞几段提示词更具体
23:36.066–23:38.600
但开头的问题仍然没有完全关闭
23:38.900–23:40.666
agent究竟是变聪明
23:40.666–23:42.600
还是只更会走旧地图
23:42.900–23:45.400
目前的答案是两者之间
23:45.566–23:48.100
它没有获得超出基础模型的新知识
23:48.366–23:50.500
也看不见历史之外的结果
23:50.866–23:53.166
可他确实改变了资源分配方式
23:53.400–23:55.566
并在下一轮真实探索中
23:55.700–23:58.066
到达旧策略没有到过的位置
23:58.400–24:00.100
只要新世界不断加入
24:00.200–24:01.733
旧地图就不再静止
24:01.933–24:03.700
真正值得警惕和
24:03.700–24:05.533
期待的地方都在这里
24:05.566–24:06.600
一个闭环系统
24:06.600–24:08.666
不需要每轮重训大模型
24:08.666–24:11.300
也可能逐步改善自己的工作方法
24:11.666–24:12.866
今天它优化的是
24:12.866–24:15.200
分支并行和停止规则
24:15.700–24:17.733
明天类似机制可能扩展到
24:17.733–24:20.600
工具选择记忆管理和验证流程
24:20.766–24:22.133
每多开放一层
24:22.200–24:23.866
能力上限会提高
24:23.966–24:27.133
错误目标和权限风险也会跟着放大
24:27.266–24:29.100
dream RSI没有带来科幻
24:29.100–24:30.800
故事里的智能爆炸
24:31.333–24:33.800
它展示的是一条更现实的路径
24:34.133–24:35.933
基础模型保持不动
24:36.000–24:38.400
外围系统通过历史评测
24:38.400–24:40.566
和代码迭代持续变强
24:40.666–24:41.966
这种变化更慢
24:41.966–24:43.333
也更工程化
24:43.400–24:46.066
却可能更早进入真实产品
24:46.133–24:47.700
因为企业不需要等待
24:47.700–24:50.500
一个会重写自身大脑的AGI
24:50.966–24:54.333
只要现有agent学会少走一半弯路
24:54.700–24:57.166
成本结构就已经会被改变
24:57.266–24:59.333
外部验证将是下一道关
24:59.766–25:01.933
项目页面和论文已经公开
25:02.333–25:04.066
Git Hub仓库也能找到
25:04.133–25:06.400
但仓库当前明确标注完整
25:06.400–25:09.133
代码库复现实验脚本和
25:09.133–25:11.266
部分发现程序仍在准备
25:11.466–25:13.000
研究者暂时可以检查
25:13.000–25:15.533
方法数字和附录里的程序
25:15.700–25:17.733
却难以完全重建每一次
25:17.733–25:20.800
探索树模型调用和评测环境
25:21.300–25:22.900
论文结果因此属于有
25:22.900–25:24.700
材料支持的研究报告
25:25.000–25:26.400
还不是已经被多家
25:26.400–25:28.766
实验室重复确认的工程定律
25:28.966–25:30.600
完整代码发布以后
25:30.733–25:32.533
最需要复查的是结果对
25:32.533–25:34.900
随机性和预算设置有多敏感
25:35.400–25:37.866
不能只盯某一张最终成绩表
25:38.166–25:39.800
换一批初始节点
25:40.100–25:42.000
优势是否仍然存在
25:42.200–25:44.466
把策略开发模型换掉
25:45.000–25:47.000
循环还能不能稳定提高
25:47.200–25:48.766
旧历史中混入低质量
25:48.766–25:51.133
轨迹会不会带坏下一轮
25:51.266–25:53.466
这些问题决定dream RSI
25:53.466–25:55.066
是一套普遍方法
25:55.133–25:56.533
还是一组特定任务
25:56.533–25:58.266
下非常成功的配置
25:58.533–26:00.866
基线选择也需要继续检查
26:01.300–26:03.966
固定探索是很清楚的受控对照
26:04.333–26:08.000
因为它与dream RSI只差策略是否更新
26:08.600–26:11.766
可真实系统还会使用启发式搜索
26:12.066–26:15.733
贝叶斯优化进化算法和人工经验
26:16.000–26:17.933
Dreamrsi在一些任务上
26:17.933–26:20.100
超过论文列出的强基线
26:20.166–26:22.400
在另一些指标上只是接近
26:22.600–26:25.166
后续复现应当比较相同模型
26:25.566–26:27.700
相同预算和相同硬件
26:27.800–26:30.300
才能知道收益来自历史重放
26:30.300–26:32.366
还是来自某些实现细节
26:32.566–26:34.100
研究的价值也不必
26:34.100–26:35.866
依赖每个分数都获胜
26:36.700–26:39.333
它把怎样探索从隐藏在框架
26:39.333–26:41.733
里的手写规则变成可以被
26:41.733–26:44.666
生成评估和版本管理的对象
26:44.866–26:47.600
过去开发者调度agent常靠
26:47.600–26:50.166
经验修改并发数和停止条件
26:50.666–26:53.333
现在这些选择可以进入实验循环
26:53.500–26:56.600
即使最终提升没有宣传数字那么大
26:56.733–26:58.966
这种把原策略工程化的
26:58.966–27:01.533
思路仍然会影响后续系统
27:01.566–27:04.000
还要观察收益能维持多少轮
27:04.700–27:07.200
论文展示了有限轮次里的改进
27:07.966–27:10.000
任何搜索系统都可能在积累
27:10.000–27:12.133
到一定阶段后进入平台期
27:12.500–27:14.866
容易发现的优化先被拿走
27:15.000–27:16.666
剩下的问题更难
27:16.900–27:18.900
历史数也越来越庞大
27:19.100–27:22.533
届时重放成本存储成本和策略开发
27:22.533–27:25.600
成本会不会吞掉节省下来的调用
27:25.933–27:27.966
需要更长时间实验回答
27:28.166–27:29.800
递归循环已经闭合
27:29.800–27:32.366
不代表性能曲线会永远向上
27:32.533–27:34.900
失败记录因此获得了新的意义
27:35.500–27:38.266
过去他们证明系统浪费过多少算力
27:38.533–27:39.900
现在他们可以帮助下
27:39.900–27:41.666
一版系统减少浪费
27:41.933–27:44.500
Dreamrsi把历史变成模拟器
27:44.600–27:46.533
也把每次失败变成一块
27:46.533–27:48.800
可重复使用的计算资产
27:49.166–27:52.266
AI能否依靠这种资产持续扩大能力
27:52.300–27:55.300
还要等待独立复现和更多任务验证
27:55.366–27:57.333
可那扇门已经被推开
27:57.466–28:00.500
真正的竞争会从谁拥有更强模型
28:00.666–28:02.900
延伸到谁拥有更好的历史
28:03.100–28:05.000
以及谁最会利用这些历史
0:00.133–0:01.300
zh一个AI agent
一个AI agent
0:01.666–0:03.566
zh连续试了几百条路线
连续试了几百条路线
0:03.566–0:04.666
zh大部分失败
大部分失败
0:04.700–0:05.800
zh少数成功
少数成功
0:06.566–0:07.766
zh任务结束以后
任务结束以后
0:07.766–0:09.300
zh成功答案被保存
成功答案被保存
0:09.900–0:12.166
zh失败过程通常被丢进日志
失败过程通常被丢进日志
0:12.500–0:15.133
zhDreamrsi提出了一个反常做法
Dreamrsi提出了一个反常做法
0:15.600–0:18.900
zh真正值钱的可能正是那些失败记录
真正值钱的可能正是那些失败记录
0:19.066–0:21.266
zh它们可以组成一张探索地图
它们可以组成一张探索地图
0:21.733–0:24.666
zh让下一版agent不用重新花钱执行
让下一版agent不用重新花钱执行
0:25.400–0:26.966
zh就能在过去走过的世界
就能在过去走过的世界
0:26.966–0:29.000
zh里测试上千种新策略
里测试上千种新策略
0:29.366–0:31.300
zh但一个问题也跟着出现
但一个问题也跟着出现
0:31.500–0:33.300
zhagent是在真正变聪明
agent是在真正变聪明
0:33.400–0:34.566
zh还是只学会了更
还是只学会了更
0:34.566–0:36.366
zh熟练的走一张旧地图
熟练的走一张旧地图
0:36.466–0:37.766
zh2026年9月
2026年9月
0:37.766–0:39.800
zh由Google Google deep mind
由Google Google deep mind
0:40.133–0:41.200
zh马里兰大学和
马里兰大学和
0:41.200–0:43.500
zh弗吉尼亚大学研究人员组成的团队
弗吉尼亚大学研究人员组成的团队
0:43.500–0:45.000
zh发布Dreamrsl
发布Dreamrsl
0:45.300–0:47.866
zhRSI是recursive self improvement
RSI是recursive self improvement
0:48.066–0:50.000
zh也就是递归自我改进
也就是递归自我改进
0:50.166–0:52.133
zh这个词很容易让人联想到
这个词很容易让人联想到
0:52.133–0:54.466
zhAI重写自己的大脑能力
AI重写自己的大脑能力
0:54.533–0:56.200
zh一轮又一轮上涨
一轮又一轮上涨
0:56.333–0:58.000
zh最后进入智能爆炸
最后进入智能爆炸
0:58.600–1:01.666
zhdream RSI做的事情更具体
dream RSI做的事情更具体
1:01.866–1:04.100
zh它不修改基础模型的权重
它不修改基础模型的权重
1:04.200–1:06.466
zh也没有训练出一个新的Gemini
也没有训练出一个新的Gemini
1:06.600–1:08.933
zh它改进的是agent在复杂
它改进的是agent在复杂
1:08.933–1:11.400
zh任务中怎样分配探索资源
任务中怎样分配探索资源
1:11.966–1:13.466
zh要理解这项工作
要理解这项工作
1:13.466–1:15.566
zh得先看AI agent处理长
得先看AI agent处理长
1:15.566–1:17.266
zh任务时究竟在做什么
任务时究竟在做什么
1:17.466–1:20.133
zh假设任务是优化一个GPU内核
假设任务是优化一个GPU内核
1:20.500–1:22.333
zhagent先提出一段代码
agent先提出一段代码
1:22.400–1:23.500
zh执行测速
执行测速
1:23.700–1:25.666
zh再根据结果决定下一步
再根据结果决定下一步
1:25.800–1:27.500
zh它可能修改内存访问
它可能修改内存访问
1:27.600–1:29.400
zh可能换一种并行方式
可能换一种并行方式
1:29.766–1:32.333
zh也可能从某个旧版本重新分支
也可能从某个旧版本重新分支
1:32.666–1:34.666
zh简单任务走几步就结束
简单任务走几步就结束
1:34.866–1:36.666
zh真正困难的任务会形成
真正困难的任务会形成
1:36.666–1:38.766
zh几十甚至上千条路线
几十甚至上千条路线
1:38.866–1:40.766
zh这里最昂贵的部分是
这里最昂贵的部分是
1:40.766–1:42.966
zh决定下一次尝试放在哪里
决定下一次尝试放在哪里
1:43.166–1:45.533
zh生成代码反而只占其中一环
生成代码反而只占其中一环
1:45.966–1:48.166
zh应该继续打磨当前最好方案
应该继续打磨当前最好方案
1:48.333–1:51.200
zh还是回头救一条被过早放弃的分支
还是回头救一条被过早放弃的分支
1:51.500–1:53.800
zh应该同时运行多少个候选
应该同时运行多少个候选
1:53.866–1:56.566
zh一个方向连续失败几次以后
一个方向连续失败几次以后
1:56.666–1:57.800
zh什么时候停
什么时候停
1:57.800–2:00.500
zh这些选择统称为探索策略
这些选择统称为探索策略
2:01.066–2:02.300
zh策略写得差
策略写得差
2:02.400–2:04.300
zh再强的模型也会把
再强的模型也会把
2:04.300–2:06.566
zh大量算力浪费在死路上
大量算力浪费在死路上
2:06.666–2:08.300
zh现用系统常用固定
现用系统常用固定
2:08.300–2:09.766
zh策略解决这个问题
策略解决这个问题
2:10.400–2:13.700
zh人类提前规定每轮生成多少候选
人类提前规定每轮生成多少候选
2:14.166–2:15.933
zh保留几个高分结果
保留几个高分结果
2:16.133–2:18.000
zh并行探索几条路线
并行探索几条路线
2:18.333–2:19.766
zh再循环多少次
再循环多少次
2:19.933–2:21.400
zh这种方法稳定
这种方法稳定
2:21.500–2:24.466
zh却不会从过去的搜索经验中学习
却不会从过去的搜索经验中学习
2:24.766–2:27.533
zhagent已经反复撞过同一堵墙
agent已经反复撞过同一堵墙
2:27.800–2:29.733
zh调度规则下一轮仍可能
调度规则下一轮仍可能
2:29.733–2:31.866
zh把资源投向类似方向
把资源投向类似方向
2:32.266–2:35.266
zh另一条路是在线优化探索策略
另一条路是在线优化探索策略
2:35.366–2:37.600
zh让agent一边执行任务
让agent一边执行任务
2:37.666–2:40.333
zh一边试验哪种调度方式更好
一边试验哪种调度方式更好
2:40.366–2:42.133
zh问题马上变成成本
问题马上变成成本
2:42.333–2:44.300
zh判断一套探索策略有没有用
判断一套探索策略有没有用
2:44.300–2:46.666
zh不能只看它下一步选对没有
不能只看它下一步选对没有
2:47.100–2:49.600
zh往往要让它跑完整个长周期任务
往往要让它跑完整个长周期任务
2:49.700–2:51.600
zh最后比较结果和费用
最后比较结果和费用
2:51.666–2:53.100
zh候选策略很多
候选策略很多
2:53.100–2:54.566
zh大多数还会很差
大多数还会很差
2:54.666–2:57.300
zh每测试一个策略都重新调用模型
每测试一个策略都重新调用模型
2:57.500–2:59.400
zh编译代码和运行评测
编译代码和运行评测
2:59.600–3:02.400
zh元优化本身可能比解决任务更贵
元优化本身可能比解决任务更贵
3:02.566–3:04.666
zhdream RSI抓住了一个长期
dream RSI抓住了一个长期
3:04.666–3:06.500
zh被当成副产品的东西
被当成副产品的东西
3:06.900–3:08.333
zh完整的发现历史
完整的发现历史
3:08.500–3:10.366
zh一次长任务结束后
一次长任务结束后
3:10.500–3:12.700
zh系统手里不只有最终答案
系统手里不只有最终答案
3:12.733–3:14.200
zh还有一棵探索树
还有一棵探索树
3:14.366–3:16.000
zh树上的每个节点都保存
树上的每个节点都保存
3:16.000–3:18.100
zh当时的观察和生成方案
当时的观察和生成方案
3:18.500–3:20.500
zh也保存文件状态执行
也保存文件状态执行
3:20.500–3:22.866
zh结果以及诊断信息与评分
结果以及诊断信息与评分
3:23.166–3:25.966
zh这是一份结构化的行动与结果记录
这是一份结构化的行动与结果记录
3:26.000–3:28.700
zh远比一段模糊的经验总结具体
远比一段模糊的经验总结具体
3:28.900–3:31.666
zh研究团队把这棵树当成重放模拟器
研究团队把这棵树当成重放模拟器
3:32.133–3:33.900
zh新的探索策略进入以后
新的探索策略进入以后
3:33.900–3:35.066
zh不需要真的重新
不需要真的重新
3:35.066–3:36.933
zh生成和运行每个候选
生成和运行每个候选
3:37.366–3:40.200
zh它只要按照自己的规则遍历这棵树
它只要按照自己的规则遍历这棵树
3:40.333–3:42.000
zh它可以先看另一条分支
它可以先看另一条分支
3:42.300–3:44.366
zh可以同时打开更多节点
可以同时打开更多节点
3:44.500–3:46.900
zh也可以更早停止低价值路线
也可以更早停止低价值路线
3:47.066–3:49.366
zh只要它访问的节点已经存在
只要它访问的节点已经存在
3:49.733–3:52.200
zh结果就能从硬盘里直接读出
结果就能从硬盘里直接读出
3:52.300–3:54.366
zh一次昂贵的在线探索
一次昂贵的在线探索
3:54.866–3:56.400
zh因此可以支持大量
因此可以支持大量
3:56.400–3:58.300
zh便宜的离线策略测试
便宜的离线策略测试
3:58.533–4:00.600
zh论文把这个过程称为做梦
论文把这个过程称为做梦
4:01.000–4:03.733
zhagent没有回到真实环境重新工作
agent没有回到真实环境重新工作
4:03.800–4:05.200
zh而是在过去形成的
而是在过去形成的
4:05.200–4:07.100
zh世界里尝试不同走法
世界里尝试不同走法
4:07.466–4:09.300
zh这个比喻听起来很大
这个比喻听起来很大
4:09.366–4:11.366
zh机制其实非常工程化
机制其实非常工程化
4:11.733–4:13.766
zh历史记录给出的结果不会像
历史记录给出的结果不会像
4:13.766–4:16.066
zh学习型世界模型那样猜测
学习型世界模型那样猜测
4:16.266–4:18.766
zh因为节点里的代码已经运行过
因为节点里的代码已经运行过
4:18.866–4:20.466
zh分数也已经测过
分数也已经测过
4:20.466–4:22.900
zh在历史真正覆盖的区域内
在历史真正覆盖的区域内
4:22.900–4:24.866
zh它是一次精确重放
它是一次精确重放
4:25.166–4:27.133
zh限制也埋在同一句话里
限制也埋在同一句话里
4:27.200–4:28.900
zh历史没有去过的地方
历史没有去过的地方
4:28.933–4:30.600
zh模拟器就无法回答
模拟器就无法回答
4:30.733–4:33.666
zh新策略走到一条过去未展开的分支
新策略走到一条过去未展开的分支
4:34.000–4:35.566
zh系统手中没有结果
系统手中没有结果
4:35.933–4:37.866
zh既不能保证那里是死路
既不能保证那里是死路
4:37.966–4:40.166
zh也不能凭空预测它会成功
也不能凭空预测它会成功
4:40.366–4:42.133
zhDreamrsi只拥有已经
Dreamrsi只拥有已经
4:42.133–4:43.866
zh探索区域的精确地图
探索区域的精确地图
4:44.133–4:45.933
zh覆盖不了整个未知空间
覆盖不了整个未知空间
4:46.000–4:48.533
zh这也是系统必须递归运行的原因
这也是系统必须递归运行的原因
4:48.666–4:51.566
zh第一轮当前策略进入在线环境
第一轮当前策略进入在线环境
4:51.866–4:54.400
zh驱动编码agent展开探索
驱动编码agent展开探索
4:54.466–4:55.766
zh并保存一棵树
并保存一棵树
4:56.000–4:58.700
zh第二步这棵树被加入模拟器池
第二步这棵树被加入模拟器池
4:58.900–5:02.133
zh第三步策略开发agent开始
第三步策略开发agent开始
5:02.133–5:04.133
zh修改探索策略的代码
修改探索策略的代码
5:04.300–5:06.166
zh生成多个候选版本
生成多个候选版本
5:06.366–5:09.533
zh再把它们放进所有历史树中重放
再把它们放进所有历史树中重放
5:09.600–5:12.266
zh综合表现最好的策略被选中
综合表现最好的策略被选中
5:12.600–5:14.533
zh进入下一轮在线探索
进入下一轮在线探索
5:14.733–5:16.966
zh新策略回到真实任务后
新策略回到真实任务后
5:17.066–5:19.866
zh可能到达旧策略从未到过的区域
可能到达旧策略从未到过的区域
5:20.066–5:22.533
zh于是生成一棵不同的探索树
于是生成一棵不同的探索树
5:22.966–5:25.133
zh这颗新树又进入模拟器池
这颗新树又进入模拟器池
5:25.200–5:27.400
zh供下一轮策略改进使用
供下一轮策略改进使用
5:27.666–5:29.200
zh策略改变探索
策略改变探索
5:29.466–5:30.866
zh探索扩大历史
探索扩大历史
5:31.000–5:32.766
zh扩大的历史再改变策略
扩大的历史再改变策略
5:33.000–5:35.000
zhdream RSI所谓的递归
dream RSI所谓的递归
5:35.400–5:36.866
zh指的就是这个闭环
指的就是这个闭环
5:37.000–5:39.600
zh被修改的对象必须再强调一次
被修改的对象必须再强调一次
5:40.100–5:42.466
zh论文中的基础模型保持不变
论文中的基础模型保持不变
5:42.700–5:46.100
zh执行任务的编码agent保持不变
执行任务的编码agent保持不变
5:46.300–5:49.100
zh评分器和工具接口也保持不变
评分器和工具接口也保持不变
5:49.300–5:52.000
zh系统没有对Gemini进行梯度更新
系统没有对Gemini进行梯度更新
5:52.200–5:54.466
zh它重写的是外部调度代码
它重写的是外部调度代码
5:54.600–5:55.966
zh包括分支选择
包括分支选择
5:56.533–5:58.700
zh并行数量和停止规则
并行数量和停止规则
5:58.900–6:00.933
zh项目说明甚至专门写出
项目说明甚至专门写出
6:01.300–6:03.900
enZero gradient steps on the coding agent
Zero gradient steps on the coding agent
6:04.200–6:05.766
zh就是为了避免把它误解
就是为了避免把它误解
6:05.766–6:07.900
zh成模型再重新训练自己
成模型再重新训练自己
6:08.000–6:09.733
zh这并不代表改进很浅
这并不代表改进很浅
6:10.400–6:11.566
zh模型能力决定一个
模型能力决定一个
6:11.566–6:13.400
zh候选方案能做到多好
候选方案能做到多好
6:13.566–6:15.400
zh探索策略决定有限预算
探索策略决定有限预算
6:15.400–6:16.933
zh能不能找到那个候选
能不能找到那个候选
6:17.066–6:18.700
zh现实中的很多AI任务
现实中的很多AI任务
6:18.700–6:20.333
zh模型本来可能会做
模型本来可能会做
6:20.333–6:23.300
zh只是系统在正确答案出现以前
只是系统在正确答案出现以前
6:23.300–6:26.466
zh已经耗完时间TOKEN或执行额度
已经耗完时间TOKEN或执行额度
6:26.800–6:28.800
zh调度层只要减少无效尝试
调度层只要减少无效尝试
6:29.066–6:30.666
zh就能在不更换模型的
就能在不更换模型的
6:30.666–6:32.566
zh情况下提高最终结果
情况下提高最终结果
6:33.366–6:36.333
zhdream RSI的策略本身是可执行代码
dream RSI的策略本身是可执行代码
6:36.533–6:38.566
zh策略开发agent会连续
策略开发agent会连续
6:38.566–6:40.100
zh写出多个修订版
写出多个修订版
6:40.533–6:41.866
zh每个版本在历史
每个版本在历史
6:41.866–6:43.766
zh模拟器池中接受评分
模拟器池中接受评分
6:44.366–6:45.966
zh当前正在使用的旧
当前正在使用的旧
6:45.966–6:48.000
zh策略也被放进候选集合
策略也被放进候选集合
6:48.366–6:50.866
zh因此系统总能保留旧版本
因此系统总能保留旧版本
6:51.000–6:52.500
zh论文据此提出
论文据此提出
6:52.566–6:55.166
zh新一轮选出的策略在历史
新一轮选出的策略在历史
6:55.166–6:58.000
zh重放分数上不会比旧策略更差
重放分数上不会比旧策略更差
6:58.000–7:00.000
zh不会更差有严格范围
不会更差有严格范围
7:00.300–7:02.266
zh它只保证选出的策略在
它只保证选出的策略在
7:02.266–7:04.500
zh已经记录的历史和既定
已经记录的历史和既定
7:04.500–7:07.000
zh评分方式下不低于旧策略
评分方式下不低于旧策略
7:07.366–7:08.366
zh换一个任务
换一个任务
7:08.466–7:09.866
zh换一种数据分布
换一种数据分布
7:10.666–7:13.166
zh或者评分器本身漏掉了重要质量
或者评分器本身漏掉了重要质量
7:13.333–7:15.200
zh新策略依然可能退步
新策略依然可能退步
7:15.466–7:17.666
zh历史回放能防止明显回归
历史回放能防止明显回归
7:18.066–7:20.566
zh不能提供对未知世界的永久保证
不能提供对未知世界的永久保证
7:20.900–7:22.700
zh研究团队在8项发现
研究团队在8项发现
7:22.700–7:24.566
zh任务上测试了这套框架
任务上测试了这套框架
7:25.000–7:26.766
zh覆盖算法工程数学
覆盖算法工程数学
7:26.766–7:28.866
zh优化和GPU内核工程
优化和GPU内核工程
7:29.000–7:31.933
zh对照组叫recursive fixed exploration
对照组叫recursive fixed exploration
7:32.300–7:35.600
zh两边使用相同的基础模型评分器
两边使用相同的基础模型评分器
7:35.966–7:38.066
zh初始策略和每轮预算
初始策略和每轮预算
7:38.166–7:40.200
zh第一轮甚至完全一致
第一轮甚至完全一致
7:40.366–7:42.333
zh差别从第二轮开始出现
差别从第二轮开始出现
7:42.666–7:44.966
zh对照组保持原调度方式
对照组保持原调度方式
7:45.300–7:47.266
zhdream RSI根据历史重放
dream RSI根据历史重放
7:47.266–7:48.933
zh持续修改探索策略
持续修改探索策略
7:49.166–7:51.000
zh算法工程部分选择了
算法工程部分选择了
7:51.000–7:53.333
zhLasso正则化路径求解器
Lasso正则化路径求解器
7:53.666–7:56.366
zh这个任务要求agent写出速度快
这个任务要求agent写出速度快
7:56.400–7:57.800
zh结果正确的程序
结果正确的程序
7:58.066–7:59.766
zh再在6个流出数据集
再在6个流出数据集
7:59.766–8:01.400
zh上测量运行时间
上测量运行时间
8:01.600–8:04.000
zh使用Gemini3.1Pro时
使用Gemini3.1Pro时
8:04.366–8:06.466
zh固定探索消耗550次
固定探索消耗550次
8:06.566–8:08.166
zh发现agent调用
发现agent调用
8:08.266–8:12.333
zh最终平均运行时间为3,587.1毫秒
最终平均运行时间为3,587.1毫秒
8:12.566–8:15.466
zhdream RSI使用317次调用
dream RSI使用317次调用
8:15.800–8:19.266
zh把平均时间降到2,931.0毫秒
把平均时间降到2,931.0毫秒
8:19.466–8:21.366
zh调用量减少约1.7倍
调用量减少约1.7倍
8:21.366–8:23.166
zh找到的程序反而更快
找到的程序反而更快
8:23.500–8:25.566
zh换成Gemini3.7Flash以后
换成Gemini3.7Flash以后
8:25.566–8:28.066
zh固定策略用了3,200次调用
固定策略用了3,200次调用
8:28.066–8:31.800
zh平均运行时间是2,516.7毫秒
平均运行时间是2,516.7毫秒
8:32.100–8:35.500
zhdream RSI用了1,879次调用
dream RSI用了1,879次调用
8:35.500–8:38.000
zh得到2,350.6毫秒
得到2,350.6毫秒
8:38.466–8:42.266
zh和simple test使用的51,200次生成相比
和simple test使用的51,200次生成相比
8:42.533–8:44.500
zh论文在部分设置中报告
论文在部分设置中报告
8:44.500–8:46.933
zh最多162倍的调用节省
最多162倍的调用节省
8:47.100–8:48.500
zh这个数字很醒目
这个数字很醒目
8:48.600–8:50.333
zh但比较对象和预算
但比较对象和预算
8:50.333–8:52.100
zh设置必须一起保留
设置必须一起保留
8:52.200–8:53.600
zh不能把它解释成
不能把它解释成
8:53.600–8:56.000
zh所有任务都节省162倍
所有任务都节省162倍
8:56.466–8:58.366
zh被发现的Lasso程序也不是
被发现的Lasso程序也不是
8:58.366–9:00.300
zh凭空拼出一段神秘代码
凭空拼出一段神秘代码
9:00.400–9:02.200
zh它结合了强规则筛选
它结合了强规则筛选
9:02.366–9:05.466
zh基于柯西斯瓦茨不等式的KKT剪枝
基于柯西斯瓦茨不等式的KKT剪枝
9:05.866–9:06.933
zh活动集合管理
活动集合管理
9:07.100–9:09.333
zh延迟构建GRAM矩阵和硬件
延迟构建GRAM矩阵和硬件
9:09.333–9:11.766
zh优化系统在大量候选中
优化系统在大量候选中
9:11.766–9:13.866
zh找到了一套更合适的组合
找到了一套更合适的组合
9:13.966–9:16.933
zh并根据问题规模调整验证成本
并根据问题规模调整验证成本
9:17.166–9:18.666
zh他证明调度改进可以
他证明调度改进可以
9:18.666–9:20.666
zh落到可测量的程序性能
落到可测量的程序性能
9:20.966–9:23.800
zh而不是只让agent自评这次更有创意
而不是只让agent自评这次更有创意
9:23.966–9:26.500
zh数学优化部分包含核差集合
数学优化部分包含核差集合
9:27.000–9:29.366
zh自相关不等式与圆形装箱
自相关不等式与圆形装箱
9:29.800–9:34.166
zhdream RSI在核差问题上取得1.145427
dream RSI在核差问题上取得1.145427
9:34.600–9:36.166
zh超过论文列出的simple
超过论文列出的simple
9:36.300–9:38.200
zhtest与固定探索结果
test与固定探索结果
9:38.366–9:41.600
zh原型装箱达到2.635983
原型装箱达到2.635983
9:41.800–9:43.933
zh与最强对照结果持平
与最强对照结果持平
9:44.166–9:47.000
zh自相关任务得到1.456375
自相关任务得到1.456375
9:47.066–9:50.566
zh没有超过simple TES的1.453675
没有超过simple TES的1.453675
9:51.066–9:53.133
zh因为该项指标越低越好
因为该项指标越低越好
9:53.200–9:54.766
zh这个结果提醒外界
这个结果提醒外界
9:55.133–9:58.300
zhdream RSI没有在每个任务上全面获胜
dream RSI没有在每个任务上全面获胜
9:58.400–10:00.500
zh它的优势仍体现在预算
它的优势仍体现在预算
10:00.900–10:04.766
zhsimple t ES在对照中使用51200次生成
simple t ES在对照中使用51200次生成
10:05.266–10:07.333
zhDreamrsi少于1,000次
Dreamrsi少于1,000次
10:07.533–10:10.066
zh部分结果未必拿到单项第一
部分结果未必拿到单项第一
10:10.100–10:12.700
zh但单位计算成本更有竞争力
但单位计算成本更有竞争力
10:12.733–10:15.866
zh这类系统真正追求的目标是用更
这类系统真正追求的目标是用更
10:15.866–10:18.933
zh少真实执行找到足够好的方案
少真实执行找到足够好的方案
10:19.266–10:22.000
zh排行榜最高分只是其中一个指标
排行榜最高分只是其中一个指标
10:22.200–10:24.933
zhGPU内核工程又提供了另一种检验
GPU内核工程又提供了另一种检验
10:25.166–10:28.266
zh在VGG16和layer norm任务中
在VGG16和layer norm任务中
10:28.500–10:31.066
zhdream RSI达到相近性能时
dream RSI达到相近性能时
10:31.200–10:35.266
zh分别减少2.43倍和1.79倍生成次数
分别减少2.43倍和1.79倍生成次数
10:35.466–10:38.733
zhCONV div与CONV Max在相近预算下
CONV div与CONV Max在相近预算下
10:38.933–10:40.466
zh性能分别达到固定
性能分别达到固定
10:40.466–10:43.200
zh探索的2.09倍和1.44倍
探索的2.09倍和1.44倍
10:44.000–10:46.400
zh四类任务涉及不同计算结构
四类任务涉及不同计算结构
10:46.666–10:48.500
zh说明学习到的策略至少
说明学习到的策略至少
10:48.500–10:50.766
zh没有被锁死在一个算法题上
没有被锁死在一个算法题上
10:50.966–10:53.766
zh研究人员还观察了策略怎样变化
研究人员还观察了策略怎样变化
10:53.900–10:55.766
zh在Convictive实验中
在Convictive实验中
10:56.000–10:57.600
zh系统表现上升后
系统表现上升后
10:57.600–11:01.366
zh把每轮评估的尝试从110个降到50个
把每轮评估的尝试从110个降到50个
11:01.800–11:03.200
zh主动节省计算
主动节省计算
11:03.366–11:04.733
zh进展停滞以后
进展停滞以后
11:04.733–11:05.933
zh它又扩大探索
它又扩大探索
11:06.100–11:07.533
zh评估数量回升
评估数量回升
11:07.700–11:09.733
zh随后出现新的性能跳跃
随后出现新的性能跳跃
11:10.200–11:13.200
zh他学会根据进展调节搜索强度
他学会根据进展调节搜索强度
11:13.300–11:15.566
zh表现上升时缩减预算
表现上升时缩减预算
11:15.666–11:17.866
zh停滞时重新扩大分支
停滞时重新扩大分支
11:18.066–11:19.733
zh另一个实验更有意思
另一个实验更有意思
11:20.200–11:21.866
zh研究团队把历史轨迹
研究团队把历史轨迹
11:21.866–11:23.766
zh总结成高层语义建议
总结成高层语义建议
11:23.866–11:25.300
zh再塞回提示词
再塞回提示词
11:25.533–11:27.266
zh例如告诉agent哪些
例如告诉agent哪些
11:27.266–11:28.766
zh方向可能更有希望
方向可能更有希望
11:28.933–11:31.666
zh这种看起来更像人类复盘的做法
这种看起来更像人类复盘的做法
11:32.000–11:35.200
zh表现反而低于直接使用历史数重放
表现反而低于直接使用历史数重放
11:35.400–11:38.300
zh原因可能是总结会过早压缩信息
原因可能是总结会过早压缩信息
11:38.466–11:41.166
zh也会把过去的成功变成强烈偏见
也会把过去的成功变成强烈偏见
11:41.366–11:44.166
zh导致新一轮探索集中在少数方向
导致新一轮探索集中在少数方向
11:44.666–11:47.300
zh树状历史保留了更多反事实空间
树状历史保留了更多反事实空间
11:47.533–11:50.700
zh策略可以看到某条路线在哪里停下
策略可以看到某条路线在哪里停下
11:50.700–11:52.466
zh也能重新安排那些
也能重新安排那些
11:52.466–11:54.366
zh当时被忽略的节点
当时被忽略的节点
11:54.466–11:57.333
zh文字总结通常只留下应该做什么
文字总结通常只留下应该做什么
11:57.566–12:00.000
zh探索树还保留做过什么
探索树还保留做过什么
12:00.100–12:01.266
zh失败在哪里
失败在哪里
12:01.533–12:03.333
zh当时还有哪些路没继续
当时还有哪些路没继续
12:03.400–12:06.066
zh对于长周期多分支任务
对于长周期多分支任务
12:06.066–12:08.066
zh这两类记忆并不等价
这两类记忆并不等价
12:08.166–12:11.200
zh它和检索增强生成也有明显差别
它和检索增强生成也有明显差别
12:11.866–12:14.166
zh普通记忆系统在遇到新任务时
普通记忆系统在遇到新任务时
12:14.300–12:17.200
zh找出几段相似经验放进上下文
找出几段相似经验放进上下文
12:17.366–12:19.600
zh模型读完以后自行决定怎么做
模型读完以后自行决定怎么做
12:19.800–12:22.133
zhdream RSI不止提供旧经验
dream RSI不止提供旧经验
12:22.333–12:25.466
zh还让候选策略在旧树上实际走一遍
还让候选策略在旧树上实际走一遍
12:25.900–12:28.066
zh并按照成本与结果计分
并按照成本与结果计分
12:28.566–12:30.200
zh前者提供参考材料
前者提供参考材料
12:30.366–12:32.700
zh后者提供可比较的行为反馈
后者提供可比较的行为反馈
12:32.866–12:34.266
zh它也不同于微调
它也不同于微调
12:34.500–12:36.800
zh微调把经验压进模型参数
微调把经验压进模型参数
12:36.800–12:39.333
zh可能提高一类任务的平均表现
可能提高一类任务的平均表现
12:39.466–12:43.000
zh却很难解释某次提升来自哪条轨迹
却很难解释某次提升来自哪条轨迹
12:43.366–12:45.500
zhdream RSI保留基础模型
dream RSI保留基础模型
12:45.700–12:47.533
zh只修改外部策略代码
只修改外部策略代码
12:47.800–12:50.300
zh旧策略和新策略可以逐行比较
旧策略和新策略可以逐行比较
12:50.400–12:53.300
zh表现变化也能对应到具体历史数
表现变化也能对应到具体历史数
12:53.533–12:55.666
zh代价是它不能直接扩大
代价是它不能直接扩大
12:55.666–12:57.566
zh模型的知识和推理上限
模型的知识和推理上限
12:58.100–13:00.366
zh只能更有效地调用已有能力
只能更有效地调用已有能力
13:00.500–13:02.400
zh和传统强化学习相比
和传统强化学习相比
13:02.700–13:06.533
zhdream RSI借用了离线策略评估的思想
dream RSI借用了离线策略评估的思想
13:06.666–13:09.133
zh却利用了编码任务特有的结构
却利用了编码任务特有的结构
13:09.266–13:10.866
zh环境结果已经被保存在
环境结果已经被保存在
13:10.866–13:13.600
zh文件程序输出和分数中
文件程序输出和分数中
13:14.200–13:15.500
zh重放时不需要学习
重放时不需要学习
13:15.500–13:17.200
zh一个近似动力学模型
一个近似动力学模型
13:17.333–13:19.666
zh只要候选策略不走出历史树
只要候选策略不走出历史树
13:20.066–13:22.766
zh反馈就是当时真实执行过的结果
反馈就是当时真实执行过的结果
13:23.466–13:25.166
zh强化学习中常见的模型
强化学习中常见的模型
13:25.166–13:27.200
zh预测误差因此被缩小
预测误差因此被缩小
13:27.366–13:29.800
zh但覆盖不足的问题仍然存在
但覆盖不足的问题仍然存在
13:29.933–13:31.900
zh可以用一个简化例子理解
可以用一个简化例子理解
13:32.333–13:35.200
zh某次内核优化一共展开100个节点
某次内核优化一共展开100个节点
13:35.366–13:38.366
zh旧策略先连续打磨a路线40次
旧策略先连续打磨a路线40次
13:38.500–13:39.800
zh再试b和c
再试b和c
13:40.266–13:41.866
zh后来发现真正的突破
后来发现真正的突破
13:41.866–13:43.733
zh来自c的第六个分支
来自c的第六个分支
13:44.066–13:47.066
zh新策略可以在历史树里提前访问c
新策略可以在历史树里提前访问c
13:47.200–13:49.133
zh并减少a上的预算
并减少a上的预算
13:49.300–13:51.866
zh它不需要重新编译那100份代码
它不需要重新编译那100份代码
13:51.933–13:53.600
zh因为结果都已保存
因为结果都已保存
13:53.866–13:55.800
zh可要是新策略想尝试
可要是新策略想尝试
13:55.800–13:57.700
zh从未出现过的d路线
从未出现过的d路线
13:58.100–13:59.900
zh历史就无法提供答案
历史就无法提供答案
14:00.000–14:02.300
zh只能等下一轮真实执行
只能等下一轮真实执行
14:02.366–14:05.133
zh这套方法因此同时依赖两种质量
这套方法因此同时依赖两种质量
14:05.166–14:06.900
zh第一种是历史覆盖
第一种是历史覆盖
14:07.166–14:08.900
zh探索树必须足够丰富
探索树必须足够丰富
14:08.933–14:11.300
zh不能只记录最后几个成功候选
不能只记录最后几个成功候选
14:11.700–14:13.400
zh第二种是评分质量
第二种是评分质量
14:13.500–14:15.566
zh每个节点的结果必须可靠
每个节点的结果必须可靠
14:15.766–14:18.600
zh日志缺失执行环境变化或
日志缺失执行环境变化或
14:18.600–14:21.800
zh评分器错误都会让模拟世界失真
评分器错误都会让模拟世界失真
14:22.466–14:24.733
zh系统节省了重复执行成本
系统节省了重复执行成本
14:24.900–14:26.766
zh也把更高要求转移给
也把更高要求转移给
14:26.766–14:28.766
zh记录和评测基础设施
记录和评测基础设施
14:29.100–14:31.000
zh研究团队让候选策略在
研究团队让候选策略在
14:31.000–14:33.066
zh全部历史数上接受评估
全部历史数上接受评估
14:33.100–14:34.766
zh而不是只看最近一轮
而不是只看最近一轮
14:34.966–14:36.400
zh这样可以降低策略
这样可以降低策略
14:36.400–14:38.166
zh迎合单次任务的风险
迎合单次任务的风险
14:38.366–14:39.566
zh旧世界越多
旧世界越多
14:39.766–14:42.533
zh候选策略越难靠偶然路线获胜
候选策略越难靠偶然路线获胜
14:43.133–14:45.600
zh不过历史池本身仍可能
不过历史池本身仍可能
14:45.600–14:47.333
zh偏向某些任务类型
偏向某些任务类型
14:47.866–14:50.200
zh如果过去全是GPU优化
如果过去全是GPU优化
14:50.333–14:53.300
zh得到的调度习惯未必适合数学证明
得到的调度习惯未必适合数学证明
14:53.400–14:55.333
zh跨领域泛化需要更多实验
跨领域泛化需要更多实验
14:55.333–14:57.666
zh不能只凭三个领域就下定论
不能只凭三个领域就下定论
14:58.666–15:00.966
zh策略选择还涉及多目标权衡
策略选择还涉及多目标权衡
15:01.200–15:03.533
zh发现系统既想要高质量结果
发现系统既想要高质量结果
15:03.533–15:05.300
zh也想减少模型调用
也想减少模型调用
15:05.300–15:07.100
zh执行时间和并行资源
执行时间和并行资源
15:07.266–15:08.900
zh一个策略可能用很少
一个策略可能用很少
15:08.900–15:10.566
zh调用找到不错答案
调用找到不错答案
15:11.066–15:12.366
zh另一个策略消耗
另一个策略消耗
15:12.366–15:14.366
zh更多预算拿到略高分
更多预算拿到略高分
15:14.500–15:17.100
zh最终选谁取决于评价函数
最终选谁取决于评价函数
15:17.100–15:19.200
zh怎样给质量和成本定价
怎样给质量和成本定价
15:19.700–15:21.700
zhDreamrsi能优化这套权衡
Dreamrsi能优化这套权衡
15:21.733–15:24.333
zh却不能替使用者决定什么最重要
却不能替使用者决定什么最重要
15:24.666–15:26.866
zhDreamrsi最重要的产业含义
Dreamrsi最重要的产业含义
15:27.500–15:30.100
zh也许是把日志从成本变成资产
也许是把日志从成本变成资产
15:30.200–15:32.733
zh今天大量agent平台保存轨迹
今天大量agent平台保存轨迹
15:33.133–15:34.900
zh主要用于排查错误
主要用于排查错误
15:35.100–15:37.666
zh审计调用和改进提示词
审计调用和改进提示词
15:38.000–15:40.533
zhdream RSI展示了另一种用途
dream RSI展示了另一种用途
15:41.166–15:42.800
zh只要轨迹包含清楚的
只要轨迹包含清楚的
15:42.800–15:44.933
zh决策结构和可复现结果
决策结构和可复现结果
15:45.200–15:46.533
zh它就能成为测试
它就能成为测试
15:46.533–15:48.400
zh未来调度策略的环境
未来调度策略的环境
15:48.800–15:51.400
zh公司已经为在线运行付过一次费用
公司已经为在线运行付过一次费用
15:51.566–15:52.933
zh后续可以反复利用
后续可以反复利用
15:52.933–15:54.600
zh这段历史筛选策略
这段历史筛选策略
15:54.733–15:57.466
zh这会改变agent系统的竞争方式
这会改变agent系统的竞争方式
15:57.700–16:00.300
zh模型公司比参数和推理能力
模型公司比参数和推理能力
16:00.733–16:02.266
zh应用公司则可能开始
应用公司则可能开始
16:02.266–16:04.000
zh积累自己的探索世界
积累自己的探索世界
16:04.133–16:07.000
zh哪家企业拥有更多高质量任务轨迹
哪家企业拥有更多高质量任务轨迹
16:07.333–16:09.766
zh准确评分和真实执行结果
准确评分和真实执行结果
16:09.933–16:11.700
zh哪家企业就更容易把同
哪家企业就更容易把同
16:11.700–16:13.900
zh一款基础模型调度得更好
一款基础模型调度得更好
16:14.000–16:15.700
zh模型可以从API购买
模型可以从API购买
16:15.700–16:18.066
zh历史数和业务评估器
历史数和业务评估器
16:18.066–16:19.333
zh却很难复制
却很难复制
16:19.866–16:22.200
zh这种资产还有很强的领域属性
这种资产还有很强的领域属性
16:22.366–16:23.800
zh芯片公司积累的是
芯片公司积累的是
16:23.800–16:26.566
zh内核编译器和硬件结果
内核编译器和硬件结果
16:26.866–16:28.366
zh药物公司积累的是
药物公司积累的是
16:28.366–16:30.533
zh分子设计与实验反馈
分子设计与实验反馈
16:30.900–16:32.933
zh软件团队积累的是代码
软件团队积累的是代码
16:32.933–16:35.266
zh修改测试和故障记录
修改测试和故障记录
16:35.700–16:37.333
zh它们无法像通用文本
它们无法像通用文本
16:37.333–16:39.566
zh那样随手从互联网获取
那样随手从互联网获取
16:39.733–16:41.366
zh未来的agent护城河
未来的agent护城河
16:41.566–16:43.133
zh可能由两部分组成
可能由两部分组成
16:43.566–16:44.933
zh一套探索策略
一套探索策略
16:44.966–16:46.600
zh加上一批经过验证
加上一批经过验证
16:46.600–16:48.733
zh能够重放的决策世界
能够重放的决策世界
16:48.933–16:50.566
zh成本结构也会改变
成本结构也会改变
16:50.766–16:52.800
zh在线执行需要调用模型
在线执行需要调用模型
16:53.000–16:54.900
zh占用机器并等待评估
占用机器并等待评估
16:55.200–16:57.600
zh离线重放主要读取保存结果
离线重放主要读取保存结果
16:58.100–17:00.333
zh企业可以在真实执行次数不变
企业可以在真实执行次数不变
17:00.333–17:03.066
zh的情况下测试更多调度候选
的情况下测试更多调度候选
17:03.100–17:06.066
zh一次失败不再只产生沉默成本
一次失败不再只产生沉默成本
17:06.300–17:08.966
zh还能提高以后筛选策略的效率
还能提高以后筛选策略的效率
17:09.466–17:10.666
zh任务量越大
任务量越大
17:10.766–17:13.666
zh历史复用带来的边际价值越明显
历史复用带来的边际价值越明显
17:13.733–17:16.766
zh不过保存完整探索树并不便宜
不过保存完整探索树并不便宜
17:16.866–17:19.933
zh每个节点可能包含代码仓库快照
每个节点可能包含代码仓库快照
17:20.100–17:23.366
zh编译产物日志评测结果和模型
编译产物日志评测结果和模型
17:23.366–17:24.266
zh上下文
上下文
17:24.466–17:27.733
zh长期积累会带来存储与治理压力
长期积累会带来存储与治理压力
17:28.100–17:30.000
zh企业还要处理商业机密
企业还要处理商业机密
17:30.000–17:32.400
zh个人数据和第三方代码许可
个人数据和第三方代码许可
17:32.500–17:34.133
zh不能为了训练调度器
不能为了训练调度器
17:34.133–17:36.066
zh无限期保存所有轨迹
无限期保存所有轨迹
17:36.200–17:37.800
zh哪些节点值得保留
哪些节点值得保留
17:37.966–17:38.933
zh怎样脱敏
怎样脱敏
17:39.133–17:40.266
zh多久删除
多久删除
17:40.466–17:41.733
zh同样需要策略
同样需要策略
17:41.866–17:44.166
zh多人协作会让问题更复杂
多人协作会让问题更复杂
17:44.800–17:46.966
zh一个agent负责提出方案
一个agent负责提出方案
17:47.300–17:48.700
zh另一个负责测试
另一个负责测试
17:48.900–17:50.466
zh第三个负责审查
第三个负责审查
17:50.733–17:53.500
zh探索树里就会包含多个角色的行动
探索树里就会包含多个角色的行动
17:53.800–17:55.700
zhDreamrsi目前主要改进
Dreamrsi目前主要改进
17:55.700–17:57.366
zh统一的探索控制器
统一的探索控制器
17:57.500–17:59.000
zh未来系统可能进一步
未来系统可能进一步
17:59.000–18:00.700
zh学习怎样分配角色
学习怎样分配角色
18:00.900–18:03.400
zh什么时候让不同模型互相检查
什么时候让不同模型互相检查
18:03.566–18:06.133
zh调度层一旦扩展到模型选择
调度层一旦扩展到模型选择
18:06.300–18:09.333
zh成本和能力都会出现新的组合空间
成本和能力都会出现新的组合空间
18:09.400–18:11.733
zh这里也存在反馈回路风险
这里也存在反馈回路风险
18:12.300–18:14.500
zh某一版策略偏爱某种路线
某一版策略偏爱某种路线
18:14.733–18:16.600
zh它生成的新历史就会
它生成的新历史就会
18:16.600–18:18.266
zh更多覆盖这种路线
更多覆盖这种路线
18:19.133–18:21.266
zh下一版又在这些历史上训练
下一版又在这些历史上训练
18:21.400–18:23.200
zh偏好可能逐轮强化
偏好可能逐轮强化
18:23.366–18:25.566
zh系统需要保留一定探索比例
系统需要保留一定探索比例
18:25.733–18:27.900
zh主动寻找历史之外的区域
主动寻找历史之外的区域
18:28.266–18:30.000
zh否则模拟器池越大
否则模拟器池越大
18:30.066–18:31.200
zh视野反而越窄
视野反而越窄
18:31.666–18:35.133
zh论文中策略在停滞后重新扩大探索
论文中策略在停滞后重新扩大探索
18:35.766–18:37.300
zh是一个积极信号
是一个积极信号
18:37.366–18:39.166
zh却不能保证所有任务
却不能保证所有任务
18:39.166–18:41.166
zh都会自然出现这种行为
都会自然出现这种行为
18:41.400–18:43.266
zh软件工程会最先受益
软件工程会最先受益
18:43.533–18:46.900
zh编译测试和性能评估都有明确反馈
编译测试和性能评估都有明确反馈
18:47.166–18:48.733
zhagent生成代码以后
agent生成代码以后
18:48.733–18:50.366
zh可以迅速知道对错
可以迅速知道对错
18:50.733–18:54.066
zh芯片设计数据库查询优化自动
芯片设计数据库查询优化自动
18:54.066–18:57.466
zh调参和运筹问题也具备类似条件
调参和运筹问题也具备类似条件
18:57.600–18:59.533
zh只要结果可以自动验证
只要结果可以自动验证
19:00.266–19:02.866
zh历史就能被组织成重放空间
历史就能被组织成重放空间
19:03.100–19:05.700
zh策略改进也有稳定分数可以追踪
策略改进也有稳定分数可以追踪
19:05.866–19:08.200
zh开放式研究要困难的多
开放式研究要困难的多
19:08.200–19:11.100
zh一项科学假设是否有价值
一项科学假设是否有价值
19:11.200–19:12.866
zh可能几年后才知道
可能几年后才知道
19:13.200–19:14.966
zh实验失败也可能来自
实验失败也可能来自
19:14.966–19:17.566
zh设备样本或测量误差
设备样本或测量误差
19:17.733–19:19.266
zh评分器给错方向
评分器给错方向
19:19.466–19:22.400
zhagent就会越来越擅长追逐错误目标
agent就会越来越擅长追逐错误目标
19:22.700–19:25.400
zhdream RSI解决了反馈昂贵的问题
dream RSI解决了反馈昂贵的问题
19:25.700–19:27.066
zh却没有自动解决
却没有自动解决
19:27.066–19:28.800
zh反馈是否真实的问题
反馈是否真实的问题
19:29.100–19:30.100
zh这种风险在自我
这种风险在自我
19:30.100–19:31.766
zh改进系统里会被放大
改进系统里会被放大
19:31.900–19:33.166
zh系统每一轮都根据
系统每一轮都根据
19:33.166–19:35.000
zh评分选择下一版策略
评分选择下一版策略
19:35.266–19:37.900
zh评分规则中的漏洞也会被持续利用
评分规则中的漏洞也会被持续利用
19:38.133–19:40.800
zh一个只奖励速度的内核优化器
一个只奖励速度的内核优化器
19:41.100–19:44.266
zh可能寻找牺牲数值稳定性的捷径
可能寻找牺牲数值稳定性的捷径
19:44.400–19:47.400
zh一个只看测试通过率的编码agent
一个只看测试通过率的编码agent
19:47.800–19:50.266
zh可能针对测试用例过拟合
可能针对测试用例过拟合
19:50.600–19:52.133
zh一个企业流程agent
一个企业流程agent
19:52.533–19:54.000
zh甚至可能学会绕开
甚至可能学会绕开
19:54.000–19:56.333
zh耗时但必要的审核步骤
耗时但必要的审核步骤
19:56.500–19:57.933
zh优化循环越有效
优化循环越有效
19:58.333–20:00.300
zh代理指标越需要谨慎设计
代理指标越需要谨慎设计
20:00.566–20:02.666
zh历史本身也可能污染策略
历史本身也可能污染策略
20:03.333–20:05.300
zh旧任务里存在错误标签
旧任务里存在错误标签
20:05.500–20:07.366
zh异常环境或偶然成功
异常环境或偶然成功
20:07.933–20:10.500
zh重放系统会把它们当做确定结果
重放系统会把它们当做确定结果
20:11.133–20:13.366
zh模拟器在记录区域内很精确
模拟器在记录区域内很精确
20:14.066–20:15.966
zh可记录不一定代表未来
可记录不一定代表未来
20:16.066–20:19.400
zh软件版本硬件业务规则和
软件版本硬件业务规则和
20:19.400–20:21.566
zh安全政策发生变化以后
安全政策发生变化以后
20:21.700–20:24.100
zh旧节点的结果可能已经失效
旧节点的结果可能已经失效
20:24.266–20:26.000
zh企业需要给历史树加
企业需要给历史树加
20:26.000–20:28.500
zh版本时间和环境标签
版本时间和环境标签
20:28.600–20:31.133
zh还要知道什么时候让旧世界退役
还要知道什么时候让旧世界退役
20:31.366–20:33.566
zh安全边界同样不能省略
安全边界同样不能省略
20:34.133–20:36.600
zh探索策略决定哪些代码被执行
探索策略决定哪些代码被执行
20:36.600–20:38.066
zh多少任务并行
多少任务并行
20:38.066–20:39.533
zh以及什么时候停止
以及什么时候停止
20:39.700–20:41.933
zh它本身已经掌握实际资源
它本身已经掌握实际资源
20:42.133–20:43.500
zh策略开发代理如果
策略开发代理如果
20:43.500–20:45.466
zh可以任意修改调度代码
可以任意修改调度代码
20:45.533–20:48.066
zh就必须运行在隔离环境里
就必须运行在隔离环境里
20:48.200–20:51.066
zh限制网络凭证和文件权限
限制网络凭证和文件权限
20:51.566–20:53.200
zh候选策略应先通过
候选策略应先通过
20:53.200–20:55.300
zh静态检查和沙箱测试
静态检查和沙箱测试
20:55.300–20:56.900
zh再进入历史回放
再进入历史回放
20:57.133–20:59.333
zh被选中的版本还需要清楚
被选中的版本还需要清楚
20:59.333–21:01.533
zh的差异记录和回滚路径
的差异记录和回滚路径
21:01.766–21:02.966
zh从这个角度看
从这个角度看
21:03.166–21:05.733
zhdream RSI反而提供了一种比较
dream RSI反而提供了一种比较
21:05.733–21:08.166
zh容易审计的自我改进方式
容易审计的自我改进方式
21:08.733–21:10.600
zh他修改外部策略代码
他修改外部策略代码
21:10.766–21:11.966
zh绕开了直接改变
绕开了直接改变
21:11.966–21:13.766
zh难以解释的模型权重
难以解释的模型权重
21:13.966–21:15.500
zh每个版本写了什么
每个版本写了什么
21:15.500–21:16.966
zh为什么得分更高
为什么得分更高
21:16.966–21:19.266
zh在哪些历史树上通过测试
在哪些历史树上通过测试
21:19.300–21:20.600
zh都可以留下记录
都可以留下记录
21:21.133–21:22.300
zh危险没有消失
危险没有消失
21:22.300–21:24.300
zh但变化发生在可见层
但变化发生在可见层
21:24.400–21:26.200
zh治理工具更容易介入
治理工具更容易介入
21:26.300–21:28.466
zh外界也不能忽略研究状态
外界也不能忽略研究状态
21:29.300–21:32.300
zhdream RSI目前是Arxiv预印本
dream RSI目前是Arxiv预印本
21:32.666–21:35.300
zh实验结果主要由作者团队报告
实验结果主要由作者团队报告
21:35.400–21:38.100
zh还没有经过完整的独立同行评审
还没有经过完整的独立同行评审
21:38.500–21:39.966
zh项目仓库已经公开
项目仓库已经公开
21:40.133–21:42.300
zhreadme在当前阶段明确写着
readme在当前阶段明确写着
21:42.300–21:44.700
zh完整代码复现实验脚本和
完整代码复现实验脚本和
21:44.700–21:46.766
zh发现程序仍在准备发布
发现程序仍在准备发布
21:46.933–21:48.866
zh论文附录提供了部分程序
论文附录提供了部分程序
21:49.333–21:51.200
zh项目网页也有交互演示
项目网页也有交互演示
21:51.366–21:52.700
zh但外部团队还不能
但外部团队还不能
21:52.700–21:54.400
zh一键重跑全部结果
一键重跑全部结果
21:54.533–21:57.200
zh这条信息会影响结论强度
这条信息会影响结论强度
21:57.400–21:59.966
zh论文证明了一种值得重视的方法
论文证明了一种值得重视的方法
22:00.000–22:02.166
zh并用8项任务给出证据
并用8项任务给出证据
22:02.333–22:03.900
zh它还没有证明这套方法
它还没有证明这套方法
22:03.900–22:06.000
zh能普遍适用于所有agent
能普遍适用于所有agent
22:06.400–22:08.266
zh更没有证明任何接入它的
更没有证明任何接入它的
22:08.266–22:10.866
zh模型都会持续提高总体智能
模型都会持续提高总体智能
22:10.866–22:13.266
zh完整代码发布独立复现
完整代码发布独立复现
22:13.400–22:15.800
zh更多模型与更多任务测试
更多模型与更多任务测试
22:16.000–22:17.866
zh才会决定这些数字能否
才会决定这些数字能否
22:17.866–22:19.500
zh离开研究团队的环境
离开研究团队的环境
22:19.600–22:22.966
zh自我进化仍然可以用来概括dream RSI
自我进化仍然可以用来概括dream RSI
22:23.333–22:25.933
zh只是必须说清进化发生在哪里
只是必须说清进化发生在哪里
22:25.966–22:28.300
zh这里的变化集中在元探索层
这里的变化集中在元探索层
22:28.466–22:30.666
zh固定的编码agent从历史
固定的编码agent从历史
22:30.666–22:32.933
zh探索记录中改进外部策略
探索记录中改进外部策略
22:33.100–22:35.366
zh再用新策略收集更多历史
再用新策略收集更多历史
22:35.666–22:36.766
zh模型没有觉醒
模型没有觉醒
22:36.900–22:38.066
zh也没有获得修改
也没有获得修改
22:38.066–22:39.900
zh自身全部组件的权利
自身全部组件的权利
22:40.100–22:42.266
zh目标始终是提高发现效率
目标始终是提高发现效率
22:42.500–22:44.100
zh这一步的意义并不小
这一步的意义并不小
22:44.266–22:46.100
zh过去提升agent表现
过去提升agent表现
22:46.300–22:49.200
zh最直接的方法是换更大的模型
最直接的方法是换更大的模型
22:49.300–22:50.600
zh增加推理TOKEN
增加推理TOKEN
22:50.733–22:52.000
zh或多跑几次
或多跑几次
22:52.200–22:54.500
zhdream RSI给出第四条路线
dream RSI给出第四条路线
22:54.666–22:56.266
zh保留过去搜索的结构
保留过去搜索的结构
22:56.266–22:59.300
zh让系统学习怎样花下一笔计算预算
让系统学习怎样花下一笔计算预算
22:59.533–23:00.966
zh算力没有变免费
算力没有变免费
23:01.466–23:03.733
zh失败却不再只是一张账单
失败却不再只是一张账单
23:03.900–23:05.566
zh只要记录足够完整
只要记录足够完整
23:05.733–23:07.200
zh它还能为后续策略
它还能为后续策略
23:07.200–23:09.000
zh提供一次又一次反馈
提供一次又一次反馈
23:09.266–23:11.766
zh它也让经验这个词变得更精确
它也让经验这个词变得更精确
23:12.166–23:14.333
zh人类说从失败中学习
人类说从失败中学习
23:14.533–23:16.333
zh往往靠记忆和总结
往往靠记忆和总结
23:16.700–23:18.966
zhdream RSI把失败变成带
dream RSI把失败变成带
23:18.966–23:21.533
zh状态动作和结果的节点
状态动作和结果的节点
23:21.700–23:24.333
zh再让新策略重新经过这些节点
再让新策略重新经过这些节点
23:24.600–23:26.400
zhagent会在一组已经发生
agent会在一组已经发生
23:26.400–23:28.466
zh过的世界里反复试走
过的世界里反复试走
23:28.733–23:30.366
zh得到的反馈比读一篇
得到的反馈比读一篇
23:30.366–23:32.933
zh复盘文章更接近行为学习
复盘文章更接近行为学习
23:33.000–23:35.766
zh也比多塞几段提示词更具体
也比多塞几段提示词更具体
23:36.066–23:38.600
zh但开头的问题仍然没有完全关闭
但开头的问题仍然没有完全关闭
23:38.900–23:40.666
zhagent究竟是变聪明
agent究竟是变聪明
23:40.666–23:42.600
zh还是只更会走旧地图
还是只更会走旧地图
23:42.900–23:45.400
zh目前的答案是两者之间
目前的答案是两者之间
23:45.566–23:48.100
zh它没有获得超出基础模型的新知识
它没有获得超出基础模型的新知识
23:48.366–23:50.500
zh也看不见历史之外的结果
也看不见历史之外的结果
23:50.866–23:53.166
zh可他确实改变了资源分配方式
可他确实改变了资源分配方式
23:53.400–23:55.566
zh并在下一轮真实探索中
并在下一轮真实探索中
23:55.700–23:58.066
zh到达旧策略没有到过的位置
到达旧策略没有到过的位置
23:58.400–24:00.100
zh只要新世界不断加入
只要新世界不断加入
24:00.200–24:01.733
zh旧地图就不再静止
旧地图就不再静止
24:01.933–24:03.700
zh真正值得警惕和
真正值得警惕和
24:03.700–24:05.533
zh期待的地方都在这里
期待的地方都在这里
24:05.566–24:06.600
zh一个闭环系统
一个闭环系统
24:06.600–24:08.666
zh不需要每轮重训大模型
不需要每轮重训大模型
24:08.666–24:11.300
zh也可能逐步改善自己的工作方法
也可能逐步改善自己的工作方法
24:11.666–24:12.866
zh今天它优化的是
今天它优化的是
24:12.866–24:15.200
zh分支并行和停止规则
分支并行和停止规则
24:15.700–24:17.733
zh明天类似机制可能扩展到
明天类似机制可能扩展到
24:17.733–24:20.600
zh工具选择记忆管理和验证流程
工具选择记忆管理和验证流程
24:20.766–24:22.133
zh每多开放一层
每多开放一层
24:22.200–24:23.866
zh能力上限会提高
能力上限会提高
24:23.966–24:27.133
zh错误目标和权限风险也会跟着放大
错误目标和权限风险也会跟着放大
24:27.266–24:29.100
zhdream RSI没有带来科幻
dream RSI没有带来科幻
24:29.100–24:30.800
zh故事里的智能爆炸
故事里的智能爆炸
24:31.333–24:33.800
zh它展示的是一条更现实的路径
它展示的是一条更现实的路径
24:34.133–24:35.933
zh基础模型保持不动
基础模型保持不动
24:36.000–24:38.400
zh外围系统通过历史评测
外围系统通过历史评测
24:38.400–24:40.566
zh和代码迭代持续变强
和代码迭代持续变强
24:40.666–24:41.966
zh这种变化更慢
这种变化更慢
24:41.966–24:43.333
zh也更工程化
也更工程化
24:43.400–24:46.066
zh却可能更早进入真实产品
却可能更早进入真实产品
24:46.133–24:47.700
zh因为企业不需要等待
因为企业不需要等待
24:47.700–24:50.500
zh一个会重写自身大脑的AGI
一个会重写自身大脑的AGI
24:50.966–24:54.333
zh只要现有agent学会少走一半弯路
只要现有agent学会少走一半弯路
24:54.700–24:57.166
zh成本结构就已经会被改变
成本结构就已经会被改变
24:57.266–24:59.333
zh外部验证将是下一道关
外部验证将是下一道关
24:59.766–25:01.933
zh项目页面和论文已经公开
项目页面和论文已经公开
25:02.333–25:04.066
zhGit Hub仓库也能找到
Git Hub仓库也能找到
25:04.133–25:06.400
zh但仓库当前明确标注完整
但仓库当前明确标注完整
25:06.400–25:09.133
zh代码库复现实验脚本和
代码库复现实验脚本和
25:09.133–25:11.266
zh部分发现程序仍在准备
部分发现程序仍在准备
25:11.466–25:13.000
zh研究者暂时可以检查
研究者暂时可以检查
25:13.000–25:15.533
zh方法数字和附录里的程序
方法数字和附录里的程序
25:15.700–25:17.733
zh却难以完全重建每一次
却难以完全重建每一次
25:17.733–25:20.800
zh探索树模型调用和评测环境
探索树模型调用和评测环境
25:21.300–25:22.900
zh论文结果因此属于有
论文结果因此属于有
25:22.900–25:24.700
zh材料支持的研究报告
材料支持的研究报告
25:25.000–25:26.400
zh还不是已经被多家
还不是已经被多家
25:26.400–25:28.766
zh实验室重复确认的工程定律
实验室重复确认的工程定律
25:28.966–25:30.600
zh完整代码发布以后
完整代码发布以后
25:30.733–25:32.533
zh最需要复查的是结果对
最需要复查的是结果对
25:32.533–25:34.900
zh随机性和预算设置有多敏感
随机性和预算设置有多敏感
25:35.400–25:37.866
zh不能只盯某一张最终成绩表
不能只盯某一张最终成绩表
25:38.166–25:39.800
zh换一批初始节点
换一批初始节点
25:40.100–25:42.000
zh优势是否仍然存在
优势是否仍然存在
25:42.200–25:44.466
zh把策略开发模型换掉
把策略开发模型换掉
25:45.000–25:47.000
zh循环还能不能稳定提高
循环还能不能稳定提高
25:47.200–25:48.766
zh旧历史中混入低质量
旧历史中混入低质量
25:48.766–25:51.133
zh轨迹会不会带坏下一轮
轨迹会不会带坏下一轮
25:51.266–25:53.466
zh这些问题决定dream RSI
这些问题决定dream RSI
25:53.466–25:55.066
zh是一套普遍方法
是一套普遍方法
25:55.133–25:56.533
zh还是一组特定任务
还是一组特定任务
25:56.533–25:58.266
zh下非常成功的配置
下非常成功的配置
25:58.533–26:00.866
zh基线选择也需要继续检查
基线选择也需要继续检查
26:01.300–26:03.966
zh固定探索是很清楚的受控对照
固定探索是很清楚的受控对照
26:04.333–26:08.000
zh因为它与dream RSI只差策略是否更新
因为它与dream RSI只差策略是否更新
26:08.600–26:11.766
zh可真实系统还会使用启发式搜索
可真实系统还会使用启发式搜索
26:12.066–26:15.733
zh贝叶斯优化进化算法和人工经验
贝叶斯优化进化算法和人工经验
26:16.000–26:17.933
zhDreamrsi在一些任务上
Dreamrsi在一些任务上
26:17.933–26:20.100
zh超过论文列出的强基线
超过论文列出的强基线
26:20.166–26:22.400
zh在另一些指标上只是接近
在另一些指标上只是接近
26:22.600–26:25.166
zh后续复现应当比较相同模型
后续复现应当比较相同模型
26:25.566–26:27.700
zh相同预算和相同硬件
相同预算和相同硬件
26:27.800–26:30.300
zh才能知道收益来自历史重放
才能知道收益来自历史重放
26:30.300–26:32.366
zh还是来自某些实现细节
还是来自某些实现细节
26:32.566–26:34.100
zh研究的价值也不必
研究的价值也不必
26:34.100–26:35.866
zh依赖每个分数都获胜
依赖每个分数都获胜
26:36.700–26:39.333
zh它把怎样探索从隐藏在框架
它把怎样探索从隐藏在框架
26:39.333–26:41.733
zh里的手写规则变成可以被
里的手写规则变成可以被
26:41.733–26:44.666
zh生成评估和版本管理的对象
生成评估和版本管理的对象
26:44.866–26:47.600
zh过去开发者调度agent常靠
过去开发者调度agent常靠
26:47.600–26:50.166
zh经验修改并发数和停止条件
经验修改并发数和停止条件
26:50.666–26:53.333
zh现在这些选择可以进入实验循环
现在这些选择可以进入实验循环
26:53.500–26:56.600
zh即使最终提升没有宣传数字那么大
即使最终提升没有宣传数字那么大
26:56.733–26:58.966
zh这种把原策略工程化的
这种把原策略工程化的
26:58.966–27:01.533
zh思路仍然会影响后续系统
思路仍然会影响后续系统
27:01.566–27:04.000
zh还要观察收益能维持多少轮
还要观察收益能维持多少轮
27:04.700–27:07.200
zh论文展示了有限轮次里的改进
论文展示了有限轮次里的改进
27:07.966–27:10.000
zh任何搜索系统都可能在积累
任何搜索系统都可能在积累
27:10.000–27:12.133
zh到一定阶段后进入平台期
到一定阶段后进入平台期
27:12.500–27:14.866
zh容易发现的优化先被拿走
容易发现的优化先被拿走
27:15.000–27:16.666
zh剩下的问题更难
剩下的问题更难
27:16.900–27:18.900
zh历史数也越来越庞大
历史数也越来越庞大
27:19.100–27:22.533
zh届时重放成本存储成本和策略开发
届时重放成本存储成本和策略开发
27:22.533–27:25.600
zh成本会不会吞掉节省下来的调用
成本会不会吞掉节省下来的调用
27:25.933–27:27.966
zh需要更长时间实验回答
需要更长时间实验回答
27:28.166–27:29.800
zh递归循环已经闭合
递归循环已经闭合
27:29.800–27:32.366
zh不代表性能曲线会永远向上
不代表性能曲线会永远向上
27:32.533–27:34.900
zh失败记录因此获得了新的意义
失败记录因此获得了新的意义
27:35.500–27:38.266
zh过去他们证明系统浪费过多少算力
过去他们证明系统浪费过多少算力
27:38.533–27:39.900
zh现在他们可以帮助下
现在他们可以帮助下
27:39.900–27:41.666
zh一版系统减少浪费
一版系统减少浪费
27:41.933–27:44.500
zhDreamrsi把历史变成模拟器
Dreamrsi把历史变成模拟器
27:44.600–27:46.533
zh也把每次失败变成一块
也把每次失败变成一块
27:46.533–27:48.800
zh可重复使用的计算资产
可重复使用的计算资产
27:49.166–27:52.266
zhAI能否依靠这种资产持续扩大能力
AI能否依靠这种资产持续扩大能力
27:52.300–27:55.300
zh还要等待独立复现和更多任务验证
还要等待独立复现和更多任务验证
27:55.366–27:57.333
zh可那扇门已经被推开
可那扇门已经被推开
27:57.466–28:00.500
zh真正的竞争会从谁拥有更强模型
真正的竞争会从谁拥有更强模型
28:00.666–28:02.900
zh延伸到谁拥有更好的历史
延伸到谁拥有更好的历史
28:03.100–28:05.000
zh以及谁最会利用这些历史
以及谁最会利用这些历史
影片筆記：Google 震驚全球！AI 竟然學會「做夢」自我進化？成本狂降 162 倍的禁忌技術曝光！🚨
<!-- VIDEONOTE_PUBLICATION_WARNINGS_BEGIN -->
⚠️ 可先使用，仍有待修正項目
本筆記已完成可閱讀的逐字稿與時間跳轉；下列為待處理問題，建議播放原片確認。
- 待修正：逐字稿全文快速校讀未完成（已保留自動字幕/原始逐字稿並繼續生成筆記。；未完成的全文速讀項目可在精進模式回聽確認。）
<!-- VIDEONOTE_PUBLICATION_WARNINGS_END -->
一句話總結
Google DeepMind 等團隊發布的 DreamRSI 系統，透過將 AI Agent 的「失敗記錄」與「探索路徑」構建為歷史探索樹，讓新策略在離線環境中進行低成本重放測試，從而優化探索資源分配，在不修改基礎模型權重的情況下，顯著降低模型調用次數（最高節省 162 倍）並提升性能。
核心重點
- DreamRSI 核心機制：
- 發布於 2026 年 9 月，由 Google DeepMind、馬里蘭大學及弗吉尼亞大學研究人員合作。
- 核心為「遞歸自我改進」（Recursive Self-Improvement, RSI），但不修改基礎模型權重，也不訓練新模型。
- 僅修改「外部調度代碼」（如分支選擇、並行數量、停止規則）。
- 強調「Zero gradient steps on the coding agent」（編碼代理零梯度步驟），避免誤解為模型再訓練。
- 工作流程：離線重放模擬：
- 在線探索：當前策略驅動編碼 Agent 執行任務，記錄包含觀察、方案、狀態、結果、評分與診斷的「探索樹」。
- 模擬器池：將歷史探索樹加入模擬器池。
- 策略開發與離線重放：策略開發 Agent 生成多個候選策略版本，並在所有歷史樹中進行「離線重放」。
- 選擇與遞歸：綜合表現最好的策略被選中進入下一輪在線探索，形成「策略改變探索 -> 探索擴大歷史 -> 歷史再改變策略」的閉環。
- 性能與成本優勢：
- 實驗顯示在算法工程、數學優化及 GPU 內核工程等任務中，DreamRSI 能顯著減少模型調用次數。
- 相比 Simple Test 的 51,200 次生成，部分設置報告最多 162 倍調用節省。
- 在保持或提升性能的同時，大幅降低計算成本。
- 資產化歷史與產業意義：
- 將日誌從排查錯誤的工具轉化為測試未來調度策略的環境。
- 企業競爭邏輯從模型參數轉向「探索世界」的積累（歷史樹、業務評估器、真實執行結果）。
- 具有強領域屬性，歷史數據難以從互聯網隨意獲取。
- 限制與風險：
- 覆蓋不足：歷史未覆蓋的區域無法預測結果，新策略若走出歷史樹需等待真實執行。
- 歷史污染：舊任務中的錯誤標籤、異常環境或失效規則會導致重放失真。
- 反饋迴路風險：策略偏好某種路線可能導致視野變窄，需保留探索比例。
- 研究狀態：目前為 Arxiv 預印本，未經完整獨立同行評審，代碼與復現腳本仍在準備中。
詳細大綱
I. DreamRSI 的核心概念與機制
- 定義與發布：
- 2026 年 9 月發布，團隊包含 Google DeepMind、馬里蘭大學、弗吉尼亞大學。
- RSI 指 Recursive Self-Improvement（遞歸自我改進）。
- 區別於傳統 RSI：不修改基礎模型權重，不訓練新模型，而是改進 Agent 在複雜任務中的「探索資源分配」。
- 探索策略的重要性：
- Agent 處理長任務時，生成代碼僅佔一環，最昂貴的是決定下一次嘗試（探索策略）。
- 傳統固定策略（Fixed Strategy）穩定但無法從經驗學習，易重複撞牆。
- 在線優化策略成本高，因為測試策略本身需消耗大量模型調用與計算資源。
- DreamRSI 的工作流程：
- 在線探索：當前策略驅動編碼 Agent 展開探索，保存一棵包含觀察、方案、狀態、結果、評分與診斷信息的「探索樹」。
- 模擬器池：將該樹加入歷史模擬器池。
- 策略開發：策略開發 Agent 修改探索策略代碼，生成多個候選版本。
- 離線重放：將候選策略放入所有歷史樹中重放，綜合表現最好的策略被選中進入下一輪在線探索。
- 遞歸閉環：策略改變探索 -> 探索擴大歷史 -> 擴大的歷史再改變策略。
II. 技術細節與限制
- 重放模擬器的本質：
- 基於已執行的代碼與測過的分數，是「精確重放」而非預測。
- 限制：歷史未覆蓋的區域無法回答，新策略若走到過去未展開的分支，系統無法預測結果。
- 修改對象明確：
- 基礎模型、編碼 Agent、評分器、工具接口均保持不變。
- 修改的是「外部調度代碼」（分支選擇、並行數量、停止規則）。
- 強調「Zero gradient steps on the coding agent」，避免誤解為模型再訓練。
- 保證範圍：
- 新選出的策略在「已記錄歷史和既定評分方式下」不會比舊策略更差。
- 不保證換任務、換數據分佈或評分器變化時不退步。
III. 實驗結果與性能評估
- 測試環境：8 項發現任務，涵蓋算法工程、數學優化、GPU 內核工程。
- 對照組：Recursive Fixed Exploration（遞歸固定探索），使用相同基礎模型、評分器、初始策略與預算。
- 具體數據表現：
- 算法工程（Lasso 正則化路徑求解器）：
- 使用 Gemini 3.1 Pro：DreamRSI 調用 317 次，平均運行時間 2,931.0 毫秒；固定探索調用 550 次，平均 3,587.1 毫秒。調用減少約 1.7 倍，程序更快。
- 使用 Gemini 3.7 Flash：DreamRSI 調用 1,879 次，平均 2,350.6 毫秒；固定探索調用 3,200 次，平均 2,516.7 毫秒。
- 相比 Simple Test 的 51,200 次生成，部分設置報告最多 162 倍調用節省。
- 數學優化：
- 核差問題：DreamRSI 取得 1.145427，超過 Simple Test 與固定探索。
- 原型裝箱：達到 2.635983，與最強對照持平。
- 自相關任務：1.456375，未超過 Simple Test 的 1.453675（該指標越低越好）。
- GPU 內核工程：
- VGG16 與 Layer Norm 任務：性能相近時，分別減少 2.43 倍和 1.79 倍生成次數。
- Conv Div 與 Conv Max：相近預算下，性能分別達到固定探索的 2.09 倍和 1.44 倍。
- 策略變化觀察：
- 系統學會根據進展調節搜索強度：表現上升時縮減預算（減少評估嘗試數），進展停滯時擴大探索。
- 對比實驗：將歷史軌跡總結為高層語義建議塞回提示詞，表現低於直接使用歷史樹重放。原因可能是總結過早壓縮信息，形成強烈偏見，而樹狀歷史保留更多「反事實空間」。
IV. 與現有技術的對比
- 與檢索增強生成（RAG）：
- RAG 僅提供相似經驗參考，模型自行決定。
- DreamRSI 讓候選策略在舊樹上實際走一遍，並按成本與結果計分，提供可比較的行為反饋。
- 與微調（Fine-tuning）：
- 微調將經驗壓入參數，難解釋提升來源。
- DreamRSI 保留基礎模型，只修改外部策略代碼，舊策略與新策略可逐行比較，變化對應到具體歷史樹。
- 與傳統強化學習（RL）：
- 借用離線策略評估思想，但利用編碼任務結構。
- 環境結果已保存在文件/程序輸出中，重放時不需學習近似動力學模型，減小了模型預測誤差。
- 覆蓋不足問題仍存在：新策略若走出歷史樹，需等待下一輪真實執行。
V. 產業意義與未來挑戰
- 資產化歷史：
- 將日誌從排查錯誤的工具轉化為測試未來調度策略的環境。
- 企業競爭從模型參數轉向「探索世界」的積累（歷史樹、業務評估器、真實執行結果）。
- 具有強領域屬性（芯片、藥物、軟件團隊的歷史無法從互聯網隨意獲取）。
- 成本結構改變：
- 在線執行昂貴，離線重放成本低。
- 企業可在真實執行次數不變下測試更多調度候選，失敗記錄提高篩選策略效率。
- 潛在風險與限制：
- 存儲與治理：完整探索樹包含代碼快照、日誌、上下文，長期積累帶來存儲壓力與商業機密問題。
- 反饋迴路風險：策略偏好某種路線，新歷史覆蓋該路線，偏好可能逐輪強化，導致視野變窄。需保留探索比例尋找新區域。
- 應用領域差異：
- 易受益領域：軟件工程、芯片設計、數據庫優化（結果可自動驗證）。
- 困難領域：開放式研究（科學假價値需多年驗證，評分器可能給錯方向）。
- 代理指標風險：優化循環越有效，越需謹慎設計評分規則，防止過擬合或繞過必要步驟。
- 歷史污染：舊任務中的錯誤標籤、異常環境或失效的硬件/業務規則會導致重放失真。需給歷史樹加版本、時間、環境標籤，並決定何時讓舊世界退役。
- 安全與審計：
- DreamRSI 修改外部策略代碼，繞開難以解釋的模型權重，提供更易審計的自我改進方式。
- 策略開發代理需運行在隔離環境，限制網絡憑證與文件權限，通過靜態檢查與沙箱測試。
- 研究狀態與驗證：
- 目前為 Arxiv 預印本，未經完整獨立同行評審。
- 項目倉庫標註完整代碼、復現實驗腳本仍在準備發布中。
- 外部團隊尚不能一鍵重跑全部結果，結論強度受限。
- 需檢查結果對隨機性、預算設置的敏感性，以及換模型或混入低質量軌跡後的穩定性。
工具 / 模型 / 名詞整理
- DreamRSI：遞歸自我改進系統名稱。
- Google DeepMind：研究團隊之一。
- 馬里蘭大學：研究團隊之一。
- 弗吉尼亞大學：研究團隊之一。
- Gemini 3.1 Pro：實驗中使用的基础模型版本。
- Gemini 3.7 Flash：實驗中使用的基础模型版本。
- Lasso 正則化路徑求解器：算法工程任務中的具體問題類型。
- Simple Test：論文中的對照組或基準測試名稱。
- VGG16：GPU 內核工程任務中的模型/結構名稱。
- Layer Norm：層歸一化，GPU 內核工程任務名稱。
- Conv Div：GPU 內核工程任務名稱。
- Conv Max：GPU 內核工程任務名稱。
- KKT 剪枝：基於柯西-施瓦茨不等式的剪枝方法。
- GRAM 矩陣：實驗中提到的矩陣結構。
- 核差集合：數學優化任務名稱。
- 自相關不等式：數學優化任務名稱。
- 圓形裝箱：數學優化任務名稱。
- Arxiv：預印本發布平台。
- GitHub：項目倉庫平台。
操作流程整理
- 在線探索階段：
- 當前策略驅動編碼 Agent 執行複雜任務。
- 記錄並保存一棵「探索樹」，包含觀察、方案、狀態、結果、評分與診斷信息。
- 歷史積累階段：
- 將生成的探索樹加入「歷史模擬器池」。
- 策略開發階段：
- 策略開發 Agent 修改探索策略代碼（分支選擇、並行數量、停止規則）。
- 生成多個候選策略版本。
- 離線重放評估階段：
- 將候選策略放入所有歷史樹中進行「離線重放」。
- 根據重放結果綜合評分。
- 選擇與遞歸階段：
- 選擇綜合表現最好的策略。
- 將該策略應用於下一輪在線探索。
- 重複上述循環，形成遞歸閉環。
值得注意的限制或風險
- 覆蓋不足風險：重放模擬器僅基於已執行的代碼與分數，若新策略走到過去未展開的分支，系統無法預測結果。
- 歷史污染：舊任務中的錯誤標籤、異常環境或失效的硬件/業務規則會導致重放失真。
- 反饋迴路與視野變窄：策略若過度偏好某種路線，新歷史覆蓋該路線，偏好可能逐輪強化，導致系統視野變窄。需保留探索比例尋找新區域。
- 評分器偏差：在開放式研究中，評分器可能給錯方向，導致優化循環過擬合或繞過必要步驟。
- 存儲與商業機密：完整探索樹包含大量代碼快照、日誌與上下文，長期積累帶來存儲壓力，且涉及商業機密。
- 研究驗證狀態：目前為 Arxiv 預印本，未經完整獨立同行評審，代碼與復現腳本仍在準備中，外部團隊尚不能一鍵重跑全部結果。
逐字稿辨識疑點
- Dreamrsi / Dream RSI / DreamRSI：逐字稿中大小寫與空格使用不一致，需查證官方標準寫法。
- Gemini3.1Pro / Gemini3.7Flash：模型版本號與名稱間無空格，需查證是否為正式發布版本號。
- Simple TES / Simple Test：逐字稿中出現「Simple TES」與「Simple Test」混用，需查證是否為同一基準測試名稱。
- 柯西斯瓦茨不等式：聽寫可能為「柯西-施瓦茨不等式」（Cauchy-Schwarz inequality），需查證。
- Convictive 實驗：聽寫可能為「Convolutional」（卷積）相關實驗，需查證。
- 2026年9月：若當前時間早於此日期，需查證是否為預測時間或聽寫錯誤。
- Zero gradient steps on the coding agent：需查證是否為論文原文引用，確認「coding agent」是否指代編碼代理或代碼代理。
- GRAM 矩陣：需查證是否為「Gram Matrix」的聽寫，或特定領域縮寫。
- 核差集合：需查證數學優化領域標準術語，是否為「Nuclear Norm」或相關概念。
- 圓形裝箱：需查證是否為「Circle Packing」問題的聽寫。
可延伸追問
- DreamRSI 的「離線重放」在面對完全未見過的任務分佈時，其泛化能力具體受限於哪些因素？
- 如何設計有效的機制來防止「歷史污染」對重放模擬器造成的負面影響？
- 在商業應用中，如何平衡「探索樹」的長期存儲成本與即時調用成本？
- 對於科學研究等評分困難的領域，DreamRSI 的評分器設計應遵循什麼原則以避免誤導優化方向？
- 當基礎模型發生重大升級時，舊有的歷史探索樹是否仍具有重放價值？
尚未產生學習筆記
請在 Telegram 指令最後加上「學習」，例如：videonote 網址 英文 雙語 學習