扩展推理能力不仅仅是延长上下文——它是在解决递归自我改进（RSI）中的“上下文拖拽”问题。ICLR 2026的研究表明，自我优化的大语言模型在循环中会累积复合误差。优化注意力机制能够清除这种拖拽！🚀 https://t.co/zcpeBD42Tz https://t.co/fP8NwNi9Kk

Dream-RSI：通过演化世界实现递归自我改进

来源：https://arxiv.org/html/2609.14858 \uselogo Xidong Wu：\thepa Zheng Zhang：\thepa Zhankui He：Google DeepMind Chaoyi Zhang：\thepa Benjamin Coleman：Google DeepMind Ruoqiao Wei：\thepa Di Bai：Google DeepMind Haolin Liu：弗吉尼亚大学 Rui Liu：马里兰大学帕克分校 Xue Wang：\thepa Yue Zhuan：\thepa Wang-Cheng Kang：Google DeepMind Renkai Xiang：\thepa Heng Huang：马里兰大学帕克分校 Xinwu Cheng：\thepa Yunsong Guo：\thepa

摘要

递归自我改进对于自主AI智能体日益重要，其进展取决于在复杂领域中发现高价值解决方案的能力。这一过程的核心驱动力是有效的探索策略，然而，管理和改进探索策略仍然是主要瓶颈。当前系统面临一个根本性困境：固定策略无法适应不断扩展的搜索空间，而在线策略优化则需要在长周期滚动中，面对延迟且昂贵的反馈，在庞大的元搜索空间中导航。

我们提出了Dream-RSI——一个支持可扩展递归自我改进探索的框架。轻量级编排层使探索过程显式化且可编程，同时保持底层编码智能体不变。我们的关键洞察是：累积的发现历史可以作为已实现搜索空间的回放模拟器。通过在基于历史发现树构建的回放模拟器中进行“梦境推演”，Dream-RSI能够获得即时、低成本的离线策略反馈，用于评估和优化探索策略，无需调用重复且昂贵的在线评估。改进后的策略随后被重新部署到在线流程中，驱动进一步的发现，在一个自我改进的循环中持续扩展模拟器池。

在算法工程、数学优化和GPU内核工程等多个领域，Dream-RSI在多种场景下实现了具有竞争力或更优的发现质量，同时显著降低了发现成本。 github.com/zhengkid/Dream-RSI (https://github.com/zhengkid/Dream-RSI) | dream-rsi.com (https://dream-rsi.com/)

1 引言

请参见标题 图1：Dream-RSI概览。该系统通过三个核心阶段在一个递归自我改进循环中运行：

1. 在线探索：当前探索策略引导编码智能体扩展发现树并记录历史轨迹；
2. 构建回放模拟器：将生成的发现树转换为可复用的模拟器池；
3. 基于梦境的策略改进：智能体在脑海中“想象”出大量备选策略，然后将这些候选策略输入回放模拟器进行模拟执行并获得快速反馈，从而持续优化其策略（详见放大框）。更新后的策略随后被重新部署，用于下一轮在线探索。

递归自我改进（RSI）已成为自主AI系统的一个宏伟目标（Liu et al., 2026c (https://arxiv.org/html/2609.14858#bib.bib25)）。RSI的一个常见机制是迭代发现循环：智能体生成候选方案、评估结果、整合反馈并改进后续迭代。这种发现循环已在科学和算法领域推动了巨大进展，包括算法设计（Novikov et al., 2025 (https://arxiv.org/html/2609.14858#bib.bib27); Romera-Paredes et al., 2024 (https://arxiv.org/html/2609.14858#bib.bib33)）、开放式数学优化（Georgiev et al., 2025 (https://arxiv.org/html/2609.14858#bib.bib7); Anthropic, 2026 (https://arxiv.org/html/2609.14858#bib.bib1)）、系统设计（Jaber and Jaber, 2026 (https://arxiv.org/html/2609.14858#bib.bib18); Cao et al., 2026 (https://arxiv.org/html/2609.14858#bib.bib3)）以及智能体自我改进（Zhang et al., 2026b (https://arxiv.org/html/2609.14858#bib.bib48); Zhang et al., 2026c (https://arxiv.org/html/2609.14858#bib.bib49); Lee et al., 2026 (https://arxiv.org/html/2609.14858#bib.bib22); Zheng et al., 2026a (https://arxiv.org/html/2609.14858#bib.bib51)），并且这些发现正越来越多地用于开发更强大的AI系统。

随着智能体能力的提升和自我改进目标变得更具挑战性，发现过程越来越需要在庞大的搜索空间中进行长周期探索，通常涉及数千次提案-评估循环（Ye et al., 2026 (https://arxiv.org/html/2609.14858#bib.bib45); OpenAI, 2026 (https://arxiv.org/html/2609.14858#bib.bib28)）。在这个规模上，编排探索的能力变得至关重要（Zheng et al., 2026b (https://arxiv.org/html/2609.14858#bib.bib52)）。糟糕的探索会浪费大量的计算资源和时间，严重限制RSI的效率和可扩展性。

现有方法在很大程度上依赖于手动设计的探索策略，这些策略在整个发现过程中基本保持固定（Novikov et al., 2025 (https://arxiv.org/html/2609.14858#bib.bib27); Yan et al., 2026b (https://arxiv.org/html/2609.14858#bib.bib44); Du et al., 2026 (https://arxiv.org/html/2609.14858#bib.bib5); Jiang et al., 2026 (https://arxiv.org/html/2609.14858#bib.bib19); Ye et al., 2026 (https://arxiv.org/html/2609.14858#bib.bib45)）。固定策略无法从累积的发现经验中学习，并可能重复将计算资源投入到无效的搜索方向上。

因此，近期工作致力于在发现过程中在线优化探索策略（Liu et al., 2026a (https://arxiv.org/html/2609.14858#bib.bib23)），但这样做面临两个根本性瓶颈。首先，在元层面，反馈延迟且昂贵：与评估单个候选方案不同，评估一个探索策略需要观察它在多次提案-评估循环中如何影响后续的发现过程。其次，元策略空间巨大：一个新提出的策略可能表现不佳，因此可能需要尝试许多备选方案。这些挑战共同使得元层面的改进成本高昂：每个策略在获得有用反馈之前可能需要很长的在线运行周期，使得在探索层面高效地闭合自我改进循环变得困难。

为了解决这些瓶颈，我们的核心直觉很简单：一个快速且廉价的发现模拟器将允许在昂贵的在线部署之前评估许多探索策略。令人惊讶的是，已完成的发现历史本身就提供了这样的模拟器。先前的工作仅将过去的发现历史视为静态的文本上下文（Hu et al., 2025 (https://arxiv.org/html/2609.14858#bib.bib14); Ouyang et al., 2026b (https://arxiv.org/html/2609.14858#bib.bib31)）或用于权重微调的训练数据（Yuksekgonul et al., 2026 (https://arxiv.org/html/2609.14858#bib.bib46); Wang et al., 2025 (https://arxiv.org/html/2609.14858#bib.bib37)），但一个完整的发现过程本身就记录了过去探索决策及其实际代码执行结果的结构化树。

类比于基于模型的强化学习和世界模型（Ha and Schmidhuber, 2018 (https://arxiv.org/html/2609.14858#bib.bib9); Hafner et al., 2023 (https://arxiv.org/html/2609.14858#bib.bib12)）（第2节 (https://arxiv.org/html/2609.14858#S2)），一旦组织成发现树，这段历史就可以作为一个回放模拟器¹。如图2 (https://arxiv.org/html/2609.14858#S1.F2) 所示，一个备选的探索策略可以导航这个预记录的树，以不同的顺序遍历不同的记录分支子集，采用不同的并行分组和停止决策。由于所有执行结果都已保存在树中，评估新策略只需读取过去的记录，而无需重新运行底层的发现智能体或评估器。这将元策略改进从一个昂贵的在线试错过程，转变为一个快速、基于模拟的“梦境推演”程序。

基于这一洞察，我们引入了Dream-RSI，一个用于智能体驱动发现中可扩展和递归自我改进元探索的框架。我们首先通过一个轻量级编排层使探索变得显式和可编程，该层控制分支、并行探索和停止，同时保持底层编码智能体不变。与保持该策略固定不同，Dream-RSI通过三个核心阶段建立了闭环自我改进机制（图1 (https://arxiv.org/html/2609.14858#S1.F1)）：(1) 在线探索，当前策略引导真实世界探索并记录历史执行轨迹；(2) 模拟器构建，将记录的发现树转换为可复用的回放模拟器池；(3) 基于梦境的策略改进，通过模拟器上的低成本“梦境推演”评估候选策略。更新后的策略随后被重新部署到在线流程中，生成新的发现经验并扩展模拟器池，在元探索层面闭合一个RSI循环。

在实验上，我们在跨越三个不同领域的8个科学发现任务上评估了Dream-RSI：算法工程、数学优化和GPU内核工程。在算法工程（Lasso路径求解器）中，Dream-RSI优于sklearn等标准库和强大的基线，同时将智能体调用次数相较于SimpleTES减少了高达162倍，相较于固定探索基线减少了1.7倍。在数学优化（和差问题、自相关、圆打包）中，它在1k次迭代内达到或超越了强大的基线，与SimpleTES相比节省了超过50倍的预算。在GPU内核工程（KernelBench）中，它要么以1.79倍至2.43倍更少的迭代次数达到目标执行速度，要么在相同预算约束下将内核性能提高了高达2.09倍。

总之，我们的主要贡献如下：

1. 历史即回放模拟器：我们将已完成的发现历史概念化为回放模拟器。这使得延迟的探索反馈可以重复用于高效的元探索策略评估。
2. 元层RSI循环（Dream-RSI）：我们引入了Dream-RSI，建立了一个递归自我改进循环：通过在线探索持续收集发现历史，基于历史构建回放模拟器，通过梦境推演改进元探索策略，并将升级后的策略重新部署到在线。
3. 实证验证：我们进行了实验，证明Dream-RSI在多个场景中提高了发现的有效性和效率。

请参见标题 图2：发现历史作为回放模拟器。已部署的策略首先进行在线探索，生成包含历史执行轨迹的结构化发现树（每个节点代表一次尝试及其完整观测）。然后，可以在该模拟器内测试数千个候选策略——评估搜索分支、探索顺序、并发级别和停止规则的不同选择。由于所有节点结果都预先存储，一次昂贵的在线运行即可支持数千次快速、零执行成本的离线策略评估。这使得通过历史回放进行策略改进成为可能：智能体可以在重新部署改进后的策略到在线之前，“想象”并尝试许多不同的探索策略。

2 动机：发现历史作为回放模拟器

考虑一个智能体在陌生环境中导航朝向目标。在其第一次遍历期间，智能体可能会遵循低效的路线，遇到死胡同，回溯，并逐步构建周围空间的地图。然而，一旦记录下来，这种经验就变得可复用：生成的地图支持规划，而无需智能体实际重访每个位置。相反，新的导航策略可以基于累积的地图进行推理，避开已知的死胡同，重新考虑早期决策，并在行动前比较备选路线（Gupta et al., 2017 (https://arxiv.org/html/2609.14858#bib.bib8)）。这个想法与基于模型的强化学习（Sutton, 1990 (https://arxiv.org/html/2609.14858#bib.bib35); M. Moerland et al., 2023 (https://arxiv.org/html/2609.14858#bib.bib26)）有相似之处。一个模型捕获了环境如何响应智能体的动作而演化，从而允许策略通过模拟经验而非与真实环境的重复交互来训练或评估（Ha and Schmidhuber, 2018 (https://arxiv.org/html/2609.14858#bib.bib9)）。Dreamer系列（Hafner et al., 2019 (https://arxiv.org/html/2609.14858#bib.bib10); Hafner et al., 2020 (https://arxiv.org/html/2609.14858#bib.bib11); Hafner et al., 2023 (https://arxiv.org/html/2609.14858#bib.bib12); Hafner et al., 2025 (https://arxiv.org/html/2609.14858#bib.bib13)）特别清晰地展示了这一原理：智能体从收集到的经验中学习一个紧凑的动态模型，并通过在该模型中想象轨迹来改进其策略。

长周期发现具有类似的结构。一个探索策略决定追求哪些方向、改进哪些候选方案、并行探索哪些分支以及何时终止。在线执行该策略会产生一个结构化的发现历史，包含探索的分支、决策点、计算成本和实现的结果。如图2 (https://arxiv.org/html/2609.14858#S1.F2) 所示，这段历史随后可以被视为一个经验回放模拟器：一个已观测到的发现空间部分的实例化模型。在这个回放模拟器内，备选的探索策略会在记录的发现树中引发不同的轨迹。一个策略可以选择不同的分支子集，以不同的顺序优先处理它们，发出不同的并行请求，或在更早的点停止。评估这样的轨迹只需要揭示所选分支上已经存储的结果，而无需重新运行底层的编码智能体和评估器。因此，一次昂贵的在线发现运行可以支持许多廉价的探索策略评估。

3 Dream-RSI：通过演化世界实现递归自我改进

如图1 (https://arxiv.org/html/2609.14858#S1.F1) 所示，Dream-RSI在在线探索和离线“梦境推演”之间交替进行，以改进一个可执行的探索策略，该策略负责分配发现计算资源。在在线阶段，策略引导一个固定的发现智能体，而一个固定的评估器对产生的候选方案进行评分并提供诊断反馈。生成的发现树作为一个回放世界，可以在其中使用记录的结果评估备选策略。一个基于LLM的固定策略开发智能体使用此反馈来修订探索策略代码，并将评估出的最佳版本部署到下一次在线运行中。只有探索策略代码会变化；底层的模型、评估器和执行接口保持不变。

发现树与共享决策接口。

发现树以根节点 rr 为根，代表初始工作区状态。每个非根节点 vv 有一个且仅有一个主父节点，即根节点或之前创建的节点。该父节点标识了 vv 中的尝试