论文页面 - 学习构建环境：通过可验证环境合成实现自我进化的推理强化学习

来源：https://huggingface.co/papers/2605.14392

摘要

自我改进的语言模型并非生成训练数据，而是构建用于训练的环境，利用稳定的“求解-验证“不对称性，在学习过程中保持信息丰富的奖励。

我们追求一种自我改进语言模型（https://huggingface.co/papers?q=self-improving%20language%20models）的愿景，在该愿景中，模型不仅生成问题或轨迹以供模仿，而是构建训练自身所需的环境。在零数据推理强化学习（https://huggingface.co/papers?q=zero-data%20reasoning%20RL）中，这将自我改进从数据生成循环重新定义为环境构建循环（https://huggingface.co/papers?q=environment-construction%20loop），其中每个产物都是可重用的可执行对象，用于采样实例、计算参考答案并对响应进行评分。这一愿景能否持续改进，关键在于一个特性：环境必须表现出稳定的“求解-验证“不对称性——模型必须能够编写一个预言机（oracle），但该模型本身无法在新实例上通过自然语言可靠地执行该预言机。这种不对称性表现为两种互补形式。有些任务在算法上难以推理，但作为代码却微不足道：例如动态规划或图遍历，一旦编译完成，就能产生无限多个经过校准的实例。另一些任务则本质难以求解但易于验证，例如植入的子集和问题或约束满足问题。这两种情况都在提出方案与求解之间建立了持久的差距，而策略（https://huggingface.co/papers?q=policy）无法通过欺骗验证器来缩小这一差距。正是这个差距使得奖励在学习者改进过程中始终保持信息量。我们在EvoEnv中实例化了这一观点，这是一种单一策略（https://huggingface.co/papers?q=policy）生成器与求解器方法，从十个种子合成Python环境（https://huggingface.co/papers?q=Python%20environments），并仅在经过分阶段验证（https://huggingface.co/papers?q=staged%20validation）、语义自我审查（https://huggingface.co/papers?q=semantic%20self-review）、求解器相对难度校准（https://huggingface.co/papers?q=solver-relative%20difficulty%20calibration）和新颖性检查（https://huggingface.co/papers?q=novelty%20checks）后才接纳它们。最有力的证据来自已经很强的基线：在Qwen3-4B-Thinking（https://huggingface.co/papers?q=Qwen3-4B-Thinking）上，固定的公开数据RLVR（https://huggingface.co/papers?q=RLVR）和固定的手工环境RLVR（https://huggingface.co/papers?q=RLVR）降低了平均值，而EvoEnv将其从72.4提升至74.8，相对提升3.3%。我们认为，稳定的自我改进并不依赖于生成更多合成数据，而在于模型学会构建那些难度始终在自身能力范围之外的世界。

查看arXiv页面（https://arxiv.org/abs/2605.14392）查看PDF（https://arxiv.org/pdf/2605.14392）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.14392）

在你的agent中获取此论文：

hf papers read 2605.14392

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

请在模型README.md中引用arxiv.org/abs/2605.14392以在此页面建立链接。

引用此论文的数据集0

没有数据集链接到此论文

请在数据集README.md中引用arxiv.org/abs/2605.14392以在此页面建立链接。

引用此论文的Spaces0

没有Space链接到此论文

请在Space README.md中引用arxiv.org/abs/2605.14392以在此页面建立链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集（https://huggingface.co/new-collection）以在此页面建立链接。