论文页面 - REVES: 基于修正与验证增强的训练实现测试时扩展

来源：https://huggingface.co/papers/2606.18910

摘要

一个两阶段的迭代框架在数据增强与策略优化之间交替进行，通过利用中间修正步骤来提升大语言模型的推理能力，在编程基准测试和约束满足问题上取得了更优的性能。

通过顺序修正进行测试时扩展（https://huggingface.co/papers?q=Test-time%20scaling）已成为增强大语言模型（https://huggingface.co/papers?q=Large%20Language%20Model）（LLM）推理能力的有效范式。然而，标准的后训练方法主要针对单次输出目标进行优化，这与多步推理动态（https://huggingface.co/papers?q=multi-step%20inference%20dynamics）存在根本性的不匹配。虽然近期工作将其视为多轮强化学习（https://huggingface.co/papers?q=reinforcement%20learning）（RL），但传统方法直接优化多步轨迹，未能进一步挖掘中间步骤（https://huggingface.co/papers?q=intermediate%20steps）中模型可通过修正学习到的高质量错误。我们提出一个两阶段迭代框架，在在线数据/提示增强（https://huggingface.co/papers?q=prompt%20augmentation）与策略优化（https://huggingface.co/papers?q=policy%20optimization）之间交替进行。通过将成功恢复轨迹中的中间步骤（“接近正确”的答案）转化为解耦的修正和验证提示，我们的训练聚焦于有效的答案转换（https://huggingface.co/papers?q=answer%20transformation）和错误识别（https://huggingface.co/papers?q=error%20identification）。这种方法实现了高效的离策略数据生成（https://huggingface.co/papers?q=off-policy%20data%20generation），并相比标准多轮RL减少了长程采样的计算开销。在LiveCodeBench上，使用公开可用的测试用例作为反馈，我们观察到相比RL基线提高了+6.5点，相比标准多轮训练提高了+4.0点。除编程外，我们的方法在圆填充问题上达到了此前报告的最佳结果，同时使用了最小的基础模型（4B）和远少于更大的进化搜索系统的 rollout 次数。基于真实验证的数学结果进一步证实了修正能力的提升。该方法还泛化到分布外的约束满足谜题（如 n_queens 和 mini_sudoku），这些问题的正确性完全由问题约束定义。代码见 https://github.com/yxliu02/REVES.git。

查看 arXiv 页面（https://arxiv.org/abs/2606.18910）查看 PDF（https://arxiv.org/pdf/2606.18910）GitHub（https://github.com/yxliu02/REVES）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.18910）

在你的 agent 中获取这篇论文：

hf papers read 2606.18910

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2606.18910 即可从此页面关联。

引用该论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.18910 即可从此页面关联。

引用该论文的 Spaces0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2606.18910 即可从此页面关联。

包含该论文的收藏集0

暂无收藏集包含此论文

将这篇论文添加到一个收藏集（https://huggingface.co/new-collection）中即可从此页面关联。