论文页面 - 通过递归自我改写扩展复杂任务的轨迹

来源: https://huggingface.co/papers/2610.02826

摘要

在困难任务上的成功轨迹为模型改进提供了宝贵的监督信号，但专门化的 harness 会引入在部署阶段可能无法获得的干预手段。我们提出 Recursive Self-Rewrite（RSR）框架，该框架仅使用单一基础模型 Qwen-3.8-27B，在多种 harness 下发现成功解法，并在通用 harness 下将它们重构为训练轨迹。其中，planner 将流程提取为 runbook，critic 对 verifier 和 solution 泄漏进行筛查并引导递归修订，executor 则在全新的 sandbox 中遵循合格的 runbook 执行。在约 3K 个自建的终端任务上，三种 harness 共同解决了 759 个任务，比已记录池中最强的单一 harness 多解决 34.3%。RSR 将 2,001 条成功源轨迹扩展为 11,094 条改写后的轨迹，用于有监督微调。在这些轨迹上的训练结果优于基础模型以及直接的轨迹 SFT。与基础模型相比，pass@3 在 Terminal-Bench2 上从 57.0% 提升至 74.2%，在 Terminal-Bench4 上从 1.5% 提升至 9.1%，在我们自建的 Terminal-BenchHard 上从 39.0% 提升至 63.0%，在我们的 Software Terminal-Bench 上从 3.0% 提升至 6.0%。在 Long-Horizon Terminal-Bench 上，过程奖励从 0.21 提升至 0.29。这些结果表明，多样化的 harness 辅助经验可以被重构为可复用的能力，供模型在通用 harness 下使用。

查看 arXiv 页面 (https://arxiv.org/abs/2610.02826) 查看 PDF (https://arxiv.org/pdf/2610.02826) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.02826)

在你的 agent 中获取这篇论文:

hf papers read 2610.02826

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接到此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.02826，即可从本页链接过去。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.02826，即可从本页链接过去。

引用此论文的 Space 0

没有 Space 链接到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.02826，即可从本页链接过去。

包含此论文的合集 0

没有合集包含此论文

将此论文加入合集 (https://huggingface.co/new-collection)，即可从本页链接过去。