SWE-Trail：用于编程智能体训练的历史引导轨迹收集

Hugging Face Daily Papers 论文
coding-agents trajectory-collection reinforcement-learning post-training swe-bench llm

摘要

SWE-Trail 是一种面向编码智能体、由历史信息引导的轨迹收集器，利用先前的 rollout 来指导收集资源的分配，同时不向智能体暴露这些历史信息，从而避免训练与测试不匹配。在其收集的轨迹上训练后，参数量为 124B 的 Ling-3.0-flash-base 学生模型在 SWE-bench Multilingual 和 SWE-bench Pro 上的解决率相比独立采样分别提高了 2.33 和 1.60 个百分点。

编码智能体通过一系列漫长的探索、编辑和验证步骤来解决代码仓库中的问题。这些轨迹正越来越多地被用作后训练数据，因此，轨迹的收集方式会影响训练后的模型学到什么。一种常见方法是针对每个问题独立采样多条轨迹，然后进行筛选或整理。然而，随着独立采样的轨迹数量增加，后续轨迹会变得越来越冗余，尽管早期轨迹本可以指导后续收集工作应投入何处。利用这些历史信息的一种自然方式，是将其作为建议提供给编码智能体。但使用此类轨迹进行训练，可能使模型依赖测试时无法获得的建议，从而造成训练与测试之间的不匹配。相反，我们认为，历史信息应指导收集工作的投入方向，而由编码智能体决定生成什么。我们提出了 SWE-Trail，这是一种轨迹收集器，利用早期轨迹指导后续收集，同时将这些历史信息保留在编码智能体的上下文之外。在一次新的轨迹生成过程中，SWE-Trail 利用历史信息识别一个可能值得投入额外收集工作的状态。在该状态下，编码智能体根据其常规上下文提出候选的下一步动作，SWE-Trail 则从同一个检查点出发，短暂执行这些动作，以决定沿哪条路线继续。我们通过使用各种收集方法生成的轨迹来训练学生模型，从而评估这些方法。对于一个基于 Ling-3.0-flash-base 初始化的 1240 亿参数学生模型，与独立采样相比，SWE-Trail 在 SWE-bench Multilingual 和 SWE-bench Pro 上的平均解决率分别提高了 2.33 和 1.60 个百分点。不使用历史信息时，同一流程生成的成功解决问题的轨迹数量仍多于独立采样，但在 Multilingual 上仅提升了 0.11 个百分点。这些结果表明，在不向编码智能体暴露历史信息的情况下，利用历史信息指导收集具有价值。
查看原文
查看缓存全文

缓存时间: 2026/11/03 15:36

论文页面 - SWE-Trail：用于编程智能体训练的历史引导轨迹收集

来源：https://huggingface.co/papers/2611.02074

摘要

SWE-Trail 利用过去的运行轨迹来引导探索，同时不向智能体暴露历史记录，从而改进编程智能体的轨迹收集，训练出表现更好的学生模型。

编程智能体 (https://huggingface.co/papers?q=Coding%20agent) 通过一系列漫长的探索、编辑和验证操作来解决代码仓库中的问题。这些轨迹越来越多地被用作后训练数据，因此轨迹的收集方式会影响训练后的模型所学到的内容。一种常见的方法是针对每个问题独立采样多条轨迹，然后对其进行筛选或整理。然而，随着独立采样的轨迹越来越多，后续轨迹的冗余程度也越来越高，尽管先前的轨迹本可以指导后续收集工作应投入何处。利用这些历史记录的一种自然方式，是将其作为建议提供给编程智能体 (https://huggingface.co/papers?q=coding%20agent)。但使用此类轨迹进行训练，可能会使模型依赖测试时无法获得的建议，从而造成训练与测试不匹配 (https://huggingface.co/papers?q=train-test%20mismatch)。相反，我们认为，历史记录应指导收集工作的投入方向，而由编程智能体 (https://huggingface.co/papers?q=coding%20agent) 决定生成什么。我们提出了 SWE-Trail (https://huggingface.co/papers?q=SWE-Trail)，这是一种轨迹收集器 (https://huggingface.co/papers?q=trajectory%20collector)，利用先前的轨迹引导后续收集，同时将这些历史记录保留在编程智能体 (https://huggingface.co/papers?q=coding%20agent) 的上下文之外。在一次新的运行 (https://huggingface.co/papers?q=rollout) 中，SWE-Trail (https://huggingface.co/papers?q=SWE-Trail) 利用历史记录，识别出一个可能值得投入额外收集工作的状态。在该状态下，编程智能体 (https://huggingface.co/papers?q=coding%20agent) 根据其常规上下文提出候选的下一步动作，而 SWE-Trail (https://huggingface.co/papers?q=SWE-Trail) 则从同一个检查点 (https://huggingface.co/papers?q=checkpoint) 出发，短暂执行这些动作，以决定继续沿哪条路径运行。我们通过使用各类收集方法生成的轨迹来训练学生模型，以评估这些方法。对于一个从 Ling-3.0-flash-base 初始化的 124B 学生模型，SWE-Trail (https://huggingface.co/papers?q=SWE-Trail) 相比独立采样，在 SWE-bench Multilingual (https://huggingface.co/papers?q=SWE-bench%20Multilingual) 和 SWE-bench Pro (https://huggingface.co/papers?q=SWE-bench%20Pro) 上的平均解决率分别提高了 2.33 和 1.60 个百分点。不使用历史记录时，同一流程生成的成功解决问题的轨迹比独立采样更多，但在 Multilingual 上仅提高了 0.11 个百分点。这些结果表明，利用历史记录引导收集、同时不向编程智能体 (https://huggingface.co/papers?q=coding%20agent) 暴露这些记录具有价值。

查看 arXiv 页面 (https://arxiv.org/abs/2611.02074)查看 PDF (https://arxiv.org/pdf/2611.02074)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2611.02074)

在你的智能体中获取这篇论文：

hf papers read 2611\.02074

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2611.02074，即可从此页面链接到该模型。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2611.02074，即可从此页面链接到该数据集。

引用这篇论文的 Space0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2611.02074，即可从此页面链接到该 Space。

包含这篇论文的合集0

没有包含这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。

相似文章

SWE-INTERACT: 将SWE基准重新构想为用户驱动的长期编码会话

Hugging Face Daily Papers

SWE-Interact是一个新的测试平台，用于评估编码智能体在真实的多轮用户驱动软件工程任务中的表现，揭示了强大的单轮基准性能并不能可靠地迁移到交互式、迭代的工作流程中，在这些流程中，智能体必须发现用户意图并适应不断变化的需求。