论文页面 - 编码智能体能否在不遗忘的情况下实现持续演化？

来源：https://huggingface.co/papers/2611.03219

摘要

实证研究表明，在软件工程任务上持续进行 harness 自演化会导致严重的灾难性遗忘：在较晚的演化之后，早期数据集上的性能会急剧下降。

最近，harness 自演化 (https://huggingface.co/papers?q=harness%20self-evolution) 已成为提升智能体性能的一种重要范式。先前的研究表明，演化智能体的 harness (https://huggingface.co/papers?q=agent%20harness) 可以在不修改基础模型参数的情况下有效增强智能体能力。我们发现，现有方法大多只在单一任务上研究智能体演化。而在实际应用中，编码智能体可能需要随时间处理多种任务类型。一个智能体 harness (https://huggingface.co/papers?q=agent%20harness) 能否跨多个任务持续演化而不遭受灾难性遗忘 (https://huggingface.co/papers?q=catastrophic%20forgetting)，仍是一个重要的开放性问题。本文通过对持续 harness 自演化 (https://huggingface.co/papers?q=harness%20self-evolution) 的综合实证研究来探讨这一开放性问题。我们将三个软件工程任务数据集组织成六个不同的演化方向，并采用两种具有代表性的 harness 演化方法，沿这些方向执行持续演化 (https://huggingface.co/papers?q=continual%20evolution)。实验结果表明，在后续数据集上的演化会大幅削弱在先前已见数据集上的性能。例如，使用 DeepSeek-V4-Flash-0731 时，Meta-Harness (https://huggingface.co/papers?q=Meta-Harness) 演化后在 SWE-Bench (https://huggingface.co/papers?q=SWE-Bench) 上的性能提升至 94.0%。然而，在进一步于 FeatureBench (https://huggingface.co/papers?q=FeatureBench) 上进行演化后，其在 SWE-Bench (https://huggingface.co/papers?q=SWE-Bench) 上的性能到第五轮时已降至 32.0%，相对下降达 66%。最后，基于我们的实验发现，总结了几点洞见，为智能体 harness (https://huggingface.co/papers?q=agent%20harness) 的持续自演化提供了方向。代码见 https://github.com/THU-Agent/continual-harness-evolution 。

查看 arXiv 页面 (https://arxiv.org/abs/2611.03219) 查看 PDF (https://arxiv.org/pdf/2611.03219) GitHub 0 (https://github.com/THU-Agent/continual-harness-evolution) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2611.03219)

在你的智能体中获取这篇论文：

hf papers read 2611.03219

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型链接本文。

在模型 README.md 中引用 arxiv.org/abs/2611.03219 即可从本页面链接它。

引用本文的数据集 0

暂无数据集链接本文。

在数据集 README.md 中引用 arxiv.org/abs/2611.03219 即可从本页面链接它。

引用本文的 Space 0

暂无 Space 链接本文。

在 Space README.md 中引用 arxiv.org/abs/2611.03219 即可从本页面链接它。

包含本文的合集 0

暂无合集包含本文。

将本文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接它。