论文页面 - ClawLoop：通过 Harness 原生训练循环实现自我改进的智能体

来源：https://huggingface.co/papers/2610.14118

摘要

大语言模型（LLM）的持续进步正推动其向通用 harness 环境部署，其中基于 LLM 的智能体在沙箱工作区中运行，并直接与文件系统和 shell 进行交互。尽管目前存在大量针对工具使用智能体的后训练管线，但针对 harness 场景的智能体训练方案仍然稀缺，且多为一次性、依赖教师模型的模式：由一个更强的外部模型来合成任务并收集轨迹，目标智能体仅训练一次，而评测结果则由人类研究者直接消费，而非反馈回训练循环中。这类管线天然受限于外部模型的能力和人类先验的范围，无法实现自我改进。为了解决这些局限，我们提出了 ClawLoop——一个无需任何外部教师模型、且对先验知识依赖极小的自我改进框架。ClawLoop 将三个阶段组合成一个自持续循环：

• 任务合成（Task Synthesis）：通过两种互补的构建方法生成多样化的训练任务池，随后进行基于诊断的难度递增，并结合无智能体和基于智能体的任务验证；
• 训练（Training）：通过 SFT 和/或 RL 更新智能体；
• 诊断与反馈（Diagnosis and Feedback）：分析智能体的 rollout 行为，生成能力分析报告，作为下一次迭代中任务合成的反馈。

以 Qwen3.6-27B 作为循环模型，ClawLoop 在 Skills Bench、Claw-Eval-Live 和 ClawGym-Bench 上均取得了持续改进。经过迭代优化的任务随后迁移到规模更小的 Qwen3.5-4B 和 9B 模型上，同样在所有基准上获得提升，从而独立于循环模型验证了数据质量。

查看 arXiv 页面 (https://arxiv.org/abs/2610.14118) · 查看 PDF (https://arxiv.org/pdf/2610.14118) · 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.14118)

在你的 agent 中获取本文

hf papers read 2610.14118

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型关联到本文。 在模型 README.md 中引用 arxiv.org/abs/2610.14118，即可将模型从本页面关联。

引用本文的数据集 0

没有数据集关联到本文。 在数据集 README.md 中引用 arxiv.org/abs/2610.14118，即可将数据集从本页面关联。

引用本文的 Spaces 0

没有 Space 关联到本文。 在 Space README.md 中引用 arxiv.org/abs/2610.14118，即可将 Space 从本页面关联。

包含本文的合集 0

没有合集包含本文。 将本文添加到合集 (https://huggingface.co/new-collection) 即可从本页面关联。