AutoTrainess：自主教语言模型改进语言模型

arXiv cs.CL 论文
language-models autonomous-training agent-computer-interfaces benchmark post-training evaluation

摘要

AutoTrainess 提出了一种语言模型智能体框架，通过将人工工作流外部化为明确的接口（包括规划、数据准备、训练、评估和日志记录）来自动化后训练过程，在 PostTrainBench 上相较于仅 CLI 的基线实现了显著提升。

arXiv:2606.31551v1 Announce Type: new 摘要：训练语言模型（LM）仍然是一个高度依赖人工的过程，即使前沿语言模型智能体在软件工程和其他长周期任务上变得越来越有能力。一个核心挑战在于，自主后训练不仅仅是一个编码问题：它要求智能体反复规划迭代、构建与基准对齐的数据、运行稳定的训练任务、评估检查点，并在长达数小时的交互中保存实验状态。我们提出 AutoTrainess，一种将上述操作暴露为智能体-计算机接口仓库的语言模型智能体，涵盖规划、数据准备、训练、评估和日志记录。AutoTrainess 并非让智能体在原始 CLI 环境（具有未指定的动作空间）中操作，而是将先验的人类经验外部化为显式的工作流、规则和执行约束，引导智能体走向有效且可靠的训练行为。在 PostTrainBench 上，AutoTrainess 始终优于仅 CLI 的基线：使用 GPT-5.4 (Codex) 的平均得分为 26.94，而仅 CLI 为 23.21。它还能跨模型和框架泛化，将 DeepSeek-V4-Flash (OpenCode) 的得分从 12.13 提升至 19.58。
查看原文
查看缓存全文

缓存时间: 2026/07/01 05:34 

# AutoTrainess：教语言模型自主改进语言模型
来源：https://arxiv.org/abs/2606.31551
查看 PDF（https://arxiv.org/pdf/2606.31551）

> **摘要：**训练语言模型（LM）仍然是一个高度依赖人力的过程，即使前沿语言模型智能体在软件工程及其他长周期任务中变得越来越强大。核心挑战在于，自主后训练不仅仅是一个编码问题：它要求智能体反复规划迭代、构建基准对齐的数据、运行稳定的训练作业、评估检查点，并在数小时的交互中保持实验状态。我们提出 AutoTrainess，这是一个语言模型智能体，它将这些操作暴露为一系列智能体-计算机接口，用于规划、数据准备、训练、评估和日志记录。AutoTrainess 不是让智能体在原始 CLI 环境中操作，使用未充分指定的动作空间，而是将之前的人类经验外化为明确的工作流程、规则和执行约束，引导智能体实现有效且可靠的训练行为。在 PostTrainBench 上，AutoTrainess 始终优于纯 CLI 基线，使用 GPT-5.4 (Codex) 时平均得分为 26.94，而纯 CLI 基线为 23.21。它还能跨模型和训练框架泛化，将 DeepSeek-V4-Flash (OpenCode) 的得分从 12.13 提升至 19.58。

## 提交历史

来自：Zhaojian Yu [查看邮箱（https://arxiv.org/show-email/82c66b4c/2606.31551）] **\[v1\]** 2026年6月30日 星期二 12:09:51 UTC（7,262 KB）

相似文章