论文页面 - AutoSFT：用于监督微调中自动化数据研究的智能体系统

来源：https://huggingface.co/papers/2610.22194

作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

AutoSFT 通过多智能体协作来自动执行多种监督微调数据操作，通过分离执行、分析与合成，提升了相比单智能体系统的评估分数。

语言模型智能体正日益自动化后训练流程，但当赋予它们完整的训练栈时，它们往往会收敛到监督微调（supervised fine-tuning），并将大部分精力用于修改训练数据。现有系统只给智能体一种控制方式——从固定数据池中选择数据行或调用生成器——而人类数据工程师则会调整比例、剪枝、修复、替换和合成数据。我们为这些变更设计了一个数据操作空间（data action space），并探究自动化系统能否执行全部范围的操作而非其中一种，以及这需要什么样的系统结构。我们首先用单智能体运行该循环，它只执行了一种操作——调整类别比例——同时其上下文被执行输出填满并在搜索中途被丢弃。因此我们提出 AutoSFT，一个多智能体系统（multi-agent system），其中元智能体（meta agent）将执行与分析分离，从独立角度收集提案，并调用合成子智能体（synthesis subagent）来处理数据池无法覆盖的能力，在每次对比中固定模型、训练器和预算。逐一添加各组件均带来提升：执行器将上下文丢失减半，分析子智能体将最优 IFEval 提升 +6.5，合成则额外带来 +3.4 IFEval 和 +2.9 IFBench。同一循环可迁移到代码领域，分析相比毫无提升的单智能体带来 +3.7 MBPP+。所有结果均来自每轮从基座模型重新训练的运行，因此每个组件的效果均可单独归因。我们的发现表明，自动化 SFT 数据研究更依赖于覆盖多样的数据操作，而非强化单一操作。

查看 arXiv 页面 查看 PDF GitHub 加入收藏

在你的智能体中获取此论文：

hf papers read 2610\.22194

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.22194 即可从此页面链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.22194 即可从此页面链接。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.22194 即可从此页面链接。

包含此论文的集合 0

没有集合包含此论文

将此论文添加到集合即可从此页面链接。