声明：推动前沿的自动研究将围绕更好的数据展开——我们称之为自动数据。1/6 – 论文已发布！http://arxiv.org/abs/2606.25996 核心观点：智能体数据创建提供了一种将增加的推理计算转化为更高质量模型训练的途径。我们展示了该方法在计算机科学、法律和数学问题上的效果优于经典合成数据集创建方法。我们还展示了如何训练（元优化）这样的数据科智能体，使其能够创建更强的数据。总体而言，我们相信这一方向有潜力改变我们构建AI数据的方式！

自动数据：一个创建高质量合成数据的智能体数据科学家

来源：https://arxiv.org/html/2606.25996
Chenxi Whitehouse†Tianhao Wu†Yixin Nie†Swarnadeep SahaEryk HelenowskiWeizhe YuanOlga GolovnevaJack LanchantinYoram BachrachJakob FoersterXian LiHan FangSainbayar SukhbaatarJason Weston
[[email protected] (https://arxiv.org/html/2606.25996v1/mailto:[email protected])[email protected] (https://arxiv.org/html/2606.25996v1/mailto:[email protected])
(2026年6月24日)

摘要

我们提出了自动数据（Autodata），一种通用方法，使AI智能体能够扮演数据科学家的角色，构建高质量的训练和评估数据。我们展示了如何训练（元优化）这样的数据科学家智能体，使其学会创建更强的数据。我们描述了整体框架以及一个具体的实践实现：智能体自指导（Agentic Self-Instruct）。我们在计算机科学研究任务、法律推理任务和数学对象推理任务上进行了实验，相比于经典合成数据集创建方法，我们取得了更好的结果。此外，对数据科学家智能体本身进行元优化能够带来更大的性能提升。智能体数据创建提供了一种将增加的推理计算转化为更高质量模型训练的途径。总体而言，我们相信这一方向有潜力改变我们构建AI数据的方式。

]
FAIR at Meta
†共同第一作者
\correspondence, 参考标题
图 1：自动数据流程。该框架使用一个自主智能体，模拟数据科学家的角色，迭代生成数据、进行定性检查和定量性能评估、综合见解，并更新数据生成方案。该智能体本身可以使用与内循环相同的标准进行训练，以更好地扮演数据科学家角色。这一循环过程旨在逐步提高数据质量；该图描绘了可能实例化背后的通用工作流程。

1 引言

AI前沿的进步越来越依赖于高质量的训练数据和能够持续挑战模型的基准。当前AI系统的初始基础是人类编写的训练数据。然而，性能提升越来越多地来自模型自身生成的合成数据。合成数据解决了几个实际挑战：它便于生成真实语料库中代表性不足的边缘情况和长尾场景，减少了手动标注的难度和延迟，并且有可能生成比人类生成数据分布更具挑战性的数据。随着大语言模型（LLM）的引入以及使用上下文学习和指令遵循的能力，Self-Instruct (Wang et al., 2023 (https://arxiv.org/html/2606.25996#bib.bib24)) 作为一种通过零样本或少样本提示创建合成数据的方法出现。Grounded Self-Instruct (Lupidi et al., 2024 (https://arxiv.org/html/2606.25996#bib.bib16); Yuan et al., 2025 (https://arxiv.org/html/2606.25996#bib.bib32)) 将其扩展到基于文档和其他来源，以减少幻觉并增加多样性。此外，像 CoT Self-Instruct (Yu et al., 2025 (https://arxiv.org/html/2606.25996#bib.bib30)) 这样的方法在生成过程中使用思维链推理，以帮助更准确地构建更复杂的任务。最后，所谓的“自挑战”方法 (Zhou et al., 2025 (https://arxiv.org/html/2606.25996#bib.bib37)) 允许一个挑战者智能体在提出任务和伴随的评估函数之前与工具交互。然而，这些方法都不能直接控制数据的难度和质量，从而激发了诸如过滤 (Yu et al., 2025 (https://arxiv.org/html/2606.25996#bib.bib30))、演化 (Xu et al., 2024 (https://arxiv.org/html/2606.25996#bib.bib26)) 和精炼 (Shah et al., 2024 (https://arxiv.org/html/2606.25996#bib.bib21)) 等方法。
在这项工作中，我们提出了 Autodata，它对上述所有方法进行了泛化。一个扮演数据科学家的智能体被委以构建和整理数据的任务，执行人类数据科学家为创建高质量数据所采取的行动：构建基准数据和训练数据都是其用例。这个过程包括一个初始的数据创建迭代，随后是一个分析阶段，对数据进行“肉眼检查”并测量其性能，构建学习经验，然后使用改进的方案进行迭代以创建更好的数据。此外，我们展示了如何训练（元优化）这个智能体系统（外循环），使其在数据科学家角色（内循环）上达到最优。虽然最近许多关于自动研究 (Karpathy, 2026 (https://arxiv.org/html/2606.25996#bib.bib10)) 的工作集中关注架构或训练方案改进的智能体方法，但我们认为专注于数据很可能在未来进展中扮演同等重要甚至更重要的角色。
在我们的实验中，我们专注于 Autodata 的一个特定实现：智能体自指导（Agentic Self-Instruct），并展示了它在多种任务上提供了强大的结果。我们在计算机科学研究任务、法律推理任务和数学对象推理任务上进行了实验，在每种情况下，我们都获得了优于经典合成数据集创建方法的结果。此外，对数据科学家智能体本身进行元优化能够带来更大的性能提升。随着最先进的 LLM 变得越来越强，人们担心现有的任务或合成数据方法无法产生足够有挑战性的任务来推动进一步的进步。Autodata 通过智能体数据创建，提供了一种将增加的推理计算转化为更高质量模型训练的途径，以生成这种具有挑战性的数据。因此，我们相信这一方向有潜力改变我们创建新任务和基准以推动前沿的方式。

2 Autodata

Autodata 的高层设计如图 1 (https://arxiv.org/html/2606.25996#S0.F1) 所示，可以从该模板构建各种实例化。整体循环包括以下组件。

数据创建。 Autodata 智能体基于某些提供的数据（例如，来自数学、法律、编程等特定文档，或根据任务有用的其他数据源）来帮助创建数据。然后，智能体可以使用工具或先前获得的现有技能/学习经验以及推理时间计算，为模型训练和基准测试创建训练或评估数据。重要的是，在随后的分析和学习之后，这个创建步骤可以重复进行，以进一步改进数据。

数据分析。 根据智能体创建的数据，它可以分析数据，学习哪些做对了，哪些做错了，以及如何改进。这可以在具体示例的层面（检查一个示例是否正确？质量高吗？具有足够的挑战性吗？），也可能在数据集层面（样本多样吗？如果用作训练数据，它们能改进模型吗？）。这些学习经验被反馈到数据创建过程中，以便在下一轮迭代中改进数据，直到达到停止标准。

整体数据科学家循环。 智能体在数据创建和数据分析阶段之间循环，直到对数据质量满意，然后生成最终的训练数据集或基准。这可以在外循环中包含特定的防护措施以防止作弊。智能体循环允许模型在这些步骤中基于自身的学习经验进行构建。

数据科学家的元优化。 智能体本身也可以被优化，使其更擅长成为数据科学家。其中一种方法是使用自动研究 (Karpathy, 2026 (https://arxiv.org/html/2606.25996#bib.bib10)) 或元技术堆栈 (Lee et al., 2026 (https://arxiv.org/html/2606.25996#bib.bib11)) 风格的优化来优化智能体框架，使用相同的内循环标准（创建更好的数据）来指导外循环（智能体自身的优化）的优化。如图 1 (https://arxiv.org/html/2606.25996#S0.F1) 的外部框所示。

参考标题
图 2：弱 vs. 强智能体自指导方法。主要的 LLM 智能体指挥四个子智能体：一个挑战者 LLM 生成示例；弱解算器和强解算器尝试解决该示例；一个审判员评估它们的输出。该系统旨在生成强解算器成功而弱解算器挣扎的训练数据。主要的 LLM 分析数据并根据审判员的反馈更新挑战者提示，重复该循环，从而为训练弱解算器生成具有挑战性的示例。

2.1 一个具体的实现：智能体自指导

在我们的实验中，我们考虑了 Autodata 的一个具体、实用的实现，用于创建高质量数据，我们称之为智能体自指导（Agentic Self-Instruct），如图 2 (https://arxiv.org/html/2606.25996#S2.F2) 所示。主要协调智能体可以访问四个 LLM 子智能体：

• (i) 挑战者，根据主智能体的详细提示创建训练示例；
• (ii) “弱”解算器，预期通常难以解决所创建的训练数据；
• (iii) “强”解算器，预期通常能够成功解决所创建的训练数据；
• (iv) 验证器/审判员，给定示例和模型解决方案，检查其质量，并将其学习经验反馈给主智能体。

主智能体通过向挑战者发送包含基础上下文的初始提示来创建一个示例（例如，给定的上下文/输入、期望的响应或参考答案，以及取决于任务的评估标准）。然后，它通过将输入发送给弱解算器和强解算器，并根据验证器的判断分配奖励来检查挑战者输出的质量。审判员还负责检查示例本身的质量：问题、参考答案或生成的评分标准。对于可验证的任务（使用基于 LLM 的验证器），一种方法是要求强解算器的多数投票正确，而弱解算器的多数投票错误。对于不可验证的任务，我们要求审判员衡量的质量差距，例如，根据挑战者生成的评分标准，使得任务对弱解算器来说既不太容易也不太困难，而强解算器则帮助保证正确性。

智能体分析来自验证器的报告（包含解算器的输出），如果未满足此标准，则根据这些新的学习经验继续修改发送给挑战者的输入提示，尝试创建新的示例，直到满足标准。这个过程允许智能体有效地学习如何创建具有挑战性且高质量的示例，专门用于训练“弱”解算器。我们注意到，“弱”和“强”解算器实际上可以是同一个 LLM，但处于不同的模式，例如，强版本可以被允许使用增加的推理时间计算，包括脚手架或聚合 (Zhao et al., 2025b (https://arxiv.org/html/2606.25996#bib.bib36))，以及访问特权信息。

3 实验

3.1 计算机科学研究任务

我们考虑使用计算机科学（CS）学术论文作为源材料来回答 CS 研究问题的任务。CS 研究问题是开放式的，与可验证任务不同，需要基于评分标准的评估。挑战者生成一个上下文、一个问题、一个参考答案以及一个自包含的评估评分标准，该标准由加权标准组成，LLM 审判员使用该标准对任何响应进行评分，而无需访问参考答案。

表 1：生成的 CS 研究任务的质量统计。CoT Self-Instruct 是标准提示生成；Agentic Self-Instruct 是智能体循环接受的输出。两列均在生成时由 Kimi-K2.6 在同一组 4B-弱 / 397B-强解算器对上评分。

流程概述。 主协调智能体调用挑战者，根据给定的论文生成一个上下文-QA 对以及相应的评分标准。然后，一个质量验证器在最终评估之前检查上下文泄露、评分标准覆盖率和问题质量（也在循环结束时作为最后一步）。问题和上下文被发送给两个解算器（每个调用 3 次以减少方差），审判员根据评分标准按标准对它们的答案进行评分。如果任何接受标准失败，智能体会向挑战者提供有针对性的反馈：哪些先前的问题太容易（带有弱解算器分数），哪些在强解算器上失败（带差距信息），以及哪些被质量验证器拒绝。然后，挑战者从不同的推理角度生成一个新问题。每篇论文的这个循环通常运行几轮，直到找到被接受的问题或耗尽步骤预算。我们使用 Kimi-K2.6 作为主要协调智能体和挑战者，Qwen3.5-397B-A17B 作为强解算器，Qwen3.5-4B 作为弱解算器。智能体系统提示见附录 C.1 节 (https://arxiv.org/html/2606.25996#A3.SS1)。

标准。 一个对弱解算器有用的训练示例要求强解算器在评分标准上的得分显著高于弱解算器。然而，在初步实验中，由提示的 Kimi-K2.6 生成的大多数问题对弱解算器来说太容易，几乎没有改进空间：如表 1 (https://arxiv.org/html/2606.25996#S3.T1) 的“CoT Self-Instruct”列所示，这些问题在弱解算器上的平均分高于 0.67，弱/强差距仅为 0.02。因此，我们直接根据这个差距定义智能体循环的接受标准：仅当强解算器平均≥0.65，弱解算器<0.5，并且在解算器尝试之间强-弱差距≥20 个百分点时，候选问题才被接受。鉴于弱解算器的强势性质，我们在每次迭代中通过仅在弱解算器通过其相应的成功标准时才让审判员评估强解算器来节省计算。

数据设置。 我们处理来自 S2ORC 语料库（2022+）的超过 10k 篇 CS 论文 (Lo et al., 2020 (https://arxiv.org/html/2606.25996#bib.bib14))，使用 Agentic Self-Instruct 产生了 2.8k 个被接受的示例。在循环结束时使用 Kimi-K2.6 的质量验证器（该验证器移除存在论文特定参考泄露、上下文过短或评分标准格式错误的问题）进一步过滤了该集合，我们保留了 1.3k 个高质量的被接受示例作为用于 RL 训练的 Agentic Self-Instruct 数据。对于 CoT Self-Instruct 基线，我们也应用相同的质量验证器，并抽样相等数量的 1.3k 个过滤后的数据以进行公平比较。

表 2：CS 研究任务上的 RL 训练结果。自动数据 Agentic Self-Instruct 方法优于使用标准 CoT Self-Instruct 创建数据。我们使用 GRPO 在来自每个数据源的 1.3k 个示例上训练 Qwen3.5-4B，并在一个 200 提示的预留测试集上进行评估。分数基于评分标准，由 Kimi-K2.6 评分。
如图 3 (https://arxiv.org/html/2606.25996#S3.F3) 所示，Agentic 数据在整个训练过程中始终优于 CoT 数据。