@rohanpaul_ai：苹果新论文发现，随着训练数据增加，工具使用智能体从多样化的应用和数据库状态中获得的收益更大，相比……

X AI KOLs Following 论文
tool-use-agents synthetic-data scaling-laws llm-agents benchmark-generalization data-diversity

摘要

苹果公司的新论文介绍了 SynthAPI，表明对于使用工具的智能体而言，应用和数据库状态的多样性比单纯的任务数量更重要，并推导出一条数据混合缩放定律，其对留出集泛化能力的预测远优于仅基于任务数量的定律。

苹果的一篇新论文发现，随着训练数据规模增长，使用工具的智能体从多样化应用和数据库状态中获得的收益，比从更多任务中获得的收益更大。 合成训练数据的组合，而不仅仅是其规模，决定了使用工具的智能体在新基准测试上的泛化能力。 团队在合成环境中训练使用工具的智能体，而大多数流程都侧重于生成更多任务。此前尚不清楚，新增工具、新增任务还是新的初始数据最为重要。 他们构建了 SynthAPI，让大语言模型编写具有真实 Python 工具和数据库的合成应用，然后编写带有自动成功检查的任务。他们在 849 个训练模型中，调整了应用、任务和数据库版本的组合。 在固定的 32,768 个任务预算下，增加应用和数据库版本，将一个 4B 模型在 AppWorld 挑战测试集上的成绩从 38.4% 提升到了 45.0%。他们将数据组合纳入考量的缩放定律，在预测未参与拟合的更大规模实验时，误差为 0.0285，而仅考虑任务数量的缩放定律误差为 0.1706。
查看原文
查看缓存全文

缓存时间: 2026/10/29 11:50

苹果公司的一篇新论文发现，随着训练数据规模增长，使用工具的智能体从多样化应用和数据库状态中获得的收益，比从更多任务中获得的收益更大。

合成训练数据的组合，而不仅仅是其规模，决定了使用工具的智能体在新基准测试上的泛化表现。

研究团队在合成环境中训练使用工具的智能体，而大多数流程侧重于生成更多任务。此前尚不清楚，新工具、新任务和新的初始数据，哪一项最重要。

他们构建了 SynthAPI，让大语言模型编写包含真实 Python 工具和数据库的合成应用，然后编写带有自动成功检查机制的任务。他们通过训练 849 个模型，考察了不同应用、任务和数据库版本的影响。

在固定为 32,768 个任务的预算下，增加应用和数据库版本的多样性，使一个 40 亿参数模型在 AppWorld 挑战测试集上的表现从 38.4% 提升至 45.0%。他们将数据组合纳入考量的缩放定律，在预测未参与拟合的更大规模实验结果时，误差为 0.0285，而仅考虑任务数量的定律的误差为 0.1706。

相似文章