面向智能体数据分析的无监督技能发现

Hugging Face Daily Papers 论文

摘要

DataCOPE 是一个面向数据分析智能体的无监督验证器引导的技能发现框架,它从探索轨迹中提取验证器信号,无需标注监督。在报告式与推理式数据分析任务上,分别提升了 9.71% 和 32.30% 的性能。

推理时技能增强提供了一种轻量级的方法,通过注入可复用的过程性知识来改进数据分析智能体,而无需更新模型参数。然而,发现有效的数据分析技能仍然具有挑战性,因为可靠的监督成本高昂,且成功标准因分析格式而异。这引出了核心问题:如何仅从无标签的探索中发掘可复用的数据分析技能。我们提出 DataCOPE,一种面向数据分析智能体的无监督验证器引导的技能发现框架。DataCOPE 从探索轨迹中提取验证器信号,并利用这些信号刻画轨迹间的相对质量或一致性。它迭代式地协调 Data-Analytic Agent(用于轨迹生成)、Unsupervised Verifier(用于信号提取)和 Skill Manager(用于对比技能蒸馏)。在报告式分析中,我们将验证器实例化为 Adaptive Checklist Verifier,它推导任务特定标准,根据可验证覆盖率为报告评分,并迭代优化检查表。在推理式分析中,我们将其实例化为 Answer Agreement Verifier,它根据答案一致性对轨迹进行分组,并使用自一致性作为辅助信号。我们在 Deep Data Research 的报告式分析和 DABStep 的推理式分析上评估 DataCOPE。在两种设置中,DataCOPE 均持续提升了留出集上相较于基线的性能。在四种模型设置下取平均,DataCOPE 在报告式和推理式任务上分别将平均分数提升了 9.71% 和 32.30%。
查看原文

相似文章

大规模代码基础的智能体智能技能合成

Hugging Face Daily Papers

Code2Skill 是一个自动化管道,它从源代码中提取可验证的技能,以提升AI智能体的性能,并生成一个大规模的基础技能库,在交互经验之前增强智能体能力。