面向智能体数据分析的无监督技能发现
摘要
DataCOPE 是一个面向数据分析智能体的无监督验证器引导的技能发现框架,它从探索轨迹中提取验证器信号,无需标注监督。在报告式与推理式数据分析任务上,分别提升了 9.71% 和 32.30% 的性能。
推理时技能增强提供了一种轻量级的方法,通过注入可复用的过程性知识来改进数据分析智能体,而无需更新模型参数。然而,发现有效的数据分析技能仍然具有挑战性,因为可靠的监督成本高昂,且成功标准因分析格式而异。这引出了核心问题:如何仅从无标签的探索中发掘可复用的数据分析技能。我们提出 DataCOPE,一种面向数据分析智能体的无监督验证器引导的技能发现框架。DataCOPE 从探索轨迹中提取验证器信号,并利用这些信号刻画轨迹间的相对质量或一致性。它迭代式地协调 Data-Analytic Agent(用于轨迹生成)、Unsupervised Verifier(用于信号提取)和 Skill Manager(用于对比技能蒸馏)。在报告式分析中,我们将验证器实例化为 Adaptive Checklist Verifier,它推导任务特定标准,根据可验证覆盖率为报告评分,并迭代优化检查表。在推理式分析中,我们将其实例化为 Answer Agreement Verifier,它根据答案一致性对轨迹进行分组,并使用自一致性作为辅助信号。我们在 Deep Data Research 的报告式分析和 DABStep 的推理式分析上评估 DataCOPE。在两种设置中,DataCOPE 均持续提升了留出集上相较于基线的性能。在四种模型设置下取平均,DataCOPE 在报告式和推理式任务上分别将平均分数提升了 9.71% 和 32.30%。
相似文章
SKILL-DISCO:将智能体轨迹提炼并编译为可重用的程序化技能
Skill-DisCo 是一个框架,它将可重用的程序化技能从成功的智能体轨迹中提炼出来,并将其编译成可调用、可执行的程序。在 ALFWorld 和 WebArena 上的实验表明,该框架提高了成功率并减少了智能体的回合数。
COLLEAGUE.SKILL:通过专家知识蒸馏实现自动化AI技能生成
本文介绍COLLEAGUE.SKILL,一个开源系统,能够从异构轨迹中自动提炼基于人的AI技能,形成可检查、可纠正、可移植的技能包,使LLM代理能够携带有限的人类专业知识和交互风格表征。
SkillEval:将智能体技能质量分解为可解释的信号
SkillEval 提出了一种可解释框架,通过将技能文档表示投影到固定的评分方向上,将智能体技能质量分解为不同的语义属性,从而支持对技能文档的诊断和有针对性的修订。
AgentCo-op: 基于检索的可互操作多智能体工作流合成框架
AgentCo-op 是一个基于检索的合成框架,用于从可复用的技能、工具和外部智能体组合可互操作的多智能体工作流。它使用类型化工件传递和有界自引导局部修复,在多个基准测试上取得了优异结果,并能在开放世界的基因组学任务中实现协作发现。
SkillAudit:基于成对轨迹审计的无真值技能进化
SkillAudit 引入了一个框架,通过成对轨迹审计和对比评估,在没有真实反馈的情况下进化 LLM 智能体技能。该框架在 89 个任务上实现了 73.9% 的平均任务奖励,优于基线方法。