EdgeGen: 通过合成边缘案例生成提升工具调用智能体超越理想路径

Hugging Face Daily Papers 论文

摘要

EdgeGen 是一个合成任务生成框架,它创建基于数据库的边缘案例任务,以通过微调和 harness 优化来改进工具调用智能体,展示了一致的性能提升。

工具调用 LLM 智能体在企业应用中的部署日益增多。然而,有效的评估和优化需要高质量、多样化的任务数据集,这些数据集由于隐私和其他约束通常难以获取。现有的合成任务生成方法往往产生通用任务,忽略了智能体的底层状态或数据库,未能反映真实世界的使用多样性。我们提出 EdgeGen,一个合成任务生成框架,它从智能体的规范中提取合规规则,并使用这些规则生成旨在违反这些规则的、基于数据库的边缘案例任务。当与现有的合成数据生成技术结合时,EdgeGen 能够通过微调和 harness 优化实现智能体的改进。由此产生的流水线形成了一个全自动的闭环系统,无需人工标注。在 EdgeGen 生成的数据上进行微调,在 tau2bench 航空领域产生了 2% 到 42% 的一致平均进度提升,而其他基线方法在某些模型上表现出性能下降。另一方面,对于 harness 优化,我们的方法在 Gemma-4-e4b 模型上分别展示了相对于人工策划和基础 harness 的 10% 和 30% 的平均进度提升。
查看原文
查看缓存全文

缓存时间: 2026/09/22 15:28

论文页面 - EDGEGEN:通过合成边缘案例生成改进超出理想路径的工具调用智能体

来源: https://huggingface.co/papers/2609.24115

摘要

工具调用的LLM智能体正越来越多地应用于企业应用中。然而,有效的评估和优化需要高质量、多样化的任务数据集,而这些数据集常因隐私和其他限制而难以获得。现有的合成任务生成方法通常生成通用任务,忽略了智能体的底层状态或数据库,未能反映现实世界使用场景的多样性。我们提出了EdgeGen,一个合成任务生成框架。该框架从智能体的规范中提取合规规则,并利用这些规则生成基于数据库的边缘案例任务,旨在违反这些规则。结合现有的合成数据生成技术,EdgeGen能够通过微调和测试框架优化来改进智能体。由此形成的管道构成了一个完全自动化的闭环系统,无需人工标注。在tau2基准测试的航空领域任务上,使用EdgeGen生成数据进行微调,可实现2%到42%的平均进度提升;而其他基线方法在某些模型上则显示出性能下降。另一方面,对于测试框架优化,我们的方法在Gemma-4-e4b模型上,相较于人工设计的测试框架和基础测试框架,分别实现了10%和30%的平均进度提升。

查看arXiv页面 (https://arxiv.org/abs/2609.24115)查看PDF (https://arxiv.org/pdf/2609.24115)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.24115)

引用本文的模型 0

没有模型链接此论文 在模型的README.md中引用arxiv.org/abs/2609.24115,即可从此页面链接到该模型。

引用本文的数据集 0

没有数据集链接此论文 在数据集的README.md中引用arxiv.org/abs/2609.24115,即可从此页面链接到该数据集。

引用本文的Space 0

没有Space链接此论文 在Space的README.md中引用arxiv.org/abs/2609.24115,即可从此页面链接到该Space。

包含本文的收藏集 0

没有收藏集包含此论文 将本文添加到收藏集 (https://huggingface.co/new-collection)即可从此页面链接到该收藏集。

相似文章

通过经验驱动的自适应引导实现代理工具的鲁棒使用

arXiv cs.AI

本文介绍了ExpG,一种构建和优化自适应引导的机制,该机制捕捉每个工具的能力边界和最佳实践,使代理能够在多样化的运行时条件下更鲁棒地使用工具。实验表明,在工具选择、工具调用和响应生成方面取得了持续改进,使较小的代理能够超越未使用ExpG的较大代理。

EGG:专家引导的内核生成智能体框架

arXiv cs.AI

EGG 是一个专家引导的智能体框架,它将 GPU 内核生成分解为算法结构设计和硬件特定调优两个阶段,并采用阶段感知的多智能体协作机制。在 KernelBench 和实际工作负载上,EGG 相比 PyTorch 实现平均 2.13 倍的加速。