论文页面 - GDPevo：在真实业务任务上评估智能体自我进化

摘要

智能体自我进化会从先前经验中更新智能体的持久状态，并复用它来更有效地解决相关任务。评估自我进化是困难的：现有基准对具有经济价值的任务领域覆盖有限，并不总是设计训练和测试任务使得测试时的收益可归因于训练经验，并且仍然容易受到数据污染的影响。我们提出了GDPevo，一个以GDP相关企业工作流为基础的进化原生基准，以及生成该基准的全自动数据流水线。其核心机制——规则混合（rule hybridization）——将每个企业工作流分解为原子业务规则，将这些规则的子集分布到训练任务中，并在留出的测试任务中重新组合它们，从而使测试时的收益可归因。GDPevo涵盖CRM、ERP、金融、医疗、法律和以数据为中心的工作流。其V1版本包含12个组中的120个任务，每组有五个训练任务和五个留出测试任务。全自动化使该流水线能够在两天内将套件扩展到24个组中的240个任务（V2），为污染问题提供了实用的应对方案。使用GDPevo，我们在四种监督类型下评估了四个智能体，每个智能体由一个harness和一个模型组成。自我进化始终如一地将留出准确率提升了最高16.44个百分点。但最佳进化后的智能体仍远低于完全信息oracle上限的91.6%，表明当前智能体的自我进化能力远未完全实现。我们公开发布了流水线、基准和完整评估结果：https://github.com/Prism-Shadow/GDPevo。

查看arXiv页面 (https://arxiv.org/abs/2608.03764) 查看PDF (https://arxiv.org/pdf/2608.03764) 项目页面 (https://prism-shadow.github.io/GDPevo/) GitHub44 (https://github.com/Prism-Shadow/GDPevo) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.03764)

在您的智能体中获取此论文：

hf papers read 2608\.03764

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型引用此论文

在模型README.md中引用arxiv.org/abs/2608.03764，即可从本页链接到该模型。

引用此论文的数据集0

没有数据集引用此论文

在数据集README.md中引用arxiv.org/abs/2608.03764，即可从本页链接到该数据集。

引用此论文的Space0

没有Space引用此论文

在Space README.md中引用arxiv.org/abs/2608.03764，即可从本页链接到该Space。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏（collection）(https://huggingface.co/new-collection) 即可从本页链接到该收藏。