DSAgentBench:智能体能否在真实计算机环境中自动化端到端数据科学工作流?
摘要
本文介绍了DSAgentBench,这是首个在真实计算机环境中评估自主智能体完成完整、多工具数据科学工作流的基准。结果表明,即使最强的智能体(Claude-4.6-Sonnet)的任务成功率也仅为56.70%,而开源智能体仍低于1%,揭示了巨大的能力差距。
查看缓存全文
缓存时间: 2026/08/12 08:20
论文页面 - DSAgentBench:智能体能否在真实计算机环境中自动化端到端数据科学工作流?
Source: https://huggingface.co/papers/2608.10366
摘要
DSAgentBench 在真实计算环境中评估自主智能体在完整、多工具数据科学工作流上的表现,并揭示了重大的性能差距。
现实世界的数据科学涉及长周期工作流,涵盖数据整理、探索、建模、可视化和验证,并需要在真实操作系统环境中协调使用笔记本、IDE、终端、浏览器和数据库等工具。然而,现有基准缺乏真实计算机交互,无法评估智能体能否在现实计算环境中执行完整的端到端数据科学工作流(https://huggingface.co/papers?q=data-science%20workflows),因此未能捕捉数据科学实践中多阶段、多工具的特性。我们提出了 DSAgentBench(https://huggingface.co/papers?q=DSAgentBench),这是首个评估智能体能否在真实计算机环境内自动化完整数据科学工作流的基准。DSAgentBench(https://huggingface.co/papers?q=DSAgentBench)包含275个多样化任务,覆盖数据科学的整个生命周期,反映了实际工作中所需的复杂性和工具协调能力。每个任务都要求以中间输出和协调工具使用为基础做出决策,并包含一个确定性评估器(https://huggingface.co/papers?q=deterministic%20evaluator),用于验证分析正确性、可视化输出和模型性能,而不仅仅是代码执行。我们使用15个闭源和开源模型进行了大量实验,结果表明,即使是最强的智能体 Claude-4.6-Sonnet,任务成功率也仅为56.70%,而所有开源智能体的成功率均低于1%,它们经常在工具编排、操作系统环境感知和多步推理上失败。这些结果揭示了当前智能体系统(https://huggingface.co/papers?q=agentic%20systems)与真实数据科学工作流(https://huggingface.co/papers?q=data-science%20workflows)之间的巨大能力差距,使 DSAgentBench(https://huggingface.co/papers?q=DSAgentBench)成为开发基于真实环境、可验证、自主的数据科学智能体的基础。我们在 https://github.com/vis-nlp/DSAgentBench(https://huggingface.co/papers?q=DSAgentBench)发布了 DSAgentBench。
查看 arXiv 页面 (https://arxiv.org/abs/2608.10366) 查看 PDF (https://arxiv.org/pdf/2608.10366) GitHub2 (https://github.com/vis-nlp/DSAgentBench) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.10366)
在您的智能体中获取此论文:
hf papers read 2608\.10366
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2608.10366 即可从本页面链接该模型。
引用此论文的数据集0
没有数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2608.10366 即可从本页面链接该数据集。
引用此论文的 Spaces0
没有 Space 链接到此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2608.10366 即可从本页面链接该 Space。
收录此论文的收藏集0
没有包含此论文的收藏集
将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接它。
相似文章
SaaS-Bench:计算机使用代理能否利用真实世界的SaaS解决专业工作流程?
SaaS-Bench是一个新的基准测试,基于23个可部署的SaaS系统,覆盖六个专业领域,包含106个长周期任务,用于评估计算机使用代理。实验表明,即使是最强的模型,端到端完成任务的比例也不足4%,凸显了当前代理能力的显著限制。
DuMateBench: 评估复杂真实世界工作流中的自主代理
DuMateBench 引入了一个源于匿名化用户会话的基准测试,用于评估复杂真实世界工作流中的自主代理,测试在环境复杂性如不足、不稳定性和噪声下的性能。
AutoDataBench:智能体能否编写为自我改进循环提供数据的内容?
AutoDataBench 引入了一个基准测试,用于评估智能体能否为数据管道编写符合实际验收标准的任务,旨在实现 AI 递归自我改进的可扩展数据合成。
AgenticDataBench:面向数据代理的综合性基准测试
介绍了AgenticDataBench,这是一个综合性基准测试,用于评估基于大语言模型的数据代理在不同领域中的表现,提供细粒度、基于技能的指标,包括实际B2B用例和合成任务。
Argo-Bench:在企业级工作流中评估数据智能体
Argo-Bench 提出了一个包含 210 项企业级数据科学任务的评测框架,构建于一个模拟外卖平台之上,该平台拥有一个包含 235 张表、75 亿行数据的 ERP 数据仓库。该框架测试的智能体需要在数据中进行导航并采取行动,而非仅仅生成 SQL。在 14 个前沿模型和开源权重模型中,表现最强的模型平均得分也仅为 59.5 分,凸显了数据智能体在真实场景下能力上的显著差距。