论文页面 - CODA-BENCH：代码智能体能否处理数据密集型任务？

来源：https://huggingface.co/papers/2606.15300

摘要

高级智能体难以在数据密集型环境中有效整合数据发现与代码执行，暴露出当前智能体能力存在显著差距。

高级智能体正日益展现出作为自主工程师的潜力，由此催生了对能够捕捉真实开发复杂性的评估基准的需求。此类环境通常同时涉及复杂代码和大规模数据（即文件系统）。然而，现有基准通常孤立评估代码中心或数据中心的（https://huggingface.co/papers?q=data-centric%20capabilities）能力，与真实开发场景之间存在明显差距。本文通过引入CODA-BENCH来弥合这一差距——这是首个在数据密集型环境（https://huggingface.co/papers?q=data-intensive%20environment）中联合评估代码与数据智能的基准。我们基于Kaggle生态系统（包含数百个数据集）构建了一个数据密集型Linux沙盒，其中智能体必须主动探索复杂的文件层级以识别相关资源，并为数据驱动的分析任务生成代码。CODA-BENCH包含覆盖31个社区的1,009项任务，每个任务环境平均包含980个文件，模拟了真实的数据规模与噪声。对高级智能体的评估表明，即使是表现最佳的系统也难以有效整合数据发现（https://huggingface.co/papers?q=data%20discovery）与代码执行（https://huggingface.co/papers?q=code%20execution），成功率仅为61.1%。这些结果凸显了当前智能体在数据密集型任务中的能力差距，并为未来研究指明了有前景的方向。

查看 arXiv 页面 (https://arxiv.org/abs/2606.15300)查看 PDF (https://arxiv.org/pdf/2606.15300)项目页面 (https://coda-bench.github.io/)GitHub3 (https://github.com/ruc-datalab/CoDA-Bench)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.15300)

在您的智能体中获取此论文：

hf papers read 2606\.15300

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.15300 即可从此页面链接。

引用此论文的数据集1

RUC-DataLab/CoDA-Bench 查看器• 更新于约8小时前 • 1.13k • 123 • 1 (https://huggingface.co/datasets/RUC-DataLab/CoDA-Bench)

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.15300 即可从此页面链接。

包含此论文的收藏2