论文页面 - 编程智能体基准测试应与其用户的任务流相匹配

来源：https://huggingface.co/papers/2610.09633

摘要

编程智能体的评估通常力求尽可能真实。在我们的研究中，我们收集了真实软件工程师在 JetBrains IDE 中的 4,782 个智能体会话，我们将其称为生产会话（Production Sessions）。由于我们的研究对象是交互式智能体，我们重点研究了包含至少三条用户消息的会话（占样本的 33%）。这些长会话与基于 issue 派生的基准任务在两个方面存在差异：（i）用户请求涵盖的任务类型范围更广——包括关于项目代码的提问、规划、审查、重构、执行等；（ii）用户会在一次会话中频繁切换任务类型。来自三个公开交互语料库的长会话样本展现出截然不同的任务流（Task Flows）——即会话长度、任务类型以及类型间转换的分布——因此没有任何单一的交互分布是普遍真实的：基准测试应明确声明目标用例，并据此进行校准。我们提出 SWE-TaskFlow，一种将任何基于 issue 派生的基准进行转换的方法：它保留经过验证的任务和测试，同时通过提示拆分（prompt splitting）和可验证的仓库问答（repository QA）将交互引导向目标任务流，并使用任务流对齐分数（TaskFlow Alignment Score, TFAS）来筛选生成的轨迹。在对 700 个 SWE-Bench Pro 任务的试点实验中，将任务分步骤顺序求解会使智能体成本大约增加一倍，而解决率并未稳定变化：交互协议本身是评估的一个重要维度。

查看 arXiv 页面 (https://arxiv.org/abs/2610.09633) 查看 PDF (https://arxiv.org/pdf/2610.09633) 项目页面 (https://huggingface.co/datasets/JetBrains-Research/SWE-TaskFlow-SWE-Bench-Pro) GitHub0 (https://github.com/JetBrains-Research/SWE-TaskFlow-Generation-Public) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.09633)

在你的智能体中获取这篇论文：

hf papers read 2610.09633

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接到本文

在模型 README.md 中引用 arxiv.org/abs/2610.09633 即可从此页面链接它。

引用本文的数据集 2

JetBrains-Research/SWE-TaskFlow-SWE-Bench-Pro 查看器 • 更新于约 23 小时前 • 4.08k • 1.15k (https://huggingface.co/datasets/JetBrains-Research/SWE-TaskFlow-SWE-Bench-Pro)

JetBrains-Research/SWE-TaskFlow-SWE-Bench-Pro-Trajectories 查看器 • 更新于约 23 小时前 • 25.2k • 44 (https://huggingface.co/datasets/JetBrains-Research/SWE-TaskFlow-SWE-Bench-Pro-Trajectories)

引用本文的 Spaces 0

没有 Space 链接到本文

在 Space README.md 中引用 arxiv.org/abs/2610.09633 即可从此页面链接它。

包含本文的收藏集 0

没有收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。