论文页面 - Co-Design Bench：面向智能体模型的多模态协作编程评测

来源：https://huggingface.co/papers/2610.35138 编程智能体能否将真实用户的多模态请求转化为完整、可运行的应用修改？

我们推出了Co-Design Bench：面向智能体模型的多模态协作编程评测，这是一个围绕真实用户修改现有应用的请求构建的基准测试。每项任务都以一个可运行的应用为起点，要求智能体理解用户意图、完成必要的修改，并满足每一项验收标准。

真实请求、多模态输入，以及相互关联的修改。

Co-Design Bench 包含273 项任务和 2,331 条由专家编写的验收标准，从26,314 次真实用户编程会话中的 37,463 条去重查询中精选而来。它涵盖两个互补的赛道：

• **多模态编辑（100 项任务）：**以带标注的截图为依据，并可结合图像、音频、视频或文档输入进行局部修改。
• **代码仓库编辑（173 项任务）：**对组件、路由、状态、数据流和内容进行协调修改。

请求可能涉及复现视频中不同的文字动画、根据收据修正仪表板并更新相关汇总数值，或协调修改整个应用的布局和交互。任务涵盖基于输入的理解、UI 变换和功能实现，单个请求往往需要结合多种能力。

评估运行中的应用，并为每项要求提供证据。

我们无需参考实现的先判定、后反驳协议利用源代码和浏览器证据评估隐藏的验收标准。独立验证器会针对占位实现、硬编码输出、无法访问的功能以及与要求不符的情况，对通过判定提出质疑。证据审查要求视觉相关结论提供截图，交互相关结论提供浏览器操作记录。无需标准实现或目标截图。

部分满足要求与完整交付，呈现出不同的结果。

在共用同一智能体运行框架的 10 个模型端点中，表现最强的端点 gpt-6-astra 平均通过每项任务中 69.9% 的验收标准，但仅能完整满足 26.4% 的任务。对于涵盖三种或四种编辑类型的代码仓库请求，全部十个端点的验收标准完成率都低于仅涵盖一种或两种编辑类型的请求。

Qwen3.8-27B 的整体严格完成率达到 64.4%，总体排名第四；在代码仓库编辑赛道达到 64.5%，在本次评测中位列该赛道第二。它还以 77.9% 的成绩领跑多模态编辑赛道中仅含文本输入的子集。排名会随编辑场景而变化；代码仓库赛道中较小的分数差异不足以证明某个模型具有普遍优势。

ME-96 子集包含 96 项多模态编辑任务和 521 条验收标准，其范围与论文中涵盖全部 273 项任务的评测不同。

探索真实案例、演示、评测工具和结果：

项目与演示 (https://codesignbench.github.io/)·论文 (https://arxiv.org/abs/2610.35138)·代码与评测 (https://github.com/Wiselnn570/Co-Design-Bench)·数据集 (https://huggingface.co/datasets/Wiselnn/Co-Design-Bench)

欢迎从事编程智能体、多模态信息理解与对齐以及可靠应用编辑的研究人员和开发者试用该基准，并分享你们的发现！