标签
该论文提出了 MedBenchAgent，一个多智能体框架，通过"约束编译"方法实现了医疗视觉-语言模型基准测试的规格化与构建全流程自动化。在对十二个视觉-语言模型的评估中，该框架取得了 90.9% 的任务空间 F1 值，并在人工审核中获得了很高的通过率。
ToolGate是一个用于构建科学基准的可执行流程，它通过可执行脚本、随机无工具筛选和工具使用代理来验证生成的任务，减少人工劳动并提高可审计性。
本文提出Embodied-BenchClaw，一种自主多智能体系统，能够通过包含过程质量控制与可扩展技能库的五阶段流水线，根据用户意图自动构建具身空间智能基准。
介绍 Benchmark Agent，一个完全自主的系统，用于创建多样化的基准测试，只需最少的人工干预，支持跨领域的持续模型评估。
本文介绍了QuestBench，这是一个由学生构建的基准，用于评估人文和社会科学领域的深度研究系统。结果显示，即使是像GPT-5.5这样的先进系统也只能通过57.58%的问题，突显了可信度方面的失败。