Hy3 基准测试综述：从 SWE-Bench Pro 到 312 个真实工作流任务
摘要
基准测试综述，涵盖 SWE-Bench Pro 和 312 个真实工作流任务，可能用于评估人工智能在软件工程挑战中的表现。
暂无内容
相似文章
SWE-rebench 排行榜更新：GLM-5.2、Qwen3.6-27B、Qwen3.6-35B-A3B、Gemma 4 31B 等新模型 + 改进的 UI
SWE-rebench 排行榜已更新，新增了 GLM-5.2、Qwen3.6、Gemma 4 31B 等模型，并改进了 UI，展示了软件工程任务上的性能排名。
Senior SWE Bench：一个专注于现实未充分指定功能任务的新基准测试
Senior SWE-Bench 是一个新的开源基准测试，旨在评估 AI 智能体在现实、未充分指定的软件工程任务上的表现，强调意图对齐和代码质量等技能，而非过于详细的规范。
CursorBench 3.1
CursorBench 3.1 引入了专注于代码库理解、缺陷查找、规划和代码审查的新基准任务，并展示了各种AI模型的更新得分和成本比较。
Senior SWE-Bench：评估作为高级工程师的AI代理的开源基准
Senior SWE-Bench 是一个开源基准，用于评估AI代理在需要高级技能的软件工程任务上的表现。
有人对新DeepSWE进行了审计，结果不太好看
DeepSWE是一个新的基准测试，用于评估AI编程代理在来自活跃开源仓库的真实软件工程任务上的表现，包含113个任务，涵盖TypeScript、Go、Python、JavaScript和Rust，提供隔离环境和基于程序的验证器。