DeepSWE-mini：DeepSWE的16实例子集，用于复现排行榜排名
摘要
已发布名为DeepSWE-mini的新数据集，这是DeepSWE的16实例子集，旨在通过复现排行榜排名来高效基准测试本地AI模型。
我刚刚发布了一个新数据集 https://huggingface.co/datasets/LocalLLaMA/deepswe-mini，旨在使在DeepSwe https://deepswe.datacurve.ai/ 上测试和基准测试本地模型更加高效。完整基准测试需要一些时间运行，因此我们分析了它，并选择了一个子集，可以忠实复现模型的相对排名（而非绝对分数）。你可以用它来快速在本地对新模型进行基准测试。
相似文章
@xdotli：mini-swe-agent 令人印象深刻。仅100行代码、一个bash工具、每个模型使用相同提示，就在 @datacurve 的 DeepSWE 排行榜上名列前茅……
mini-swe-agent 是一个极简的开源 SWE-agent 实现，仅用 100 行代码和一个 bash 工具就能在 DeepSWE 基准测试中登顶。团队还开源了用于交互式使用的 mini-swe-code 和用于跨基准评估的 mini-swe-acp。
有人对新DeepSWE进行了审计，结果不太好看
DeepSWE是一个新的基准测试，用于评估AI编程代理在来自活跃开源仓库的真实软件工程任务上的表现，包含113个任务，涵盖TypeScript、Go、Python、JavaScript和Rust，提供隔离环境和基于程序的验证器。
DeepSWE for GPT-5.6
DeepSWE 是 GPT-5.6 的一个专用变体，专为软件工程任务优化。
DeepSWE Opus 4.8 的结果已发布。
DeepSWE Opus 4.8 的结果已发布，展示了其在基准测试中的表现。
Real-SWE 基准 (新)
Real-SWE 是一个新的基准，用于评估前沿AI模型在私有、真实世界的企业代码库上的表现，专注于具有业务背景的复杂软件工程任务。