@xdotli:mini-swe-agent 令人印象深刻。仅100行代码、一个bash工具、每个模型使用相同提示,就在 @datacurve 的 DeepSWE 排行榜上名列前茅……
摘要
mini-swe-agent 是一个极简的开源 SWE-agent 实现,仅用 100 行代码和一个 bash 工具就能在 DeepSWE 基准测试中登顶。团队还开源了用于交互式使用的 mini-swe-code 和用于跨基准评估的 mini-swe-acp。
查看缓存全文
缓存时间: 2026/06/12 06:54
mini-swe-agent 令人印象深刻。
仅100行代码,一个bash工具,为每个模型提供相同的提示。
在 @datacurve 的 DeepSWE 上排名第一,与供应商自己的测试框架相当甚至更优。
因此我们围绕它开源了两个项目:
- mini-swe-code:在 @opencode 的 TUI 中尝试,一条命令:mini-opencode –attach
- mini-swe-acp:通过 @benchflow_ai (ACP) 在任何基准测试上作为评估框架运行。
向 @KLieret @jyangballin @ArpandeepKhatua 和 SWE-agent 团队致敬。仓库在
欢迎我们的新 MTS 实习生 @bingran_bry,他最近从伯克利量子物理博士项目加入 @benchflow_ai!
相似文章
DeepSWE-mini:DeepSWE的16实例子集,用于复现排行榜排名
已发布名为DeepSWE-mini的新数据集,这是DeepSWE的16实例子集,旨在通过复现排行榜排名来高效基准测试本地AI模型。
有人对新DeepSWE进行了审计,结果不太好看
DeepSWE是一个新的基准测试,用于评估AI编程代理在来自活跃开源仓库的真实软件工程任务上的表现,包含113个任务,涵盖TypeScript、Go、Python、JavaScript和Rust,提供隔离环境和基于程序的验证器。
@_akhaliq: SWE-Bench ProMax——大规模多语言代码重构的智能体基准测试 论文:https://huggingface.co/papers/…
介绍了SWE-Bench ProMax,一个包含7种编程语言、170个实例的多语言代码重构基准,用于评估AI编程智能体。前沿模型仅达到41.2%的解决率,证实这是一个具有挑战性且尚未饱和的基准。
SWE-Bench Pro V2(阅读时间9分钟)
SWE-Bench Pro V2是一个更新的基准测试,用于在软件工程中评估AI代理,包含来自11个代码库的642个任务,具有改进的评估协议和污染控制。
DeNovoSWE: 扩展长时域环境以从零生成完整代码仓库
DeNovoSWE是一个大规模数据集,用于训练代码智能体从文档生成完整软件仓库,采用沙盒代理工作流和难度感知过滤。在此数据集上微调Qwen3-30B-A3B将BeyondSWE-Doc2Repo基准的性能从5.8%提升至47.2%。