harness-comparison

FrontierHarness Eval 对九个软件工程测试框架在单一模型上进行基准测试，表明根据所使用的测试框架，每个成功任务的成本差异最高可达17倍。

作者使用相同的 Qwen3.6 27B 模型测试了多个编码代理框架（GitHub Copilot、Pi、Claude Code、OpenCode），发现框架设计对性能影响显著，其中 OpenCode 在网络搜索和 Web 开发方面表现出色，而 GitHub Copilot 在文件编辑工具方面表现不佳。