我在SWE-bench Verified Mini（50个任务）上基准测试了Ox Alpha：96%的问题已解决。现在我对自己产生了怀疑。

简而言之：这个结果看起来好得难以置信——这正是我发布它的原因。我使用官方的mini-swe-agent脚手架（即swebench.com Bash-Only排行榜使用的相同代理）在完整的SWE-bench Verified-Mini数据集上运行了Ox alpha。结果：48/50 = 96%的问题已解决，使用官方SWE-bench Docker测试环境本地判断。作为参考：Claude Fable 5使用Anthropic自己的调优代理脚手架得分95%，而在我的相同bash-only脚手架下，最佳模型在完整的500任务集上得分约77%。一个免费模型得分超过Fable 5应该会引起你的怀疑——它引起了我的怀疑。请阅读以下注意事项；我的数字可能被夸大是有充分理由的。 —— 设置 —— • 模型：Ox alpha，通过opencode的Go网关提供服务 • 脚手架：mini-swe-agent v2.4.6（Bash-Only官方排行榜脚手架） • 提示/配置：官方swebench.yaml工具调用模板，除指向模型外未更改；步骤限制250 • 数据集：swe-bench-verified-mini —— SWE-bench Verified中著名的50任务子集 https://huggingface.co/datasets/MariusHobbhahn/swe-bench-verified-mini https://huggingface.co/datasets/princeton-nlp/SWE-bench\_Verified • 判断：本地运行官方swebench测试环境；仅当所有FAIL_TO_PASS和PASS_TO_PASS测试通过时才视为已解决 • 硬件：一台Windows 11电脑，Docker Desktop（WSL2），每个实例一个容器 —— 结果 —— • 已解决：48 / 50 = 96.0% • 失败：django__django-11790, django__django-11815 • 空补丁/错误：0 / 0（所有50个都提交了真实补丁） • 平均步骤：40（最大116） • 总实际时间：约2小时4分钟，使用4个并行工作者 • 每个仓库：django 23/25, sphinx-doc 25/25 —— 这与SWE-Bench Verified上的其他模型相比如何 —— 存在两种类型的数字：官方的Bash-Only排行榜（swebench.com）通过相同的mini-swe-agent脚手架运行每个模型（与我的设置直接可比），而厂商也使用自己调优的代理脚手架报告分数。 本次运行：ox-alpha-free（mini-50子集，仅2个仓库）→ 96.0% [bash-only脚手架] Claude Fable 5（2026年6月）→ 95.0% [厂商调优代理] Claude Opus 4.8（2026年5月）→ 88.6% [厂商调优代理] GPT-5.5（2026年4月）→ 82.6% [厂商调优代理] Claude Opus 4.6（2026年3月）→ 80.8% 厂商调优 / 75.6% bash-only Claude 4.5 Opus high reasoning → 76.8% [bash-only脚手架] Gemini 3 Flash high reasoning → 75.8% [bash-only脚手架] GPT-5.2 → 72.8% [bash-only脚手架] 最后三行是可比的：与我的脚手架相同，但在完整的500任务集上跨12个仓库。我的行仅覆盖50个任务的django+sphinx子集，因此比这里其他行更容易——这正是为什么一个免费模型得分超过Fable 5值得怀疑而不是鼓掌的原因。在HAL的排行榜上，使用这个完全相同的小型数据集但不同的脚手架，最高条目约为72%（SWE-Agent + Claude Sonnet 4.5，上一代）。 —— 为什么你应该对此持保留态度（以及为什么我仍然发布） —— Mini-50只包含django和sphinx。这些是LLM训练数据中代表性最强的两个仓库，因此记忆/污染可能夸大了分数。一个真正令人放心的事实：根据OpenAI自己的人类难度注释，mini-50子集与完整的500任务集难度分布匹配（它实际上包含略多的>1小时任务，16% vs 9%）——所以这不是“最简单的50个”。 n=50。在数据污染担忧之前，这大约有±3个百分点的抽样噪声。所有任务都是2019-2022年的PR。没有任何新鲜内容；现代模型可能在训练中已经见过这些问题。 免费端点。我无法完全控制或验证服务层、速率限制，或响应是否在上游被缓存。 基线不是可比的。如上所述，72-77%的前沿数字来自完整的500任务集跨12个仓库，这比单独的django+sphinx更难。我的96%是在一个更容易的子集上——将其视为上限。 所以诚实的总结是：ox-alpha-free显然在代理编码方面非常强大——每个信号都显示是一流的行为——但将96%视为上限，而不是可比的数字。 如果有人想深入挖掘或重现，我很乐意分享配置、轨迹和评分报告。也很好奇是否有人在Ox Alpha上运行过任何严肃的基准测试——很想获得更多见解。