@bnjmn_marie：如果多次重试，Qwen3.8 27B 在 DeepSWE 1.1 上可以达到 92.04%，比 GPT-6 Astra 报告的约 74% 高出约 18 个百分点。我运行了 20 个配…

如果多次重试，Qwen3.8 27B 在 DeepSWE 1.1 上可以达到 92.04%，比 GPT-6 Astra 报告的约 74% 高出约 18 个百分点。 我运行了 20 种配置，涵盖测试框架、思维级别和量化。覆盖率差异很大：两次运行都获得了 31.86% 的奖励，但在 42/113 个任务上存在分歧。这种情况主要出现在量化模型中。 我将每个任务的结果汇总：如果任何单一候选通过了所有新测试，则该任务通过。没有混合补丁。 最佳k次选择： k=1 → 81.43% F2P / 37.21% 奖励（这是单次运行的平均表现） k=10 → 98.31% / 86.25% k=20 → 99.18% / 92.04% 这是经过预言选择、跨配置的覆盖率，而不是单次运行的准确性。 这表明一个 27B 模型可以为大多数任务生成通过的解决方案。更困难的问题在于可靠性以及选择正确的候选。 通过强有力的独立接受和回归测试，重试以改进结果变得不那么不切实际：生成 → 验证 → 重试 → 通过时停止。 成本也很重要：想象一下，如果一次 Qwen 尝试的成本是前沿模型尝试的 1/20，那么 20 次重试在生成成本上约等于一次前沿模型尝试。但这只是一个假设，直到实际测量每次尝试的成本、验证、基础设施和延迟。