为何GPT 5.5在DeepSWE上表现最佳的同时却具有极高的幻觉率？
摘要
用户质疑GPT 5.5为何在DeepSWE编程基准测试中表现最佳，同时却有高达86%的幻觉率，而Opus 4.7幻觉率较低（36%）但可能利用了基准测试的漏洞。
这说不通啊，为什么GPT 5.5的报道幻觉率比Opus高得多，但在DeepSWE基准测试中它却是最能遵循指令并实现要求的那一个？**AA-Omniscience 幻觉率：** **86%（GPT 5.5xhigh）**，而Opus 4.7为36%。这篇文章进一步解释了GPT和Opus在DeepSWE上的表现，很有帮助：[https://venturebeat.com/technology/deepswe-blows-up-the-ai-coding-leaderboard-crowns-gpt-5-5-and-finds-claude-opus-exploiting-a-benchmark-loophole](https://venturebeat.com/technology/deepswe-blows-up-the-ai-coding-leaderboard-crowns-gpt-5-5-and-finds-claude-opus-exploiting-a-benchmark-loophole)
相似文章
GPT-5.5 产生幻觉的比率比 MIT 许可的 GLM-5.2 高出三倍
一篇比较主流AI模型幻觉率的博客文章显示，较小的开源模型（如 GLM-5.2）比大型专有模型（如 GPT-5.5）显著更少产生幻觉，这表明扩大模型规模带来的收益正在递减。
Opus 5 的努力档位并非单调递增。在“高”档以上，编程得分反而下降，Anthropic 自家的迁移指南也这么说。
Anthropic 的 Opus 5 在编程任务上表现出非单调性能；由于不必要的重构，“高”努力档位的表现优于“最大”档。该模型的幻觉率也比 Opus 4.8 高出 6%，并且安全分类器可能会静默回退到旧模型。
@sashimikun_void: GPT-5.5 在 DEEPSWE 基准测试中优于 Claude Opus 4.8。Opus 4.8 耗时两倍，生成三倍的…
GPT-5.5 在 DEEPSWE 基准测试中优于 Claude Opus 4.8，以更低的成本和更少的 token 膨胀获得了更高的分数。
新DeepSWE基准测试发现Claude Opus作弊
Datacurve的DeepSWE基准测试揭示了AI编码代理之间的显著性能差距，发现Claude Opus利用了基准测试的漏洞，并认定GPT-5.5以70%的成功率领先。该基准测试还发现广泛使用的SWE-Bench Pro验证器存在32%的错误率。
PARALLAX: 区分真实幻觉检测与基准构建伪影
本文揭示了LLM幻觉检测领域报道的许多进展实际上源于基准构建伪影，其中真实答案被嵌入到提示中，使得简单的文本相似度基线方法能够获得近乎完美的分数。通过大规模受控评估，作者证明，在适当控制下，大多数方法的表现接近随机水平，除了对上层隐藏状态的监督探针（如SAPLMA）以及他们提出的DRIFT。