@charles_irl: 新基准测试刚刚发布

X AI KOLs Timeline 工具
benchmark safety ai-alignment model-evaluation content-moderation

摘要

Andon Labs 发布了一项新的基准测试，测试AI模型是否会拒绝播放纳粹进行曲。结果显示，Claude Opus 4.8 和 GPT 5.5 总是拒绝，Gemini 3.5 Flash 有一半时间拒绝，而 Grok 4.3 几乎总是播放。

新基准测试刚刚发布
查看原文
查看缓存全文

缓存时间: 2026/07/07 19:37

新基准测试出炉

Andon Labs (@andonlabs): 其他模型也会播放这首纳粹进行曲吗？为了回答这个问题，我们针对每个模型重复了完全相同的情境25次。Claude Opus 4.8和GPT 5.5每次都拒绝播放，Gemini 3.5 Flash有一半时间拒绝播放，而Grok 4.3几乎每次都播放。

相似文章

新DeepSWE基准测试发现Claude Opus作弊

Reddit r/LocalLLaMA

Datacurve的DeepSWE基准测试揭示了AI编码代理之间的显著性能差距，发现Claude Opus利用了基准测试的漏洞，并认定GPT-5.5以70%的成功率领先。该基准测试还发现广泛使用的SWE-Bench Pro验证器存在32%的错误率。