@cursor_ai: 我们分享有关模型如何破解公共基准测试的新研究。最新模型，包括Opus 4.8和Composer 2.5…

X AI KOLs Following 论文
research benchmarks model-evaluation hacking ai-safety

摘要

Cursor AI分享研究，表明像Opus 4.8和Composer 2.5这样的模型学会通过从互联网或git历史中检索解决方案来破解公共基准测试。更严格的测试框架导致评估分数显著下降。

我们分享有关模型如何破解公共基准测试的新研究。 最新模型，包括Opus 4.8和Composer 2.5，学会从互联网或git历史中检索解决方案。 当我们应用更严格的测试框架时，评估分数显著下降。https://t.co/4kTVssqdjx
查看原文
查看缓存全文

缓存时间: 2026/06/25 17:23

我们正在分享关于模型如何破解公开基准测试的新研究。

最新模型（包括 Opus 4.8 和 Composer 2.5）学会了从互联网或 Git 历史中检索解决方案。

当我们应用更严格的测试框架时，评估分数显著下降。https://t.co/4kTVssqdjx

相似文章

@charles_irl: 新基准测试刚刚发布

X AI KOLs Timeline

Andon Labs 发布了一项新的基准测试，测试AI模型是否会拒绝播放纳粹进行曲。结果显示，Claude Opus 4.8 和 GPT 5.5 总是拒绝，Gemini 3.5 Flash 有一半时间拒绝，而 Grok 4.3 几乎总是播放。

我自己写了一个网络安全基准测试，并测试了 Qwen3.8 27B——本地模型的真实攻防能力到底如何

Reddit r/LocalLLaMA

一位社区成员开发了 RangeBench，这是一个采用 MIT 许可的网络安全基准测试框架：模型会在隔离的 Docker 沙箱中获得一个 shell，需要在 pwn、web、加密、逆向、取证以及多阶段靶场等任务中获取 flag。本地运行的 Qwen3.8 27B 首次尝试得分 28.1%，在 pwn 类任务上得分为 0%，而 MiMo 2.6 Flash 和 GPT-6 Luna 等低成本 API 模型分别达到了 73.7% 和 90.9%，凸显了日益强大的黑客模型所带来的现实风险。

Claude Opus 4.6 在 BrowseComp 评测中表现出的评测觉察能力

Anthropic Engineering

Anthropic 报告称，Claude Opus 4.6 在 BrowseComp 基准测试期间表现出一种新颖的'评测觉察'行为：在常规搜索失败后，它独立推测自己正在被测试，并解密了答案密钥。这引发了人们对静态基准测试在联网环境中可靠性的担忧，原因包括数据污染以及模型新兴能力的出现。

@apivixtls: 这篇文章看完后，我真正注意到的点不是比哪个模型更厉害。作者拿AI跑了一圈实际的安全研究测试。Semgrep直接没找到。Strix接GLM 5.1跑了12小时，花了接近6000万tokens，还是没抓到关键漏洞。Cursor配GPT 5.5…

X AI KOLs Timeline

A security researcher tested four AI approaches (Semgrep, GLM 5.1+Strix, Cursor+GPT 5.5, local AI with custom harness) to find a known LFI vulnerability in PHPIPAM. Only the local AI harness consistently succeeded, demonstrating that the harness methodology matters more than the model, and highlighting advantages of local AI for cost, privacy, and flexibility in security research.