GPT-5.6 Luna vs GPT-6 Astra:1.20美元模型是否足以胜任代码审查?

Reddit r/artificial 新闻

摘要

我们对GPT-5.6 Luna与GPT-6 Astra在50个真实PR上进行了基准测试,结果显示Astra发现92个漏洞,Luna发现69个,而Luna以仅3.6%的成本捕获了75%的漏洞。本次还包括详细的评估分解,以及即将与Fable 5.1的比较。

我们对来自Cal、Sentry、Discourse、Keycloak和Grafana的50个真实PR进行了GPT-5.6 Luna与GPT-6 Astra的基准测试。Astra发现92个确认漏洞,而Luna发现69个,同时Luna以仅3.6%的成本捕获了75%的漏洞。本次我们还添加了完整的评估分解,包括成本、平均输出令牌、延迟、精确度以及如数据/逻辑、安全和并发等漏洞类别。接下来我们将进行Astra与Fable 5.1的比较,因此希望在进行下一次比较前能收到关于评估的反馈。如果有人想查看,我会在评论中放上链接。https://preview.redd.it/xvin68lg9iph1.png?width=679&format=png&auto=webp&s=452996c144127d7b75cf1dd871d49376c1bcac0d
查看原文

相似文章

GPT-6 Astra 基准测试

Reddit r/singularity

本文介绍了OpenAI的GPT-6模型的基准测试,使用Astra基准测试系统评估其性能。

GPT-6-Luna 怎么这么好?!

Reddit r/openclaw

一位用户热情评价了 GPT-6-Luna 和 Sol,突出它们在性能、上下文管理和成本效益方面优于其他 AI 模型和服务。

GPT‑6 Astra

Simon Willison's Blog

OpenAI 发布 GPT‑6 Astra,在安全任务和长上下文处理方面表现出色,在 ARC-AGI 3 上达到 99.9%,尽管在某些基准测试上仍落后于 Claude Fable。