GPT-5.6 Luna vs GPT-6 Astra:1.20美元模型是否足以胜任代码审查?
摘要
我们对GPT-5.6 Luna与GPT-6 Astra在50个真实PR上进行了基准测试,结果显示Astra发现92个漏洞,Luna发现69个,而Luna以仅3.6%的成本捕获了75%的漏洞。本次还包括详细的评估分解,以及即将与Fable 5.1的比较。
我们对来自Cal、Sentry、Discourse、Keycloak和Grafana的50个真实PR进行了GPT-5.6 Luna与GPT-6 Astra的基准测试。Astra发现92个确认漏洞,而Luna发现69个,同时Luna以仅3.6%的成本捕获了75%的漏洞。本次我们还添加了完整的评估分解,包括成本、平均输出令牌、延迟、精确度以及如数据/逻辑、安全和并发等漏洞类别。接下来我们将进行Astra与Fable 5.1的比较,因此希望在进行下一次比较前能收到关于评估的反馈。如果有人想查看,我会在评论中放上链接。https://preview.redd.it/xvin68lg9iph1.png?width=679&format=png&auto=webp&s=452996c144127d7b75cf1dd871d49376c1bcac0d
相似文章
GPT-6 Astra 对比 GPT-5.6 Sol:50个真实PR的基准测试,寻求方法论反馈
对GPT-6 Astra和GPT-5.6 Sol在50个真实PR上进行了基准测试,发现Sol检测到了更多错误,而Astra具有更高的精确度和更低的延迟。正在寻求对未来评估的反馈。
GPT-6 Astra 基准测试
本文介绍了OpenAI的GPT-6模型的基准测试,使用Astra基准测试系统评估其性能。
GPT-6-Luna 怎么这么好?!
一位用户热情评价了 GPT-6-Luna 和 Sol,突出它们在性能、上下文管理和成本效益方面优于其他 AI 模型和服务。
GPT‑6 Astra
OpenAI 发布 GPT‑6 Astra,在安全任务和长上下文处理方面表现出色,在 ARC-AGI 3 上达到 99.9%,尽管在某些基准测试上仍落后于 Claude Fable。
@cline: GPT-6 Astra 已发布,在 Terminal-Bench 上位列第一,领先 Claude Fable 5.1 1.9%,后者仅两天前推出…
GPT-6 Astra 已发布,并在 Terminal-Bench 上名列前茅,以 1.9% 的优势超越 Claude Fable 5.1。它即将向 API 推出,并将与 Cline 集成。