OpenAI的Astra在同一基准测试中分别取得了62.7%和99.9%的成绩，但我仍然不确定哪个结果更值得信赖

Reddit r/ArtificialInteligence 新闻
ai-benchmark openai model-evaluation tech-news arc-prize

摘要

本文探讨了OpenAI的Astra模型在ARC Prize基准测试中的分数不一致性，强调了不同测试框架的差异以及OpenAI发布页面的更改，引发了对评估准确性的担忧。

上周我花了过多时间仔细研究ARC Prize的实际结果表格，而不仅仅是截取主要数字。同一模型，在两个不同的测试框架下，分数相差37分，而开发测试的机构甚至不愿称其为AGI。随后Fortune指出，在OpenAI的发布页面上线后，又有五处数字被悄然更改。这可能是正常的波动，也可能是其他因素，坦白说，很难完全确定。我整理了整个测试框架的解析以及Llama 4的先例。以下是我的发现。https://srutiosocial.com/gpt-6-astra-arc-agi-3-score-explained/
查看原文

相似文章

Astra相关误导性基准报告的普遍问题

Reddit r/singularity

OpenAI对Astra在ARC-AGI-3上的基准报告具有误导性，因为它使用了不同的测试环境，并且在标准条件下，性能差距没有那么显著。