这很有趣。我终于可以跟进一个 RemindMe 评论了。今年3月25日,六个月前,没有模型在 ARC-AGI-3 上能拿到 1%。一位评论者问我们是否能在 $2 成本下看到 75%。现在成本仍然很高($26.1k),但 GPT-6-Astra-Max 达到了 62.7%(无需 harness!)
摘要
GPT-6-Astra-Max 在 ARC-AGI-3 基准测试中在六个月内达到了 62.7%,并且使用记忆适配器后,基准测试已饱和,尽管成本仍然很高,这表明 AI 模型朝着更便宜的趋势发展。
而且评论者技术上说的是“一年后”,所以对我来说,62.7% 在不到六个月后(Astra 在本月早些时候,9月3日发布)取得,更加令人印象深刻。当然,使用轻量级记忆适配器*,基准测试已经饱和。这些饱和分数仍然成本高昂,至少 17k,但如果更便宜智能的趋势持续(https://epoch.ai/publications/the-plunging-price-of-thought),我们应该很快就能有更便宜的模型击败 ARC-AGI-3。“提供商适配器在请求之间保留不透明的推理状态,并使用压缩来处理较长的对话,以便模型可以重用先前的工作而不是重新构建它。”
相似文章
@rohanpaul_ai: GLM-5.2在ARC-AGI-2上获得22.8%,每任务$0.25。值得注意的是,2025年5月左右,经过验证的最佳模型在ARC-AGI-2上只有…
GLM-5.2在ARC-AGI-2上取得22.8%的成绩,在ARC-AGI-1上取得77%的成绩,每任务成本仅0.25美元,比2025年5月的最佳前沿得分提高了7.6倍。
@gdb: arc-agi-3 现已饱和
OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 基准测试中取得最先进的性能,得分63%,在96%的层级上超越人类表现,展示了先进的符号建模能力。
关于GPT-6 Astra 98.6% ARC AGI-3:不要轻信炒作
文章警告不要炒作GPT-6 Astra的ARC AGI-3结果,指出Nvidia使用AVO达到了100%的成就,而OpenAI使用了非标准的测试环境。
@reach_vb: luna-maxxing,成本降低80%!
ARC Prize在价格下调80%后重新测试了OpenAI的GPT-5.6 Luna在ARC-AGI上的表现,确认其在每项任务成本大幅降低的情况下性能相似。
AI 在真实科研中越来越强,同时成本大幅下降。GPT-6 Astra 在科学研究领域登顶,以少 22 倍的 token 消耗击败 Claude Sonnet 5.5。GPT-6.1 Sol 也以接近十分之一的成本超越 Sonnet。科学研究正开始随算力扩展。
GPT-6 Astra 在科学研究基准测试中排名第一,以少 22 倍的 token 消耗击败 Claude Sonnet 5.5,而 GPT-6.1 Sol 也以接近十分之一的成本超越 Sonnet,这表明科学研究正在随算力扩展。