这很有趣。我终于可以跟进一个 RemindMe 评论了。今年3月25日,六个月前,没有模型在 ARC-AGI-3 上能拿到 1%。一位评论者问我们是否能在 $2 成本下看到 75%。现在成本仍然很高($26.1k),但 GPT-6-Astra-Max 达到了 62.7%(无需 harness!)

Reddit r/singularity 模型

摘要

GPT-6-Astra-Max 在 ARC-AGI-3 基准测试中在六个月内达到了 62.7%,并且使用记忆适配器后,基准测试已饱和,尽管成本仍然很高,这表明 AI 模型朝着更便宜的趋势发展。

而且评论者技术上说的是“一年后”,所以对我来说,62.7% 在不到六个月后(Astra 在本月早些时候,9月3日发布)取得,更加令人印象深刻。当然,使用轻量级记忆适配器*,基准测试已经饱和。这些饱和分数仍然成本高昂,至少 17k,但如果更便宜智能的趋势持续(https://epoch.ai/publications/the-plunging-price-of-thought),我们应该很快就能有更便宜的模型击败 ARC-AGI-3。“提供商适配器在请求之间保留不透明的推理状态,并使用压缩来处理较长的对话,以便模型可以重用先前的工作而不是重新构建它。”
查看原文

相似文章

@gdb: arc-agi-3 现已饱和

X AI KOLs Timeline

OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 基准测试中取得最先进的性能,得分63%,在96%的层级上超越人类表现,展示了先进的符号建模能力。

@reach_vb: luna-maxxing,成本降低80%!

X AI KOLs Timeline

ARC Prize在价格下调80%后重新测试了OpenAI的GPT-5.6 Luna在ARC-AGI上的表现,确认其在每项任务成本大幅降低的情况下性能相似。

AI 在真实科研中越来越强,同时成本大幅下降。GPT-6 Astra 在科学研究领域登顶,以少 22 倍的 token 消耗击败 Claude Sonnet 5.5。GPT-6.1 Sol 也以接近十分之一的成本超越 Sonnet。科学研究正开始随算力扩展。

Reddit r/singularity

GPT-6 Astra 在科学研究基准测试中排名第一,以少 22 倍的 token 消耗击败 Claude Sonnet 5.5,而 GPT-6.1 Sol 也以接近十分之一的成本超越 Sonnet,这表明科学研究正在随算力扩展。