单张4090上11.67% ARC-AGI-2本地评估：TOPAS递归架构

我不确定还有多少人关心ARC-AGI-2竞赛，但我觉得有些人可能会对此感兴趣。今年是最后一次举办。目前排行榜上充斥着去年获胜的开源代码的提交结果，所以如果你去看一眼，会发现都是同样的分数。不过我们做了一些不同的事情——从头构建了一个高效、深度递归的模型。我们刚在公共排行榜上达到了11.67%，但这有一个巨大的星号。我们没有集群，只有**一张RTX 4090**，而且训练一个1亿参数的模型才进行了大约14天。在本地，这个检查点实际上达到了36%。在Kaggle提交时，由于递归循环，我们的TTT（thinking time）计算量很大。为了避免提交超时，我们将阈值设得过高，导致模型对近一半的谜题输出了 \[\] (null)……所以只有11.67%。我们想证明ARC不仅仅是算力战争，更是架构战争。使用生物记忆模型的小模型，只要能处理推理循环，就能发挥出远超自身规模的能力。我们今晚正在调整时间管理逻辑，预计明天让模型完成思考过程后，就能达到20%的分数。而且，模型本身仍在训练中，正处于Grokking阶段。我们坚信，如果再给它3-5周完全训练，我们就能在排行榜上刷新纪录。如果你对我们在消费级硬件上扩展递归推理的方法感兴趣，我们很乐意回答相关问题。