标签
一个1.5亿参数的非Transformer架构在ARC-AGI-1上实现了最先进的成本效率，并获得了Transformer论文联合作者Łukasz Kaiser的验证，表明循环潜在推理可以取代暴力扩展。
Pathway的150M参数BDH-CQ模型在ARC-AGI-1上达到29.5%的准确率，每个任务成本仅为0.0007美元，创下新低，采用循环记忆和潜在推理，而非长token链。该架构或许正是Andrew Curran预告的突破，OpenAI研究员Lukasz Kaiser担任投资者和顾问。
据报道，Pathway的BDH（一种后Transformer架构）在标准GPU上从零训练时，在10M到1B参数范围内匹配GPT-2的缩放性能。
2026年年中持续学习现状与未来展望的概述，涵盖记忆方法（包括外部记忆、状态内记忆和权重更新），并分析了TTT、Titans和Dragon Hatchling等各类模型。
《Attention is All You Need》这篇开创性论文的一位合著者主张，这个领域应该超越Transformer，而Pathway主办的一场辩论正在探讨这一话题。