标签
本文介绍KITE，一种KV不变Transformer扩展方法，通过降低推理成本在保持性能的同时高效扩展LLM。它提出了SST模型，与基线相比，实现了更低的训练损失和减少的推理成本。
介绍MoME，一种面向大语言模型的上下文感知记忆机制，它通过使用混合槽位来处理词元多义性，在预训练实验中优于基线方法。
本文推测，Google 在前沿 AI 领域落后于 OpenAI 和 Anthropic，究竟是执行不力，还是对「通过规模扩展实现 AGI」这一假说持有根本性的质疑。作者怀疑，Google 是否认为 LLM 终究是一场泡沫，而 AGI 的实现需要一种截然不同的路径。
文章提出了一种概念性的三层具身AI架构，旨在解决扩展LLM以实现代理的局限性，强调物理成本审计和离线睡眠周期。
作者回顾了过去LLM的扩展时代（模型规模、思维链、智能体），并推测下一个重大扩展维度，提出递归自我改进可能是一个突破。
本文介绍了Hidden Decoding，这是一种针对LLM的序列长度扩展方法，通过将每个令牌扩展为多个具有独立嵌入表的流，并在每个令牌内增加内部计算，同时使用Stream-Factorized Attention来保持低成本。在多达617B参数的模型上的实验显示，该方法较基线有一致的改进，展示了一条实用的固定骨干扩展路径。