标签
用户质疑是否可以设计混合专家（MoE）路由器来预测token序列的未来专家需求，以实现RAM和VRAM之间的更快缓存，或者是否可以为此训练一个单独的神经网络。
本文批评当前的AI智能体被过度炒作且根本上有限，认为它们本质上是带有脚手架的大语言模型，并且其依赖的下一个词元预测使其在长期规划和问责方面不可靠。
一项在令牌级别比较Olmo Hybrid和Olmo 3 Transformer的研究显示，混合模型能更好地预测有意义的令牌（如名词/动词），而Transformer模型则擅长从输入中复制令牌。
本文证明，对于具有隐藏结构的分层数据，通过预测潜在表示（如JEPA和data2vec等世界模型的做法）进行学习所需的数据量，远少于通过预测token（如LLMs的做法）进行学习，其差距呈指数级。
本文提出了 STOP（SuperTOken for Pruning），一个系统框架，用于在大型推理模型的并行推理中早期剪枝低效推理路径。该方法在 1.5B 到 20B 参数的模型中实现了优异的效率和效果，在固定计算预算下将 GPT-OSS-20B 在 AIME25 上的准确率从 84% 提升到 90%。
TAPNext 将 Tracking Any Point (TAP) 重新定义为序列化掩码词元解码，在不引入任何特定于跟踪的归纳偏置的情况下，实现了在线和离线跟踪的最先进性能；跟踪启发式规则在端到端训练中自然涌现。