论文页面 - 超越参数巨石：语言模型的可重构记忆、可执行技能与残差装配

来源：https://huggingface.co/papers/2610.04012

当记忆、精确执行和上下文计算能够被独立开发和更新时，会发生什么变化？

这项研究源于一系列实验：实验表明，即便 token 输入坐标保持固定，有用的语言建模能力也能涌现。token 身份与学习到的计算之间的这种分离，引出了一个更广泛的问题：内部表征和独立构建的组件，能否通过一个显式的共享接口进行交互？有限元类比提供了一种设计灵感——局部组件、不同粒度的表征，以及显式装配——但这并非声称语言遵循某种物理方程。

该工作通过一个无注意力的 Multi-Mesh 语言模型来探索这些想法，模型在约 286 亿个预测目标上训练，随后连接一个独立的模块化核心，通过带类型的残差装配将可重构的文档记忆和确定性虚拟机结果整合在一起。目标是探索语言计算的替代组织方式，而非声称其优于 Transformer。

实验有意使用了尚不完善的组件，包括一个约五亿参数的核心，以及在所报告的读取审计中达到约 75% token 重构准确率的记忆。受控的挂载测试考察了所选证据如何影响预测，而核心权重保持不变。负向结果有助于区分不同的挑战：存储信息、检索证据、执行程序，以及渲染答案。

这些是用于研究接口和运行模式的研究原型，而非一个完善的通用系统。检查点和部分研究代码已开源发布，以支持审查和进一步实验。我们尤其欢迎独立测试、更简单的基线，以及关于这些接口能实现什么——或无法实现什么——的讨论。