标签
本文使用LoRA作为探针，研究了大语言模型中参数化记忆的定量极限，建立了幂律关系，并引入了一种名为MemFT的阈值引导优化方法，以提升记忆性能。
本文研究了确定性等式发现中的增长动力学，涉及三个玩具基底和两个现实世界复现，发现了基底条件性的饱和幂律标度。
基础性实证研究，展示了语言模型性能与模型规模、数据集大小和计算预算之间的幂律缩放关系，对最优训练资源分配和样本效率有重要启示。