power-law

This paper introduces Power Law Graph Attention (PLGA) and the PLDR-LLM architecture, an exact generalization of scaled dot-product attention using input-generated bilinear operators. It presents theoretical results including an inference-collapse theorem, empirical stability measurements, and machine-checked proofs in Lean 4.

本文解释了幂律函数的傅里叶变换，重点关注1/f噪声这一有趣情况，以及时域和频域之间的对称性。

本文提出一个标度律，表明人类语言中词序的上下文影响随距离近似以1/d的速率衰减，该衰减通过大型语言模型测得的困惑度降低来衡量，且在不同语言和语料库中均成立。

本文对表格数据上经典机器学习模型的缩放定律进行了一项分布式基准研究，结果表明幂律拟合适用于大多数模型家族，并量化了127名学生运行中复制者实现的差异。

本文提出了一个token级别的框架，表明语言模型损失中的幂律缩放来源于单个token的S形学习曲线的聚合，并证明根据token学习时间重塑训练分布可以将验证损失降低11%。

全面概述深度学习中的扩展定律，追溯其理论基础和实证发现，并解释损失如何随模型大小、数据和计算量可预测地降低。

本文使用LoRA作为探针，研究了大语言模型中参数化记忆的定量极限，建立了幂律关系，并引入了一种名为MemFT的阈值引导优化方法，以提升记忆性能。

本文研究了确定性等式发现中的增长动力学，涉及三个玩具基底和两个现实世界复现，发现了基底条件性的饱和幂律标度。

基础性实证研究，展示了语言模型性能与模型规模、数据集大小和计算预算之间的幂律缩放关系，对最优训练资源分配和样本效率有重要启示。