neural-scaling

本文介绍了 Coupled Scaling，一个任务条件框架，用于解释神经缩放定律如何根据任务结构与架构优化系统可访问的几何表示之间的关系而变化。

本文介绍了Skaling定律，这是一种广义的神经缩放定律，通过一个交互指数将模型容量和数据耦合，将预测误差降低1.5至3倍，并能在计算量约为均匀扫描十分之一的情况下实现全网格外推。

提出了一种统一神经缩放定律，能够精确建模深度神经网络在多个维度（包括参数量、数据集大小、训练步数和计算量）上的缩放行为，并在多种架构和任务上得到验证。