training-scaling

文章认为，在多样化的强化学习环境中对数百万可验证任务进行AI训练可能实现通用人工智能，并且扩展规模可能克服当前如样本效率低下等限制。文章还探讨了由于缺乏可重复训练的环境，计算机使用方面的进展为何较为缓慢。

提出了一种统一神经缩放定律，能够精确建模深度神经网络在多个维度（包括参数量、数据集大小、训练步数和计算量）上的缩放行为，并在多种架构和任务上得到验证。