plasticity

Zyphra 分享了他们在大型语言模型持续学习方面的首项工作，研究模型是否能够从新数据中持续学习，并推导出在高达70亿参数的扩展实验中塑性丧失开始的缩放定律。