rare-tasks

一项来自斯坦福、MIT、哈佛和Anthropic的论文解释，大型AI模型能更好地学习稀有技能，因为训练期间它们遗忘更少；其额外容量保护弱学习信号不被常见任务覆盖。

本文研究了为什么更大的模型表现优于较小的模型，将其归因于梯度干扰减少和资源分配优化，这使得它们即使在无限数据下也能学习罕见且复杂的任务。在合成数据和OLMo模型上的实验验证了，更大的模型由于对常见任务的梯度更新较弱，能够避免覆盖罕见任务的特征。