标签
一篇由伊利诺伊大学厄巴纳-香槟分校、卡内基梅隆大学、罗格斯大学、普林斯顿大学、斯坦福大学和耶鲁大学联合发表的论文表明,一个拥有270亿参数的开放语言模型仅凭推理就能改写自身权重,无需梯度或训练,在未见过的问题上将准确率提高6.6个百分点,并修复自身受损的副本。这种能力只有在模型规模足够大时才会涌现,表明这可能是迈向递归式自我改进的一步。
一个实验性的语言模型架构使用超曲面进行动态权重更新以减少训练参数,仅使用16%的参数即可实现比未展开基线更好的性能。该方法在FineWeb-Edu数据集上进行了测试,并包含一个GitHub实现。