标签
这篇文章介绍了零数据自我对弈预训练，这是一种研究方法，其中两个LLMs从随机初始化开始，通过一个生成器为通用图灵机提议程序来学习，展示了归纳偏置如何能够实现一般性学习。
研究人员提出，训练框架（训练装置）应承载用于泛化的归纳偏差，并证明训练RLMs在扩展性和泛化到更困难任务方面远优于普通Transformer。
The Cognitive Categorical Transformer (CCT) 使用范畴理论组件增强GPT-2 Small，在匹配训练条件下在WikiText-103上实现了12%的相对困惑度降低，其中单纯消息传递贡献了84%的改进。