transformer-pretraining

本文介绍了OPTScientist，一个理论引导的多智能体框架，它利用领域特定语言和闭环实验自动发现带类型的优化器程序。该框架发现了RS-MR，一种精简状态矩阵优化器，能够在强基线上改进Transformer预训练。