标签
本文研究使用符号回归发现显式神经网络权重更新规则，这些规则在小型符号回归基准上优于标准手工设计的优化器，在30个基准/网络组合中的25个上实现了44.47%的聚合MSE降低。
本文介绍了OPTScientist，一个理论引导的多智能体框架，它利用领域特定语言和闭环实验自动发现带类型的优化器程序。该框架发现了RS-MR，一种精简状态矩阵优化器，能够在强基线上改进Transformer预训练。