通过大型模型的演化

# 通过大型模型的演化 来源：https://openai.com/index/evolution-through-large-models/ OpenAI ## 摘要 本论文的核心观点是，经过训练用于生成代码的大型语言模型（LLMs）可以大幅提高遗传编程（GP）中应用于程序的变异算子的有效性。由于这些 LLMs 从包含顺序变更和修改的训练数据中受益，它们能够近似人类可能进行的合理改变。为了突出通过大型模型进行演化（ELM）的广泛影响，在主要实验中，ELM 与 MAP-Elites 相结合，生成了数十万个功能性 Python 程序示例，这些程序在 Sodarace 域中输出可行走的机器人，而原始 LLM 在预训练中从未见过这些内容。这些示例随后帮助引导训练一个新的条件语言模型，该模型可以为特定地形输出合适的行走机器人。在以前没有任何训练数据的领域中，引导新模型为给定的上下文输出适当工件的能力，对开放性、深度学习和强化学习都有重大影响。这些影响在此深入探讨，希望能激发由 ELM 所开启的新研究方向。