自动化强化学习应引起警惕

大语言模型（LLM）的训练大致可分为两个阶段：监督学习（SL）和强化学习（RL）。在SL中，你整理一个文本数据集，训练LLM根据前文预测下一个词元（token）。这一阶段的目标是产生一个能够以数据集风格生成自然语言的模型。此时训练的模型能够解决其数据集中的基本问题，因为它被训练来模仿数据集，但通常在涉及多步推理或超出数据集推断的任务上表现不佳。此时，它实际上只是手机键盘顶部预测文本按钮的极其优秀的版本。模型能够生成高质量、连贯的文本后，会进一步使用RL进行训练。在RL中，模型接收一个提示（prompt），然后生成输出——通常是一长串思维链后跟一个最终答案——该输出根据某种指标进行评估，可以由人工或自动评分器完成。你是否曾收到过来自ChatGPT或Claude的‘您最喜欢哪个回答’之类的消息？那么你就是在帮助模型进行强化学习，目标是产生用户喜欢的回答。AI谄媚并非AI公司刻意选择的结果，而是整个用户群体的综合偏好作为强化学习反馈的自然产物。你还记得2017年AI突然在国际象棋和围棋方面变得极其出色，几乎在一夜之间超越了最好的人类玩家吗？那是不同类型的模型，但它们之所以如此有效，是因为使用带有自动化奖励的RL进行训练。在像国际象棋或围棋这样的棋盘游戏中，模型的表现可以由计算机自动评估——它要么赢了游戏，要么输了游戏——因此可以使用RL进行训练，速度仅受限于计算能力，而非人类反馈。AlphaGo Zero在仅仅24小时的非监督自动RL训练中达到了超人类水平，在此期间与自己进行了数百万局对弈。在过去的几个月里，LLM在数学方面变得异常出色，以至于它们现在能够定期解决重大开放问题（不仅仅是Navier-Stokes方程）。这主要是因为模型发展到了能够相对容易地将非正式证明翻译成机器可检查的形式化证明（如在Lean中）的阶段。这意味着AI公司可以为数学运行自动RL训练，让模型在大量数学问题上自由发挥，并根据是否成功解决问题自动确定奖励。这实质上是数学版的AlphaGo，而且它奏效了。在其他领域进行自动RL要困难得多，但最近有报道称Anthropic正在建立一个自动化生物学实验室，其模型可以设计和进行实验。撇开实验室生物安全方面的（重大）担忧不谈，很明显Anthropic这样做是为了运行自动化的生物学RL，并期望实现与国际象棋和数学中相同的超人类表现。显然，这带来了潜在的好处，如新药和疾病治疗，但也有巨大的风险。Anthropic不会是唯一这样做的。如果他们还没有，其他AI实验室——在美国、中国和其他地方——将建立这类设施并运行自动RL。如果他们取得的成就接近我们在国际象棋和数学中看到的表现，那么这样的模型落入错误之手可能会造成无法估量的伤害。我们需要保护措施，而且现在就需要，所以我希望人们开始讨论这个问题，推动政治家和CEO们在事情失控之前采取行动。