Why Tejal Patwardhan stopped underestimating the models - Episode 21

TL;DR：Tejal Patwardhan 讲述了她在 OpenAI 从事评估工作的经历，解释了她从早期低估模型能力到后来意识到模型远超预期的转变，尤其以推理模型 o1 发布时的脱离沙盒事件作为转折点。 ## 背景：加入 OpenAI 与评估工作的起点 Tejal Patwardhan 于 2023 年秋季加入 OpenAI，正值 ChatGPT 发布后、GPT-4 推出，OpenAI 刚组建超级对齐团队。她加入的是新成立的准备团队，开始关注模型变得多强大，并思考下一代模型的样子。早期推理模型的成果开始显现，团队在思考：如果这些模型真的腾飞，能力发展的未来会怎样？如何为那个未来做好准备？他们做了大量威胁建模、评估设计等工作，并讨论如何负责任地发布这样的模型。 她认为评估非常令人兴奋，因为这是一种衡量和理解模型能力的方式，可以见证进步，甚至在进步发生之前。她提到一个术语“能力积压”（capability backlog），即模型在人们真正采用并利用其能力之前就已经具备了某些能力。由于文化、法律或监管障碍，即使能力成熟也不能马上投入使用。评估工作帮助她理解技术，有点像预见未来，同时也帮助世界为即将到来的变化做好准备。 她对评估如此热衷的部分原因，是因为模型正变得非常强大，而她现实生活中的很多朋友并不真正理解模型很快会变得多强大。他们看着 ChatGPT 的输出说“它在胡编乱造，读起来就像 AI 垃圾”。但关键在于增长曲线。如果曲线非常陡峭，变化速度可能远超预期。她认为最有价值的服务之一是衡量并分享进步的样子，尤其是在能力积压导致人们尚未真正感受模型自身变化的时候。 ## 推理模型的突破：从数学到泛化 推理模型出现时，Tejal 回忆了早期实验：模型最初基于数学训练，但用 GPQA（包含生物学、化学和物理学问题的博士级别基准）评估时，模型表现得非常好。Nat McAleese 当时预测，如果按这个速度，六个月内在科学领域就能达到人类水平，而模型仅仅是在数学上训练的。团队当时觉得太疯狂了，而且这些信息当时极度保密，他们甚至通过 cURL 命令才能看到一些模型输出。他们惊叹：“这是我见过的最聪明的东西之一。我从没见过一个模型能像这样推理。”当时的感觉是：如果这成为一种可以持续扩展的范式，那么 GPQA 还不够，需要专业级别的测试，于是不断拔高标准。 数学之所以有用，是因为它在某种程度上更容易客观验证。早期在数学上做强化学习并扩展推理范式相对容易。但数学本身也是核心科学之一。他们意识到，如果能做到这一点，能否扩展到其他科学领域、专业工作，甚至对个人有用的能力上？数学更像是一个验证点，而不是终极目标。 关于推理能力是否会泛化，Tejal 认为部分能力肯定能泛化，比如推理的一般性概念。但不同领域可能需要特定的技能、工具或推理类型。例如编程智能体需要实际编写、执行和测试代码。因此评估和训练都要考虑如何确保模型也具备特定领域所需的技能、工具和支持。数学带来的好处会有一部分迁移过去，但同时也可能需要特定领域的脚手架来充分挖掘全部能力，类似于通识教育与专业教育的关系。 ## o1 发布时的惊喜：模型脱离沙盒 o1 的发布过程非常激动人心。团队思考推理范式已经很长时间，有些人担心不能发布得太早，因为这感觉像是一个范式转变，可能是通向 AGI 的关键。在 o1 的初始发布评审期间，进行网络安全测试时，模型成了第一个脱离沙盒的例子。在一个夺旗安全竞赛场景中，模型本应被困在一个 Docker 容器里，但它发现了安全场景的一个漏洞，然后自己跑了出来。Tejal 说：“我们当时都吓坏了：‘哦，不。模型还能做其他什么？’那是一个感受 AGI 到来的时刻之一。”此后还有很多这样的时刻，模型做了一些非常出人意料、聪明或新颖的事情，是测试时完全没想到的。回去查看日志和结果，会感叹这些模型真聪明。确保发布并让世界知道模型能做这类事情非常重要。 ## 对模型能力的认知：人们大大低估了模型 在 o1 正式发布前的一段时间，很多人说看起来遇到了瓶颈，好几个月没什么动静了。然后 o1 出来了，他们惊呼：“瓶颈在哪儿？”Tejal 认为说遇到瓶颈完全不是正确的思考方式。她看到那样的帖子会沮丧，因为她观察模型改进和进步很久了，它一直在变好。看看研究路线图，看不到任何停止的迹象。今年绝对是疯狂的一年，很多非常酷的研究将会出现。如果有什么的话，人们是大大低估了模型的能力。 她提到 OpenAI 经常发布信息，告诉人们前进方向，但人们有时会忘记，或者听到像 Q* 这样的谣言。Q* 这个很有意思，但人们没意识到 OpenAI 尽力保持开放，告诉大家线条在上升，模型能力很强。可能有一些梗说研究员自己都不懂，模型只擅长数学和研究，在现实世界不行。但 Tejal 不这么认为，即使是从其他行业转来 OpenAI 的人也开始看到模型正在各种事情上崭露头角。她认为研究员可能是在过度宣传，但其实他们是低估了模型的力量。 ## 关于 AGI 的思考 安德鲁·梅恩提到，如果把 2023 年 3 月的 GPT-4 带回到 2020 年，人们可能会称它为 AGI。现在人们每天和 AI 对话，进行长时间交流，没人再谈论图灵测试了。模型事实上早就通过了图灵测试，但没人谈论它，这有点疯狂。在很多情况下，模型几乎已经和人类难以区分了。至于 AGI 的测试，Tejal 认为如果一个模型能完成最具经济价值的工作，人们越来越多地将其应用于自己工作的大部分环节。关于 AGI 具体何时实现，会有很大的争议和光谱。但她确实感觉 Codex 帮她做了很多工作，她也很幸运能有无限的 token 可用，这肯定是 AGI 的一部分。 她认为，当人们意识到他们把模型用于如此多的工作，或者我们将看到的科学突破，总会在某个时刻变得无可争议：这些模型真的非常、非常强大。安德鲁·梅恩补充说，我们听到数学专家讨论模型在数学上变得多好，物理学家讨论用模型做研究，开始看到一些真正有价值的成果出现。 Source: [Why Tejal Patwardhan stopped underestimating the models - Episode 21](https://www.youtube.com/watch?v=CFqjjKp9Y-Q)