持续学习的力量

# 持续学习的力量 来源：https://openai.com/index/the-power-of-continuous-learning/ OpenAI 的 Lilian Weng 从事应用 AI 研究工作。 通用人工智能（AGI）应该在大多数经济价值高的工作中超越人类。我期待看到 AGI 以以下方式帮助人类社会： 1. 完全自动化或大幅减少人类在重复性、非创新性任务上的工作量。换句话说，AGI 应该能大幅提升人类生产力。 2. 大大加快科学突破的发现，包括但不限于通过提供额外的分析和信息来促进人类决策过程。 3. 有效、高效且安全地理解和与物理世界互动。 在我在 OpenAI 的前 2.5 年里，我在机器人团队中从事一项登月项目：我们想教一个类人的机器人手臂解魔方。这是一次极其振奋、具有挑战性和充满情感的经历。我们通过深度强化学习（RL）、大量的领域随机化和零真实世界训练数据解决了这个难题。更重要的是，我们作为一个团队征服了这个挑战。 从模拟和 RL 训练到视觉感知和硬件固件，我们协作得非常紧密有效。这是一次了不起的实验，在那段时间里，我经常想起 Steve Jobs 的现实扭曲力场：当你强烈相信某件事并坚持不懈地推动它时，你就能让不可能的事情变成可能。 从 2021 年初开始，我开始领导应用 AI 研究团队。管理一个团队带来了不同的挑战，也需要改变工作方式。我最自豪的是应用 AI 团队完成的与语言模型安全相关的几个项目： 1. 我们设计并构建了一套评估数据和任务，以评估预训练语言模型生成仇恨、色情或暴力内容的倾向。 2. 我们创建了详细的分类体系，并构建了一个强大的分类器来检测不良内容，以及说明为什么这些内容是不当的。 3. 我们正在开发各种技术，使模型不太可能生成不安全的输出。 应用 AI 团队在实践如何最好地部署尖端 AI 技术（如大规模预训练语言模型）时，我们看到了它们对现实任务的强大威力和实用价值。我们也深刻认识到安全部署这些技术的重要性，正如我们的章程中所强调的那样。 当前的深度学习模型并不完美。它们是用由人类创建的大量数据（例如互联网上、精选内容和文献）训练的，不可避免地会吸收长期存在于我们社会中的许多缺陷和偏见。例如，当要求 DALL·E 描绘一名护士时，它只会生成女性角色；当描绘教授时，它只会生成白人。该模型捕捉了真实世界统计数据中的偏见或我们训练数据中的偏见。 我被激励去设计一种方法来缓解这种社会偏见，并评估该方法的效率。与团队一起，我们设计了一个减少这类偏见的流程，以及一个进行人工在环评估的工作流程。减少社会偏见不是一个容易的问题，因为它出现在我们生活的许多方面，有时很难被发现。但我很高兴 DALL·E 团队认真对待这个问题，并在很早的阶段就采取了行动。我们现在所拥有的只是一个开始，我们将继续取得进展。我为在这个领域工作感到自豪，也很高兴看到我们正在一步步地让现代 AI 变得更加安全和更好。 > "来自不同主题或领域的想法往往能激发新的想法，拓宽潜在的解决方案空间。" 我相信学习的力量，学习永远不会太晚。维护我的个人博客是保持好奇心并定期了解深度学习社区新进展的好方法。我也鼓励我的团队不断学习，无论是否与他们目前的项目相关。来自不同主题或领域的想法往往能激发新的想法，拓宽潜在的解决方案空间。 我也是团队合作的坚定信奉者。如果每个人都发挥自己的最大优势，我们就能实现 1+1 > 2。同时，我们可能经常会遇到"脏活"，个人而言，我非常愿意承担这些任务，因为只要这是最大的障碍或该任务能为项目增加最大价值，就没有什么应该被认为是"脏活"或"琐碎"的。我鼓励我身边的人也这样做，做一个团队合作者，共同努力提升团队生产力。 一切都始于一组个人学习笔记。我进入深度学习领域并不早，至今仍认为自己是一个"新手"。最初当我开始研究这么多论文时，我对这样的概念感到惊奇：不是设计一种算法来解决问题，而是训练一个模型来学习该算法以解决问题。我读得越多，好奇心就越强。实际上，整理我读过的所有论文和学到的新概念变得极其困难。所以我决定开一个博客来记录和整理我的学习笔记。我也相信学习某样东西的最好方法是确保你能正确而清晰地教会他人这些知识。写作帮助我做到了这一点。 我没有预期它会在 ML 社区中变得受欢迎，但每当我收到感谢邮件或有人面对面地告诉我他们从阅读我的博客中学到了很多东西时，我都感到非常荣幸和感激。自 2017 年开设博客以来已经快 6 年了，我会尽可能长久地继续运营它。 AI 社区近年来取得了巨大进展。硬件、模型架构和数据的进步使得训练超大规模模型成为可能，因此我们不断看到越来越强的能力。我相信我们正在朝着 AGI 的正确轨道前进，但扩展规模并不是唯一的良方。在我看来，现在最紧迫的挑战是对齐和安全。在某种程度上，它们可能是关于可控性或可操纵性的同一个问题。 首先，即使我们已经拥有了一个极其强大的 AI 系统，如果我们不能有效地沟通我们的目标，并确保该模型与我们想要的东西保持一致，我们也不可能创造出我们需要的那么多价值。当前最强大的模型从海量数据中学习，该数据集不可避免地捕捉了真实世界中的不完美缺陷和偏见。在这方面，不对齐的模型存在安全隐患，因为它们不知道应该避免什么。 > "我相信我们正在朝着 AGI 的正确轨道前进，但扩展规模并不是唯一的良方。现在最紧迫的挑战是对齐和安全。" 这不是某个人给我的特殊建议，而是基于我迄今为止在 OpenAI 的经历。那就是要思考得宏大。我们在创造新的东西，我们应该有雄心、有勇气，并具有足够的毅力来坚持这些努力。 书籍。我通常阅读深度学习领域之外的书籍，并从各个领域获得灵感；例如，作家在 50 年间保持坚持是多么关键，外科医生要多么细节导向，企业家要有多么"疯狂的想法"。 我身边的人。我荣幸与 OpenAI 的一大群极其聪慧的同事一起工作。每个人都有闪闪发光的、鼓舞人心的或值得尊敬的品质，我享受向他们学习。