埃隆·马斯克想要一个OpenAI营利性实体

# Elon Musk 想要一个盈利的 OpenAI 来源: https://openai.com/index/elon-musk-wanted-an-openai-for-profit/ 我们通常认为问题很难，因为聪明人长期以来一直在尝试解决但都失败了。很容易认为 AI 也是这样。然而，过去五年的进展表明，最早和最简单的 AI 概念——神经网络——一直都是对的，我们只是需要现代硬件来让它们工作。 从历史上看，AI 的突破一直都发生在需要 7-10 天训练时间的模型上。这意味着硬件定义了 AI 突破的潜在可能性。这更多是一个关于人类心理学的陈述，而不是关于 AI。如果实验需要更长的时间，很难在脑子里保持所有的状态并进行迭代改进。如果实验更快，你就会使用更大的模型。与其说 AI 进步是一个硬件游戏，不如说物理学是一个粒子加速器游戏。但是如果我们的电脑太慢，再聪明也无法产生 AGI，就像粒子加速器太小，我们就没有机会弄清楚宇宙如何运作一样。足够快的计算机是必要条件，过去所有的失败可能都是因为计算机太慢无法支持 AGI。 直到最近，还没有办法把许多 GPU 连接在一起来运行更快的实验，所以学术界的"有效计算"与工业界相同。但今年早些时候，Google 使用了比通常多两个数量级的计算来优化分类器的架构，这种工作通常需要大量研究人员的时间。几个月前，Facebook 发布了一篇论文，展示了如何用接近线性的加速效果在 256 个 GPU 上训练大型 ImageNet 模型（需要一个特别配置的高带宽互连集群）。 过去一年，Google Brain 取得了令人印象深刻的成果，因为他们拥有比任何人都多一两个数量级的 GPU。我们估计 Brain 拥有约 100k 个 GPU，FAIR 拥有约 15-20k 个，DeepMind 为每个研究人员分配 50 个 GPU 用于提问研究，并从 Brain 租赁了 5k 个 GPU 用于 AlphaGo。显然，当人们在 Google Brain 运行神经网络时，会耗尽 DeepMind 的所有配额。 我们仍然缺少建立 AGI 所需的几个关键想法。我们如何使用系统对"事物 A"的理解来学习"事物 B"（例如，我能教一个系统计数，然后乘法，然后解决词语问题吗）？我们如何构建好奇的系统？我们如何训练一个系统来发现所有现象的深层根本原因——充当科学家？我们如何构建一个能够适应它没有被精确训练过的新情况的系统（例如，被要求在不熟悉的情况下应用熟悉的概念）？ 但是，给定足够的硬件在 7-10 天内运行相关实验，历史表明正确的算法会被发现，就像物理学家只要有足够大的粒子加速器就能快速弄清宇宙如何运作一样。 有充分的理由相信深度学习硬件在接下来的四到五年里每年会加速 10 倍。世界习惯了摩尔定律相对缓慢的步伐，还没有为这种硬件加速将带来的剧烈能力变化做好准备。这种加速不会因为晶体管更小或时钟周期更快，而是因为像大脑一样，神经网络本身是高度可并行化的，新的高度并行硬件正在被开发来利用这一点。 在接下来的三年内，机器人技术应该会彻底解决，AI 应该会证明一个长期未证明的定理，编程竞赛应该会被 AI 持续赢得，应该会出现令人信服的聊天机器人（尽管没有人应该通过图灵测试）。在短短四年内，每个夜间实验都可能使用如此多的计算容量，给定正确的算法，就有实际的机会在早上醒来时得到 AGI——而找到算法实际上会在进一步 2-4 年的竞争性多代理模拟中进行实验。 要从事建立安全 AGI 的业务，OpenAI 需要： - 每年都有最好的 AI 成果。特别是，随着硬件指数级改进，我们将获得显著更好的结果。我们的 DOTA 和魔方项目将在当前计算水平上取得令人印象深刻的结果。明年的项目会更加极端，现实取决于我们能获得多少计算资源。 - 尽快将我们的 GPU 集群从 600 个 GPU 扩展到 5000 个 GPU。作为上限，这将需要 1200 万美元的资本支出和明年 500-600 万美元的运营支出。每年，我们需要指数级增加硬件支出，但我们有理由相信 AGI 最终可以用少于 100 亿美元的硬件成本来构建。 - 增加人员：从 55 人（2017 年 7 月）到 80 人（2018 年 1 月）到 120 人（2019 年 1 月）到 200 人（2020 年 1 月）。我们已经学会了如何组织现有团队，现在我们受制于尝试想法的聪明人数量。 - 锁定压倒性的硬件优势。他说他可以在 2 年内制造的 4 芯片卡实际上是 TPU 3.0，（如果数量足够）将使我们与 Google 在计算上处于几乎平等的地位。Cerebras 的设计远领先这两者，如果他们真实存在的话，对他们的独占访问权将使我们远领先竞争对手。我们有一个结构化的想法，需要进一步的尽职调查，最好通话讨论。 第 2/3/4 点最终将需要大量资本。如果我们能获得资金，我们就有真正的机会来设定 AGI 诞生的初始条件。增加的融资需求将与成果的增加幅度同步进行。我们应该讨论获得相关融资的选项，因为这是我们直接控制之外最大的部分。 本周进展： - 我们击败了排名第一的 1v1 测试玩家（他在北美 1v1 排名前 30，击败排名第一的 1v1 玩家的概率约 30%），但这个机器人也可能被玩得很奇怪的方式利用。我们正在努力理解这些利用方式并加以制止。 - 重复周六的内容，这是我们第一次击败排名第一的测试玩家的比赛：https://www.youtube.com/watch?v=FBoUHay7XBI&feature=youtu.be&t=345 - 每额外训练一天，机器人就会变得更强大，更难被利用。 - 机器人越来越接近解决魔方。 - 由人类遥操的改进的魔方模拟。 - 我们的对抗性示例防御开始在 ImageNet 上有效。 - 我们将在 8 月底前彻底解决对抗性示例的问题。