AI 与效率

# AI 与效率 来源：https://openai.com/index/ai-and-efficiency/ 训练到 AlexNet 级别性能所需的计算量（以 teraflops/s-days 计）。任何给定时间的最低计算点以蓝色显示，所有测量的点以灰色显示。2 (https://openai.com/index/ai-and-efficiency/#citation-bottom-2),5 (https://openai.com/index/ai-and-efficiency/#citation-bottom-5),6 (https://openai.com/index/ai-and-efficiency/#citation-bottom-6),7 (https://openai.com/index/ai-and-efficiency/#citation-bottom-7),8 (https://openai.com/index/ai-and-efficiency/#citation-bottom-8),9 (https://openai.com/index/ai-and-efficiency/#citation-bottom-9),10 (https://openai.com/index/ai-and-efficiency/#citation-bottom-10),11 (https://openai.com/index/ai-and-efficiency/#citation-bottom-11),12 (https://openai.com/index/ai-and-efficiency/#citation-bottom-12),13 (https://openai.com/index/ai-and-efficiency/#citation-bottom-13),14 (https://openai.com/index/ai-and-efficiency/#citation-bottom-14),15 (https://openai.com/index/ai-and-efficiency/#citation-bottom-15),16 (https://openai.com/index/ai-and-efficiency/#citation-bottom-16) 算法效率可以定义为减少训练特定能力所需的计算量。效率是我们衡量经典计算机科学问题（如排序）算法进步的主要方式。传统问题（如排序）的效率提升更容易测量，因为它们有更清晰的任务难度衡量指标。A (https://openai.com/index/ai-and-efficiency/#citation-bottom-A)但我们可以通过保持性能恒定来将效率的角度应用于机器学习。效率趋势可以跨领域进行比较，如 DNA 序列分析17 (https://openai.com/index/ai-and-efficiency/#citation-bottom-17)（10 个月翻倍）、太阳能18 (https://openai.com/index/ai-and-efficiency/#citation-bottom-18)（6 年翻倍）和晶体管密度3 (https://openai.com/index/ai-and-efficiency/#citation-bottom-3)（2 年翻倍）。 在我们的分析中，我们主要利用开源重新实现19 (https://openai.com/index/ai-and-efficiency/#citation-bottom-19),20 (https://openai.com/index/ai-and-efficiency/#citation-bottom-20),21 (https://openai.com/index/ai-and-efficiency/#citation-bottom-21)来测量长期以来 AlexNet 级别性能的进步。我们在 ImageNet 上的 ResNet-50 级别性能上看到了类似的训练效率改进速度（17 个月的翻倍时间）。7 (https://openai.com/index/ai-and-efficiency/#citation-bottom-7),16 (https://openai.com/index/ai-and-efficiency/#citation-bottom-16)在较短时间内，我们在机器翻译、围棋和 Dota 2 上看到了更快的改进速度： 1. 在翻译领域，Transformer22 (https://openai.com/index/ai-and-efficiency/#citation-bottom-22)在 3 年后以 61 倍更少的训练计算量超过了 seq2seq23 (https://openai.com/index/ai-and-efficiency/#citation-bottom-23)在 WMT'14 英法翻译上的性能。 2. 我们估计 AlphaZero24 (https://openai.com/index/ai-and-efficiency/#citation-bottom-24)在 1 年后用 8 倍更少的计算量达到了 AlphaGoZero25 (https://openai.com/index/ai-and-efficiency/#citation-bottom-25)级别的性能。 3. OpenAI Five Rerun 在 3 个月后用 5 倍更少的训练计算量超过了 OpenAI Five26 (https://openai.com/index/ai-and-efficiency/#citation-bottom-26)（击败了世界冠军 OG(opens in a new window) (https://liquipedia.net/dota2/OG)）。 把 2012 年的计算量看作不等于 2019 年的计算量是很有帮助的，类似于美元需要随时间进行通胀调整。同样的计算量在 2019 年比在 2012 年能完成更多工作。思考这一点的一种方式是，某些类型的 AI 研究进展分为两个阶段，类似于半导体中看到的"节奏模型"发展；新能力（"节奏"）通常需要大量的计算支出来获得，然后这些能力的精化版本（"踏步"）由于工艺改进变得更高效以部署。 算法效率的提升使研究人员能够在给定的时间和资金内进行更多感兴趣的实验。除了作为整体进步的衡量指标外，算法效率的提升还能加快未来的 AI 研究，这在某种程度上类似于拥有更多的计算量。 除了效率，许多其他衡量指标也能阐明 AI 整体算法进展的情况。以美元计的训练成本28 (https://openai.com/index/ai-and-efficiency/#citation-bottom-28)是相关的，但对算法进步的关注不够集中，因为它也受到底层硬件改进、硬件利用率和云基础设施改进的影响。样本效率是关键，当我们处于低数据环保境中时，这对许多感兴趣的任务来说是这样的情况。更快地训练模型29 (https://openai.com/index/ai-and-efficiency/#citation-bottom-29)的能力也能加快研究，可以被认为是感兴趣的学习能力的可并行性30 (https://openai.com/index/ai-and-efficiency/#citation-bottom-30)的衡量。我们也发现推理效率在 GPU 时间31 (https://openai.com/index/ai-and-efficiency/#citation-bottom-31)、参数16 (https://openai.com/index/ai-and-efficiency/#citation-bottom-16)和浮点运算方面的提升很有意义，但主要是由于其经济意义B (https://openai.com/index/ai-and-efficiency/#citation-bottom-B)而不是对未来研究进展的影响。ShuffleNet13 (https://openai.com/index/ai-and-efficiency/#citation-bottom-13)在 5 年内以 18 倍推理效率提升达到了 AlexNet 级别性能（15 个月的翻倍时间），这表明训练效率和推理效率可能以相似的速度改进。创建数据集/环境/基准是使特定 AI 能力更容易测量的强大方法。 如果大规模计算继续对于在语言和游戏等领域实现最先进（SOTA）整体性能很重要，那么重点测量用更少计算量实现的显著进展（通常由学术机构贡献）就很重要。在有意义的能力上达到训练效率最先进水平的模型是有潜力进行扩展并可能实现整体顶级性能的候选模型。此外，弄清楚算法效率改进非常直观F (https://openai.com/index/ai-and-efficiency/#citation-bottom-F)，因为它们只是所有实验生成的学习曲线的特别有意义的一部分。 我们还认为测量效率 SOTA 的长期趋势将有助于描绘整体算法进步的量化图景。我们观察到硬件和算法效率的收益是乘法的，在有意义的时间范围内可能处于相似的规模，这表明一个好的 AI 进步模型应该整合来自两者的衡量。 我们的结果表明，对于投资水平高的 AI 任务（研究人员时间和/或计算）算法效率可能超过硬件效率（摩尔定律）的收益。摩尔定律在 1965 年提出，当时集成电路仅有 64 个晶体管（6 次翻倍），天真地推断它预测了个人电脑和智能手机（iPhone 11 有 85 亿个晶体管）。如果我们观察到 AI 算法效率数十年的指数级改进，这会导致什么？我们不确定。这些结果引发我们提出这个问题，对我们来说略微更新了对具有强大 AI 服务和技术的未来的看法。 基于这些原因，我们将开始公开跟踪效率 SOTA。我们将从视觉和翻译效率基准开始（ImageNetG (https://openai.com/index/ai-and-efficiency/#citation-bottom-G)和 WMT14），并且我们会考虑随时间添加更多基准。我们相信这些基准上存在我们不知道的效率 SOTA，并鼓励研究社区在此处提交它们(opens in a new window) (https://github.com/openai/ai-and-efficiency)（我们会向原作者和合作者致谢）。 行业领袖、决策者、经济学家和潜在研究人员都在努力更好地理解 AI 进步，并决定他们应该投入多少注意力以及将其投向何处。测量工作可以帮助为此类决定奠定基础。如果你对这类工作感兴趣，考虑申请 (https://openai.com/careers/)加入 OpenAI 的远见和政策团队！