AI 和计算

# AI 与计算 来源：https://openai.com/index/ai-and-compute/ 我们发布的分析表明，自 2012 年以来，最大的 AI 训练任务所使用的计算量呈指数增长，翻倍周期为 3.4 个月（相比之下，摩尔定律的翻倍周期为 2 年）。自 2012 年以来，这一指标增长了 300,000 多倍（按 2 年翻倍周期计算，只会增长 7 倍）。计算能力的提升一直是 AI 进步的关键因素，只要这一趋势持续下去，就值得为那些远超当今能力的系统做好准备。 我们更新了分析(https://openai.com/index/ai-and-compute/#modern)，包含了 1959 至 2012 年的数据。从整体来看，我们清晰地看到 AI 系统训练中存在两个不同的计算使用时代：（a）第一个时代，从 1959 年到 2012 年，其结果大致遵循摩尔定律，（b）现代时代，从 2012 年至今，所用的计算能力大幅超越了宏观趋势。AI 投资历史通常被讲述为繁荣与衰退的故事，但我们在过去半个世纪中模型训练所使用计算量的历史趋势中并未看到这一点的反映。看起来 AI 寒冬和兴奋期对过去 50 年中用于训练模型的计算量的影响很小。(https://openai.com/index/ai-and-compute/#citation-bottom-B) 从 1959 年的感知器(https://www.nytimes.com/1958/07/13/archives/electronic-brain-teaches-itself.html)开始，我们看到这些历史结果中计算量的翻倍时间约为 2 年——而从 2012 年前后开始，翻倍时间缩短到 3.4 个月。仅从这些数据很难得出强有力的结论，但我们认为这一趋势可能是由于当时可能使用的计算量限制以及扩大实验规模的意愿相结合而产生的。(https://openai.com/index/ai-and-compute/#citation-bottom-C) 对于这次更新的分析，我们遵循了原始帖子中列出的相同方法。在可能的情况下，我们通过直接实现模型来以程序方式计算结果中的浮点运算次数（FLOP）。由于历史上计算机架构各异，且许多论文遗漏了计算设置的细节，这些较早的数据点的不确定性更大（我们对 2012 年后数据的原始分析力求精度在 2-3 倍以内，但对于这些 2012 年前的数据点，我们的目标是数量级估计）。我们还创建了提供数据其他视角的图表：一个图表展示了基础知识、语音、语言、视觉和游戏领域随时间推移的计算使用情况，另一个图表可视化了每个数据点周围的误差条估计值。 我们对 AI 系统中计算使用量的未来存在很大不确定性，但很难确信近期计算使用量快速增长的趋势会停止，我们看到了许多这一趋势可能继续的原因(https://openai.com/index/ai-and-compute/#lookingforward)。基于这一分析，我们认为政策制定者应该考虑增加对 AI 学术研究的资金投入(https://openai.com/index/ai-and-compute/#citation-bottom-D)，因为很明显，某些类型的 AI 研究正在变得计算量密集，因此成本更高。