EdgeBench揭示新缩放定律：即时AI学习速度每三个月翻一番

Reddit r/singularity 新闻
edgebench scaling-law ai-learning-speed benchmark on-the-fly-learning doubling-every-3-months ai-research

摘要

EdgeBench揭示了一条新缩放定律，表明即时AI学习速度每三个月翻一番。

暂无内容
查看原文

相似文章

AI 和计算

OpenAI Blog

OpenAI 发布分析表明，自 2012 年以来，最大规模 AI 训练运行所使用的计算量以 3.4 个月的倍增周期呈指数级增长，累计增长 30 万倍，远远超过摩尔定律的增长速度。该分析预测这一趋势可能会继续，并呼吁增加学术 AI 研究经费以应对不断上升的计算成本。

AI 与效率

OpenAI Blog

# AI 与效率 来源: [https://openai.com/index/ai-and-efficiency/](https://openai.com/index/ai-and-efficiency/) 训练到 AlexNet 水平性能所需的总计算量（万亿浮点运算次/秒-天）。任意给定时间的最低计算点以蓝色显示，所有测量点以灰色显示。[2](https://openai.com/index/ai-and-efficiency/#citation-bottom-2),[5](https://openai.com/index/ai-and-efficiency/#citation-bottom-5),[6](https://openai.com/index/ai-and-efficiency/#citation-bottom-6),

AI 训练如何实现扩展

OpenAI Blog

# AI 训练如何实现扩展 来源：[https://openai.com/index/how-ai-training-scales/](https://openai.com/index/how-ai-training-scales/) 我们发现梯度噪声尺度（一个简单的统计指标）可以预测神经网络在广泛任务上的训练可并行性。由于复杂任务往往具有更高的梯度噪声，越来越大的批大小在未来可能会变得有用，从而消除了 AI 系统进一步增长的一个潜在瓶颈。更广泛地说，这些结果表明神经网络训练无需被视为神秘的艺术，而可以被严格化和系统化。