2023-2031年模型规模扩展（阅读时间21分钟）
摘要
一篇关于AI模型规模扩展趋势的分析，发布于LessWrong，时间跨度为2023年至2031年。
针对特定的令牌生成速度会对模型的总参数量产生约束。如果没有足够的预训练算力，模型将保持较小规模。本文探讨了这些因素，并估算了2023年至2031年间每年可行的模型规模。这些估算基于多种假设，预测到2031年模型的总参数量将达到1.4千万亿。
查看缓存全文
缓存时间: 2026/06/23 13:43
# 模型规模扩展 (2023-2031) — LessWrong
Source: https://www.lesswrong.com/posts/yLHiQGCPdvzL9fBn3/model-size-scaling-in-2023-2031
x
相似文章
扩展定律，谨慎解读（25分钟阅读）
全面概述深度学习中的扩展定律，追溯其理论基础和实证发现，并解释损失如何随模型大小、数据和计算量可预测地降低。
为什么缺乏新的100B-120B模型？
分析AI模型尺寸趋势，指出100-120B参数范围存在空白，近期发布主要聚焦于较小（25-35B）或较大（200B+）的模型。
开源模型落后了多少？（17分钟阅读）
LessWrong上的一篇分析，探讨了开源与专有AI模型之间的性能差距。
扩展我们构建和测试最先进 AI 的方式
随着 AI 模型变得越来越强大且个性化，本文探讨了可靠性、安全性以及用户保护日益增长的重要性。
神经语言模型的缩放规律
基础性实证研究，展示了语言模型性能与模型规模、数据集大小和计算预算之间的幂律缩放关系，对最优训练资源分配和样本效率有重要启示。