2023-2031年模型规模扩展（阅读时间21分钟）
摘要
一篇关于AI模型规模扩展趋势的分析，发布于LessWrong，时间跨度为2023年至2031年。
针对特定的令牌生成速度会对模型的总参数量产生约束。如果没有足够的预训练算力，模型将保持较小规模。本文探讨了这些因素，并估算了2023年至2031年间每年可行的模型规模。这些估算基于多种假设，预测到2031年模型的总参数量将达到1.4千万亿。
查看缓存全文
缓存时间: 2026/06/23 13:43
# 模型规模扩展 (2023-2031) — LessWrong
Source: https://www.lesswrong.com/posts/yLHiQGCPdvzL9fBn3/model-size-scaling-in-2023-2031
x
相似文章
为什么缺乏新的100B-120B模型？
分析AI模型尺寸趋势，指出100-120B参数范围存在空白，近期发布主要聚焦于较小（25-35B）或较大（200B+）的模型。
开源模型落后了多少？（17分钟阅读）
LessWrong上的一篇分析，探讨了开源与专有AI模型之间的性能差距。
扩展我们构建和测试最先进 AI 的方式
随着 AI 模型变得越来越强大且个性化，本文探讨了可靠性、安全性以及用户保护日益增长的重要性。
神经语言模型的缩放规律
基础性实证研究，展示了语言模型性能与模型规模、数据集大小和计算预算之间的幂律缩放关系，对最优训练资源分配和样本效率有重要启示。
科技公司能否学会青睐更便宜的AI模型？
TechCrunch报道称，随着成本不断攀升，企业开始考虑转向更便宜、更小的AI模型，而非始终使用最强大的模型，这可能引发行业转变。布赖恩·阿姆斯特朗等人的预测表明，12-18个月内，80%的工作负载可能运行在价格便宜99%的模型上，这将严重冲击OpenAI和Anthropic等主要AI实验室。