@rohanpaul_ai：Meta新论文显示，小模型可能并非规模预测效果不佳，或许只是未获得充分调优。研究发现……
摘要
Meta最新论文显示，小型模型能够准确预测缩放规律，但需要更全面的超参数调优。研究发现，缩放规律在参数量约400万时开始显现，通过恰当调优其特征会变得更加清晰。
查看缓存全文
缓存时间: 2026/08/17 04:07
最新Meta论文表明，小模型可能并非不良的规模预测器——它们或许只是未得到充分调参。
研究发现，当模型参数达到约400万时，缩放定律开始显现，此时模型可在单块GPU上于1小时内完成训练。
小模型对超参数异常敏感。
当每个规模仅测试4或16种配置组合时，缩放定律基本不可见；测试64种配置时定律显现但外推性较差；而当配置数达到256种时，定律变得准确可靠。
随着模型规模扩大，优质参数配置在搜索空间中的占比逐渐增加，且最优解附近的有效超参数数量趋近于1。
这有助于解释为何大规模模型的缩放定律更清晰——这类模型更易于调参。
作为验证，小规模实验在测试范围内复现了预归一化Transformer比后归一化模型具有更优缩放特性的结论。
但存在一个限制：若超出实测规模过度外推，统计误差可能主导结果。
对于模型研究而言，低成本实验可能需要更广泛的调参广度，而非单纯扩大模型规模。
– arxiv. org/abs/2608.11859
论文标题：《小规模实验：足够可靠了吗？》
相似文章
@omarsar0：Meta 令人印象深刻的新论文。（收藏）缩放定律假设模型规模和训练数据独立作用于损失…
Meta 研究人员提出了 Skaling 定律，这是一种广义的缩放定律，通过单个交互指数将模型容量和数据耦合起来，将预测误差降低 1.5–3 倍，并使得全网格外推所需的计算量减少约 10 倍。
@ChrisGPotts：我们理所当然地认为更大的模型比小的更好，但为什么会这样？我们的新论文，由Jing Hua领导……
本文探讨了为什么更大的模型性能优于较小的模型，通过形式化分析和实验将其归因于数据引发的神经资源竞争。
2023-2031年模型规模扩展（阅读时间21分钟）
一篇关于AI模型规模扩展趋势的分析，发布于LessWrong，时间跨度为2023年至2031年。
奖励模型过度优化的标度律
OpenAI 研究人员通过实验研究了奖励模型过度优化对性能的影响，建立了标度律来说明代理奖励优化与真实性能之间的关系如何随优化方法变化，并与模型规模成可预测的关系。
@rohanpaul_ai: 更强的AI智能体不仅来自更大的模型，更来自围绕它们的更优系统。问题在于，许多AI…
该推文讨论了论文《从模型规模化到系统规模化》，该论文认为，更强大的AI智能体需要更好的系统设计（框架），包括上下文控制、记忆和路由，而不仅仅是更大的模型。