标签
这条推文批评了2023年那些否认缩放定律并投资于AI易于复制的SaaS/开发工具的投资者，将他们比作恐龙，并评论了错过像OpenAI和Anthropic这样的AI公司。
本文提出了一种开源预训练配方，该配方在消费级RTX 5090 GPU上训练2B参数的语言模型，成本低于7000美元，性能接近更大的基线模型，并推导出了模型训练的成本缩放定律。
本期新闻通讯涵盖关键AI和科技新闻，包括一项Pew研究显示，自ChatGPT发布以来发布的三分之一网页显示出AI撰写的迹象，同时涉及企业竞争更新和代理安全研究。
本文提出了一种计算高效的两步超参数迁移框架，用于预测大型 Mixture-of-Experts 模型的最优学习率，从而无需昂贵的超参数搜索即可实现高效预训练。
文章质疑相对较小的Qwen 3.8 27B模型如何实现高智能，对当前的扩展定律和大型模型参数的效率提出疑问。
本文介绍了针对文本到图像扩散模型的系统性缩放律研究，表明它们可以可预测地缩放，但为了达到最佳训练，每个参数所需的数据远多于语言模型。
Scott Gray，OpenAI的早期关键员工，于2016年加入，参与稀疏Transformer、Scaling Laws和GPT-3的开发，主要负责底层GPU系统。据报道，OpenAI今年已有12位高层离开，凸显了关键人才的流失。
Meta最新论文显示，小型模型能够准确预测缩放规律，但需要更全面的超参数调优。研究发现，缩放规律在参数量约400万时开始显现，通过恰当调优其特征会变得更加清晰。
本文研究了在LLM预训练中重复高质量领域数据以在模型扩展时维持性能的权衡，发现最佳重复次数随模型大小增加，并与领域验证损失呈负相关。
一条讽刺性推文，嘲笑前沿AI实验室仍然预训练模型，声称无需实际训练就能从理论上预测损失。
本文介绍了MOSAIC，一个联合优化稀疏专家混合模型架构与硬件系统以支持大规模预训练的框架，表明在考虑MFU、通信成本和并行布局时，计算最优的稀疏性并不一定是集群最优的。
Dyna Robotics 推出了 Dyna-2，这是一个在一百万小时人类视频上预训练的世界-动作模型，揭示了缩放定律，并表明具身差距更像是一个适应问题，而非知识问题。
Dyna-2 is a world-action model pre-trained on over a million hours of human video, showing scaling laws on human data and a human-to-robot transfer scaling law for zero-shot robot performance.
Dyna Robotics 推出了 Dyna-2，一个在超过一百万小时人类视频上预训练的世界动作模型，发现了机器人操作的新扩展定律。
Meta 研究人员提出了 Skaling 定律，这是一种广义的缩放定律，通过单个交互指数将模型容量和数据耦合起来，将预测误差降低 1.5–3 倍，并使得全网格外推所需的计算量减少约 10 倍。
据报道，Pathway的BDH（一种后Transformer架构）在标准GPU上从零训练时，在10M到1B参数范围内匹配GPT-2的缩放性能。
CoRL 2026 上 Scaling H2R 研讨会的征文启事，聚焦于人类到机器人学习中的规模法则与多样性。提交截止日期：2026年10月7日。
一个讨论性问题，询问在固定内存预算下 LLM 量化的理论最佳位宽，并引用了 2025-2026 年关于 3-bit/2-bit 结果和缩放定律的研究。