标签
文章质疑 Nvidia 的 Vera Rubin 是否会加速 LLM 预训练，并探讨了考虑到数据、电力和成本等限制，超过 10 万亿参数的模型是否可行。
本文分析了用于 LLM 推理的同策略自蒸馏（OPSD），指出未经验证的学生生成骨架会带来模仿鸿沟，且该鸿沟随模型规模增大而加剧，因此提出了 OASIS 方法：利用模型生成的尝试作为教师上下文，主要对经过答案标签验证的同策略轨迹进行监督，使 Qwen3 1.7B/4B/8B 模型在 AIME/HMMT 基准上提升 3.2-3.8 个点。
本文分享了《How to scale your model》一书中关于推理的专门章节，涵盖了Transformer模型的关键优化技术，如KV缓存和延迟分析。
本文提出了大规模AI推理中上下文表示的原理化方法，引入了R3Con，它优于基线方法，并使较小模型能够以更低成本达到与较大模型相当的性能。
文章报道了OpenRSI的Marin-Scaling-Ladder实验的初步结果，其中AI代理自主提出、实现和评估新的优化器，跨越从550M到2.5B的模型规模，发现了PSPR和Codex (GPT-5.6)。
Fuli Luo 分享了关于 MiMo-V2.6 模型在强化学习方面的扩展研究，重点关注计算规模、环境和工具链的提升。
本文研究了从2019年到2025年的AI预训练进展，发现在1e19 FLOPs预算下，数据改进对计算效率提升的贡献是模型改进的3.24倍。
本文研究了持久记忆AI代理如何过度信任过时的存储事实，导致模型能力所限制的故障，并评估了不同模型规模下的触发因素和缓解措施。
本文表明，扩展任务外模型生成的蒸馏数据可以放大学生的潜在教师特质，即使数据看似无害，这表明在AI训练中需要特质感知的筛选。
播客讨论涵盖了AI在物理模拟中的应用，包括扩展到万亿参数模型、高分辨率天气预报，以及聚变能源中等离子体行为的预测。
本文通过使用自然叙事研究语言模型和人类中的实体跟踪能力，发现子十亿参数的模型已达到人类水平并超越人类，表明核心语言理解能力在比先前假设更小的规模上涌现。
研究人员使用 DeepSeek V4 Flash 和 StateM 在 Terminal-Bench 2.1 上达到了 95.3% 的准确率，匹配了 GPT-5.6 Sol Max 的性能，并探索了超越模型扩展的智能体改进。
本文研究了在LLM预训练中重复高质量领域数据以在模型扩展时维持性能的权衡，发现最佳重复次数随模型大小增加，并与领域验证损失呈负相关。
本文介绍了Steerling-8B，一种以可解释性为约束训练的扩散语言模型，展示了可解释性随规模提升，并支持无需重新训练的概念引导。
李飞飞强调了一种新的用于机器人学习的测试时训练方法，该方法由Stanford SVL和NVIDIA Robotics合作开发，可将机器人模型上下文扩展到8000个时间步长，且推理成本恒定。
这是一条对一篇关于TPU/GPU集群中集体通信的博客文章的推文回复，建议进行后续工作，计算在Blackwell NVL72上对1T MoE模型的预期计算/通信时长，并估算理论MFU和瓶颈。
微信WeLM团队发表论文，介绍Hidden Decoding方法，在不增加Transformer主干参数的情况下通过隐藏流扩展计算，训练出WeLM-HD4-80B和WeLM-HD4-617B MoE模型，在多项基准上超越自回归基线。
本文审计了大模型作为裁判（LLM-as-judge）评估的可靠性，表明即使候选回复固定不变，更换评估模型也可能改变评分。论文考察了Qwen3和MiniMax模型的扩展与升级路径，得出结论：裁判升级不可互换，并提出了最佳报告实践。
一篇关于AI模型规模扩展趋势的分析，发布于LessWrong，时间跨度为2023年至2031年。