标签
Microsoft AI CEO Mustafa Suleyman 预言 1000 亿美元级的 AI 训练即将出现，他表示少数几家实验室正在集结吉瓦级的算力，使算力和推理时扩展成为颠覆性的竞争优势。
Nokia 应用研究部门与 Florida State University 的研究人员提出了大模型压缩（剪枝、量化、蒸馏）的能力缩放定律：通过共享密度-响应关系，拟合剪枝预测模型所需的测量量减少一半，同时在 Pythia 和 OLMo-2 模型上与完整拟合的回归结果差异不超过每 token 0.020 nats。
斯坦福大学2026年秋季新课CME 295《Transformers与大语言模型》开放选课，第二讲笔记发布，系统梳理模型家族、缩放定律、MoE、架构优化、解码策略与提示范式等LLM核心主题。
一篇简短评论（附有一条 X 帖子链接），认为 AI 能力并没有"FOOM"——也就是说，智能并没有像一些人预言的那样爆炸式地崛起——借此反思 AI 灾难论/爆发式增长（doomer/foom）图景与实际进展之间的差距。
NYU 2026 秋季研究生研讨课《Language Models, Reinforcement Learning, Reasoning》以 13 周课程串联从 Transformer 到世界模型的前沿，覆盖预训练扩展律、RLVR/GRPO 后训练、对齐安全与 Kimi K3 等真实工程实践，讲师 Pavel Izmailov 来自 Anthropic 并曾参与 OpenAI o1 与超级对齐团队。
一篇新论文揭示了 LLM 预训练中的“模式跳跃”（mode-hopping）现象：即使训练损失保持平稳，模型也会在浅层模式匹配与真正的泛化能力之间反复切换——这意味着更多的预训练并不总能保证更好的泛化效果。
推荐 Lilian Weng 的博客 Lil'Log 的帖子，介绍了她的七步研究写作工作流，并总结了她关于递归自我改进、缩放定律、推理时算力和奖励黑客行为的文章。
本文重新审视了AI对齐中奖励优化的缩放定律，表明性能随 Θ(√min{log(M), K}) 扩展，其中 M 为偏好数据量，K 为 KL 散度预算；文中还提出了一个信息论模型，并使用代理奖励模型进行了大量的实证验证。
该论文提出两种学习得到的潜在蛋白质语言——PLL（基于冻结ESM-2编码器构建的4,096状态上下文字母表）和SLL（对GCP-VQVAE Lite结构分词器的改进），并分别在其上通过下一词元预测预训练自回归Transformer（PLLM和SLLM）。在蛋白质序列与结构生成任务中，与氨基酸级自回归模型相比，它们展现出更好的计算扩展性、采样质量，以及相比AlphaFold2约1000倍的推理速度。
本文提出了一种精确的生成-变换分解方法，用以分析小型7–9B LLM团队在八种编排架构下的扩展性表现。研究发现，扩展收益与任务高度相关：Proposer-Critic 架构在算术基准测试中表现最佳，但没有任何一种架构能在所有任务中全面占优。
本文发现，较小的冻结模型能够为偏好蒸馏生成比模型自生成回复更优的负样本（拒绝样本），在降低推理成本的同时，训练出在代码生成与数学推理任务上更强的 7B–72B 学生模型。作者在线性化特征模型下推导了 DPO 的有限时域效用界，用以解释为何任务结构与低似然候选选择能够提升拒绝样本的质量。
本文研究了无标注的 AI 生成网页文本如何影响语言模型预训练：训练了 800 个模型并拟合新的缩放定律。研究发现，AI 文本在早期对数据匮乏的模型有益，但对以人类文本为主的数据预算很快转为有害；作者提出了一个将收益项与危害项分开的缩放定律，其效果优于现有定律，并开源了 WildAI 83B token 语料库及全部模型。
研究系统评估了合成数据预预训练（PPT）在 500M 到 7B 参数、最高 100B token 预训练预算下的表现，发现 PPT 的 token 效率增益在大规模下依然存在，但这些增益并非来自先前假设的语法先验，而是源于提升长程检索能力的 PPT 任务。
提出 Loop Scaling Laws，这是首个将循环（looped transformers）与稀疏性（MoE）和模型规模、数据量联合建模的缩放定律，研究表明在同等算力下，looped MoE 在推理基准上的表现可与约 2 倍规模的模型持平。
本文系统比较了无编码器和基于编码器的多模态模型的缩放定律，发现无编码器架构在小规模时性能不足，但在更大的计算预算下能赶上，随着规模增加，视觉编码器的优势逐渐减弱。
本文研究了在线蒸馏（OPD）在弱到强、同基座、强到弱三种师生大模型设置下的缩放特性，发现存在一个普适的「有效迁移」区间：在该区间内，留出集准确率随 KL 散度近似线性上升；通过拟合幂律进一步表明，在相同的 gold 分数下，更小的教师模型反而能实现更好的能力迁移。
本文介绍了两种注意力机制：CoWindow 注意力和 MassAlloc 注意力，它们优化了 Transformer 中的计算分配，在基准测试中实现了显著的加速和训练 FLOPs 的减少。
本文评估了使用Chain-of-Thought推理的大型语言模型的能力和效率，发现随着模型大小的增加，能力增益减弱，而效率改善甚微。
Michael Yu 分享了他从斯坦福 CS336 课程中关于从零构建大语言模型的详细实现和学习心得，涵盖了分词器、Transformer、训练系统和对齐技术。