标签
该论文提出了一个统一的六维分析框架，系统综述了2017–2026年大模型训练全流程（数据与分词、预训练、SFT与偏好对齐/强化学习）的395篇核心文献，并揭示了跨阶段效应与多个开放问题。
该论文提出了一种经验性加法幂律，将长上下文持续预训练（LCCP）的收益与模型规模及短/长上下文token预算关联起来，并引入Constant-Last4协议实现稳定监控。实验表明LCCP的收益在评测范围内无明显饱和迹象，主张不应过早停止长上下文持续预训练。
该论文在多样化虚拟世界中系统研究了延续预训练（CPT）的扩展规律，横跨数据量、多样性和模型规模三个轴共120组训练配置，发现数据提升世界内表现、多样性改善相关世界迁移但对远距离世界收益有限，并拟合出经验扩展定律，指出仅靠模仿式延续预训练难以构建通用具身智能体，还需更丰富的训练阶段。
UniWAM 提出了一种统一的架构，将物理推理器、世界生成器和动作预测器整合在一起，联合学习物理世界的语义理解、视觉生成与动作预测。该模型在多项评估中达到 SOTA，并揭示了统一人机协同训练的对数线性缩放规律。
加州理工学院（Caltech）与 Accelerated Understanding 的 Animashree Anandkumar 将在 SC26 上发表题为《大模型之后的下一个扩展律：理解物理世界的 AI》的主题演讲，内容涵盖从 FourCastNet 到天气、核聚变和生物学领域 AI 驱动科学发现的最新进展。
本文提出了一种用户表示学习的稠密化定律，量化了数据规模与分词容量之间的关系，并引入了一种自适应分词方法ALGN，以提高十亿级场景的效率。
该推文讨论了模拟作为AI中潜在的新扩展规律，强调了来自Simile AI首席执行官的采访洞见，关于模拟人类行为以进行高级AI研究。
Lightwheel AI 和 Hugging Face 已开源 EgoSuite-Open100K，这是目前最大的全标注第一人称视角人类行为数据集，包含 100,000 小时的数据，重点强调物理AI的规模定律。
Chart Pathway的BDH-CQ，一个150M参数的推理模型，在ARC-AGI-1上达到了29.5%的准确率，每任务成本远低于像GPT-5.6 Luna这样的大型模型，展示了成本-精度权衡的改进。
推荐斯坦福大学CS329A课程，关于自我改进的AI智能体，涵盖scaling law、思维链、RLHF、推理模型等内容。
作者在Berkeley AI Summit 2026总结了Jianfeng Gao教授的演讲，指出AI建模的新范式是基于Agentic Modeling和新数据飞轮，强调Harness将成为应用护城河的关键。
本文提出一个标度律，表明人类语言中词序的上下文影响随距离近似以1/d的速率衰减，该衰减通过大型语言模型测得的困惑度降低来衡量，且在不同语言和语料库中均成立。
DomainPilot 提出了一种基于领域级损失引导的两阶段框架，用于大语言模型微调中的数据混合优化，在无需增加数据量或训练成本的情况下，在 MMLU-Redux、AIME24、LiveCodeBench v5 和 BFCL v3 上实现了性能提升。
研究人员研究了强化学习（RL）与预训练质量之间的相互作用，表明预训练更强的模型从RL中获益更多，且RL无法完全弥补弱预训练的不足。还确定了预训练和后训练计算分配的联合缩放定律。
本文研究了波兰 Bielik 大语言模型中的激活模式是否能在生成前检测到实体熟悉度，使用了无监督的分散度量，在模型规模上实现了已知实体与虚构实体的近乎完美分离，同时表明事实可靠性随规模急剧提升，但更难从激活中预测。
字节Seed团队发布了EdgeBench基准测试，允许AI模型连续工作12-72小时来评估长程任务中的学习能力，发现模型从环境学习的时间和性能之间遵循log-sigmoid曲线，存在新的Scaling Law。
本文认为，包括GPT-5在内的数据驱动机器学习系统无法仅通过缩放达到符号级别的逻辑推理，原因在于它们在区分逻辑结构与统计规律方面存在固有局限性。
Sakana AI 发布 Fugu，一个仅 0.6B 参数的多智能体编排系统，通过智能任务拆分和模型协作达到前沿性能，绕开了传统的参数量扩增路径，标志着多智能体编排正式成为可用的生产力工具。