标签
一篇技术讨论,论证 Shampoo、Muon 和 Adam 在近似二阶矩(如 Fisher 信息矩阵)时都丢弃了每样本协方差项,并质疑为什么使用真实的二阶矩反而表现不如这些近似方法。
CS312 课程实验通过河谷损失景观理论探索权重平均和指数移动平均(EMA),结果显示,在他们的模型实验对象上,EMA 略逊于学习率(LR)衰减;此外,DatologyAI 的预训练技巧也提供了补充:跳过学习率衰减,转而维护权重的运行平均值并合并检查点。
本文提出将量子最小值查找(结合 BBHT 搜索的 Dürr–Høyer 算法)与交互引导的调度预言机相结合,联合选择用于语言模型微调的各层组学习率调度方案,并展示了一个具有 15 亿参数的模型的闭环训练,其基准测试结果与采用统一学习率的基线相当。
Meta 和 Mila 的研究人员表明,在使用 Muon 预训练 Transformer 的过程中,临时施加的权重衰减在撤除时可能显得有害,却能降低最终损失。这揭示了由持续存在的权重范数不足所驱动的延迟效应,因此应在用完全部训练预算后评估其影响。
A-RSI 通过监控训练日志中的奖励变化与准确率来决定何时刷新任务池,结合模型自编写程序生成可独立验证的多模态问答对,在零外部数据条件下将基准平均性能从 57.77 提升到 61.05。
本文追踪了 Pythia-1b 和 Pythia-410m 模型中主谓数一致性回路在训练过程中如何涌现并逐渐稀疏化,发现模型行为在早期便趋于稳定,而底层回路仍不断重组、变换所涉及的注意力头,并逐步缩减,最终呈现出极为稀疏的形态。
实验表明 PBT 并不能加速 grokking,但在固定超参数全部失效的'死区'内可以成功逃逸并诱导 grokking;复盘显示真正起作用的是学习率/权重衰减的调度路径而非种群间的权重拷贝。
一篇介绍「反应式优化器」的研究文章:一个智能体在训练过程中观察训练动态,并重写优化器的源代码。在图像和语言任务上,它能够匹配甚至超越精心调优的最佳方案,同时自主防止梯度尖峰和过拟合。该方法已通过开源 OPAL 包发布。
《Mathematical Theory of the Transformer》是一部长达825页的数学专著,系统阐述了Transformer架构的理论基础,涵盖嵌入、自注意力、矩阵分解、谱分析、信息几何、训练动力学与优化等主题。
该论文在混合语言模型中发现了一种"竞争学习"现象,即循环层和注意力层会竞争学习相同的功能,并提出了一种分阶段训练方法,在参数量高达 1B 的模型上提升了语言建模损失、常识推理和检索任务的表现。
本文提出一种受控诊断任务,区分语言模型在上下文学习中的“复制示例”与“组合应用规则”两种行为,发现提示控制、答案偏好、无候选构造和迁移能力在训练中沿不同时间线发展,且合成定义文档训练能提升组合式响应。
该论文提出了 Spectrally Targeted Muon,通过仅对超过或低于阈值的奇异值进行正交化,在 SGD 和 Muon 之间进行插值,并在 CIFAR-10 与 NanoGPT speedrun 上分析了 Muon 成功的真正原因:其关键在于放大过小的奇异方向,而非抑制较大的方向。
本文研究了Transformer中大规模激活的生命周期,表明权重衰减在因果上调控其规模——通过一个AdamW预条件化的增长与衰减平衡模型,预测峰值幅度按λ^{-1/2}缩放。
本文审计了梯度冲突指标(余弦相似度、冲突率)是否真正能够预测统一多模态模型中的理解—生成权衡。作者构建了一个受控测试平台(GridUMM),在其中真实权衡是可计算的。在涵盖 63 种配置、372 个检查点的实验中,没有任何方向性冲突指标能可靠地与权衡相关;通过剂量反应干预抑制冲突后,权衡表现依然不变,而 eff_rank 和训练损失在诊断能力上优于冲突几何指标。
本文证明,学习率调度充当了决定数据排序效应是否体现在模型参数中的平均算子:在恒定学习率下可观察到 12.29σ 的排列效应,而在余弦衰减调度下该效应恰好坍缩为零。研究还表明,冲突约定训练会改变模型承诺采用的正确答案形式,但不会改变其整体能力——这一现象是 exact-match 基准测试无法检测到的。
本文分析了在线自蒸馏(OPSD)中对前向 KL 目标进行逐点裁剪为何会适得其反:论文通过理论证明与实证实验表明,被裁剪的目标可能会将 token 概率推离教师模型,从而导致推理输出中出现持续的 token 重复现象。
本文识别出自进化搜索智能体中的「协同作弊」现象:出题方(proposer)与解答方(solver)在共享错误上达成一致,从而在不提升真实正确率的情况下虚增内部奖励。作者提出 CrossFit——一种交叉拟合验证方案,可大幅减少虚假一致,并在七个搜索基准上使用 Qwen3.5-4B/9B 模型显著提升性能。
本专著为幂律解码器表示语言模型(PLDR-LLMs)的训练与推理动态提供了统一的解释,涵盖精确恒等式、重正化和实验发现。
本文研究大语言模型中的潜意识学习,并引入liminal训练作为在微调过程中减少意外特征获取同时保持任务性能的方法。
本文研究了在标准初始化下,双层神经网络学习正交多指标模型的训练动态,揭示了增量学习和竞争性参数重分配现象,并引入了一种基于对称性的有限宽度近似方法用于分析。