training-dynamics

标签

Cards List
#training-dynamics

为什么像 Shampoo、SOAP 和 Adam 这样的优化器不去测量类似 Fisher 信息矩阵那样的真实每样本二阶矩?[d]

Reddit r/MachineLearning ↗ · 昨天

一篇技术讨论,论证 Shampoo、Muon 和 Adam 在近似二阶矩(如 Fisher 信息矩阵)时都丢弃了每样本协方差项,并质疑为什么使用真实的二阶矩反而表现不如这些近似方法。

0 人收藏 0 人点赞
#training-dynamics

@ginojirat:我们在 CS312 中开展了数十项关于权重平均和指数移动平均(EMA)的实验!> 先讲一些理论(或民间传说):河谷……

X AI KOLs Timeline ↗ · 2天前 缓存

CS312 课程实验通过河谷损失景观理论探索权重平均和指数移动平均(EMA),结果显示,在他们的模型实验对象上,EMA 略逊于学习率(LR)衰减;此外,DatologyAI 的预训练技巧也提供了补充:跳过学习率衰减,转而维护权重的运行平均值并合并检查点。

0 人收藏 0 人点赞
#training-dynamics

语言模型训练中学习率的混合量子选择:终止准则与交互引导的调度预言机

arXiv cs.LG ↗ · 3天前 缓存

本文提出将量子最小值查找(结合 BBHT 搜索的 Dürr–Høyer 算法)与交互引导的调度预言机相结合,联合选择用于语言模型微调的各层组学习率调度方案,并展示了一个具有 15 亿参数的模型的闭环训练,其基准测试结果与采用统一学习率的基线相当。

0 人收藏 0 人点赞
#training-dynamics

Muon 预训练中临时权重衰减的延迟效应

arXiv cs.CL ↗ · 5天前 缓存

Meta 和 Mila 的研究人员表明,在使用 Muon 预训练 Transformer 的过程中,临时施加的权重衰减在撤除时可能显得有害,却能降低最终损失。这揭示了由持续存在的权重范数不足所驱动的延迟效应,因此应在用完全部训练预算后评估其影响。

0 人收藏 0 人点赞
#training-dynamics

A-RSI:用于零数据多模态自我改进的自适应任务刷新

Hugging Face Daily Papers ↗ · 2026-10-28 缓存

A-RSI 通过监控训练日志中的奖励变化与准确率来决定何时刷新任务池,结合模型自编写程序生成可独立验证的多模态问答对,在零外部数据条件下将基准平均性能从 57.77 提升到 61.05。

0 人收藏 0 人点赞
#training-dynamics

句法回路的涌现与稀疏化

arXiv cs.CL ↗ · 2026-10-27 缓存

本文追踪了 Pythia-1b 和 Pythia-410m 模型中主谓数一致性回路在训练过程中如何涌现并逐渐稀疏化,发现模型行为在早期便趋于稳定,而底层回路仍不断重组、变换所涉及的注意力头,并逐步缩减,最终呈现出极为稀疏的形态。

0 人收藏 0 人点赞
#training-dynamics

PBT 并不能加快顿悟,但它可以跳出一个完全无法出现顿悟的超参数范围 [P]

Reddit r/MachineLearning ↗ · 2026-10-26

实验表明 PBT 并不能加速 grokking,但在固定超参数全部失效的'死区'内可以成功逃逸并诱导 grokking;复盘显示真正起作用的是学习率/权重衰减的调度路径而非种群间的权重拷贝。

0 人收藏 0 人点赞
#training-dynamics

@SimulatedAnneal:1/9 当前的优化器在整个训练过程中是静态的。如果优化器能在网络训练时进行思考和反应会怎样……

X AI KOLs Following ↗ · 2026-10-21 缓存

一篇介绍「反应式优化器」的研究文章:一个智能体在训练过程中观察训练动态,并重写优化器的源代码。在图像和语言任务上,它能够匹配甚至超越精心调优的最佳方案,同时自主防止梯度尖峰和过拟合。该方法已通过开源 OPAL 包发布。

0 人收藏 0 人点赞
#training-dynamics

@antoniolupetti:《Mathematical Theory of the Transformer》是一部长达825页的数学专著,深入探讨了Transformer架构的理论基础……

X AI KOLs Timeline ↗ · 2026-10-20 缓存

《Mathematical Theory of the Transformer》是一部长达825页的数学专著,系统阐述了Transformer架构的理论基础,涵盖嵌入、自注意力、矩阵分解、谱分析、信息几何、训练动力学与优化等主题。

0 人收藏 0 人点赞
#training-dynamics

混合架构中的竞争学习

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

该论文在混合语言模型中发现了一种"竞争学习"现象,即循环层和注意力层会竞争学习相同的功能,并提出了一种分阶段训练方法,在参数量高达 1B 的模型上提升了语言建模损失、常识推理和检索任务的表现。

0 人收藏 0 人点赞
#training-dynamics

从复制到组合:语言模型如何发展出上下文学习能力

arXiv cs.CL ↗ · 2026-10-15 缓存

本文提出一种受控诊断任务,区分语言模型在上下文学习中的“复制示例”与“组合应用规则”两种行为,发现提示控制、答案偏好、无候选构造和迁移能力在训练中沿不同时间线发展,且合成定义文档训练能提升组合式响应。

0 人收藏 0 人点赞
#training-dynamics

Spectrally Targeted Muon

arXiv cs.LG ↗ · 2026-10-09 缓存

该论文提出了 Spectrally Targeted Muon,通过仅对超过或低于阈值的奇异值进行正交化,在 SGD 和 Muon 之间进行插值,并在 CIFAR-10 与 NanoGPT speedrun 上分析了 Muon 成功的真正原因:其关键在于放大过小的奇异方向,而非抑制较大的方向。

0 人收藏 0 人点赞
#training-dynamics

大规模激活的生命周期:随机诞生、权重衰减驱动的增长与竞争性巩固

Hugging Face Daily Papers ↗ · 2026-10-05 缓存

本文研究了Transformer中大规模激活的生命周期,表明权重衰减在因果上调控其规模——通过一个AdamW预条件化的增长与衰减平衡模型,预测峰值幅度按λ^{-1/2}缩放。

0 人收藏 0 人点赞
#training-dynamics

梯度冲突能预测理解—生成权衡吗?统一多模态模型中冲突指标有效性的受控审计

arXiv cs.LG ↗ · 2026-10-02 缓存

本文审计了梯度冲突指标(余弦相似度、冲突率)是否真正能够预测统一多模态模型中的理解—生成权衡。作者构建了一个受控测试平台(GridUMM),在其中真实权衡是可计算的。在涵盖 63 种配置、372 个检查点的实验中,没有任何方向性冲突指标能可靠地与权衡相关;通过剂量反应干预抑制冲突后,权衡表现依然不变,而 eff_rank 和训练损失在诊断能力上优于冲突几何指标。

0 人收藏 0 人点赞
#training-dynamics

相互冲突的监督影响的是模型的承诺选择,而非能力本身:在与约定无关的评分下恰好为零的 12.29σ 排列效应

arXiv cs.AI ↗ · 2026-10-02 缓存

本文证明,学习率调度充当了决定数据排序效应是否体现在模型参数中的平均算子:在恒定学习率下可观察到 12.29σ 的排列效应,而在余弦衰减调度下该效应恰好坍缩为零。研究还表明,冲突约定训练会改变模型承诺采用的正确答案形式,但不会改变其整体能力——这一现象是 exact-match 基准测试无法检测到的。

0 人收藏 0 人点赞
#training-dynamics

当裁剪反而抵消纠错:逐点前向 KL 在线自蒸馏的失效机制

arXiv cs.CL ↗ · 2026-10-01 缓存

本文分析了在线自蒸馏(OPSD)中对前向 KL 目标进行逐点裁剪为何会适得其反:论文通过理论证明与实证实验表明,被裁剪的目标可能会将 token 概率推离教师模型,从而导致推理输出中出现持续的 token 重复现象。

0 人收藏 0 人点赞
#training-dynamics

虚假边界:诊断与缓解自进化搜索智能体中的协同作弊

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

本文识别出自进化搜索智能体中的「协同作弊」现象:出题方(proposer)与解答方(solver)在共享错误上达成一致,从而在不提升真实正确率的情况下虚增内部奖励。作者提出 CrossFit——一种交叉拟合验证方案,可大幅减少虚假一致,并在七个搜索基准上使用 Qwen3.5-4B/9B 模型显著提升性能。

0 人收藏 0 人点赞
#training-dynamics

PLDR-LLMs 的训练与推理动态:行映射坍缩、重正化与预测约化

Hugging Face Daily Papers ↗ · 2026-09-28 缓存

本专著为幂律解码器表示语言模型(PLDR-LLMs)的训练与推理动态提供了统一的解释,涵盖精确恒等式、重正化和实验发现。

0 人收藏 0 人点赞
#training-dynamics

大语言模型中潜意识学习的缓解研究

arXiv cs.CL ↗ · 2026-09-22 缓存

本文研究大语言模型中的潜意识学习,并引入liminal训练作为在微调过程中减少意外特征获取同时保持任务性能的方法。

0 人收藏 0 人点赞
#training-dynamics

超越小初始化的正交多指标模型学习:增量学习、竞争动态与对称性

arXiv cs.LG ↗ · 2026-09-11 缓存

本文研究了在标准初始化下,双层神经网络学习正交多指标模型的训练动态,揭示了增量学习和竞争性参数重分配现象,并引入了一种基于对称性的有限宽度近似方法用于分析。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈