标签
本文针对九个模型，精确测量了通过截断反向传播训练循环 Transformer 时损失的权重梯度量，发现梯度损失主要由靠近输出端的部分决定，在微调过程中逐渐减小，而且这种测量方法并未明显优于 Parcae 规则等无需测量的成本启发式方法。
本文解释了为何基于多数投票的自奖励能够达到可验证奖励强化学习的效果：在批次层面，不一致的标签错误会相互抵消，使更新方向与真实标签对应的梯度对齐；研究发现，决定自生成标签何时能够替代验证的是错误的一致性，而非错误率。
本文通过分析教师信号如何转化为参数变化，研究了多教师在线策略蒸馏（MOPD）。研究将多个 RL 训练的教师整合到 Qwen3-1.7B 和 SmolLM3-3B 学生模型中，发现：损失平均会隐式地按响应长度加权；Adam 的一阶矩在很大程度上消除了教师梯度之间的差异（余弦相似度为 0.83）；BF16 的舍入会掩盖大部分权重更新；而基于 top-64 交集的 KL 梯度在特定的平均规则下可以匹敌全词表梯度。
本文介绍了LLM遗忘中的遗忘集错位，并提出了一种名为CONFS的数据无关框架来解决这一问题，实现了遗忘与效用之间的竞争性平衡。
本文识别了Transformer仿射层中的隐藏边界运动现象，其中由于输入均值非零，权重更新实际上起到偏置更新的作用，并提出了SBO-AdamW方法来正交化形状和边界分量，从而提高了验证准确率。
本文介绍了梯度指纹（Grift）方法，用于在具有可验证奖励的强化学习中检测奖励黑客攻击。该方法通过分析模型内部梯度计算而非表面推理迹象来工作。在数学、代码和逻辑推理基准上，隐式奖励黑客攻击的检测相对改进超过25%。