标签
该论文指出，用秩来衡量微更新ΔW时必须加入噪声基线：方向计数类指标显示微更新仅略低于噪声，而稳定秩则显示远低于噪声，二者共同揭示更新具有少数强方向加长尾的结构。研究还发现指令数据、DPO偏好标签对更新并无显著特殊性，并质疑了'后训练是表面性的'相关论断。
这篇论文提出"relearning savings"评估协议，发现在Qwen2.5-1.5B中，曾学习过的事实绑定在部分遗忘后比从未学习的绑定更容易被重新习得，恢复所需优化步数减少约18%，说明当前行为准确率会低估既有经验的持久影响。
本文提出了草稿细化语言模型（DRLMs），仅使用一个去噪器和空腔能量分数即可生成完整草稿并迭代细化，在 Countdown、Sudoku-Extreme 和 Maze-Hard 任务上以仅 600 万参数超越了自回归和离散扩散基线方法。
该论文在混合语言模型中发现了一种"竞争学习"现象，即循环层和注意力层会竞争学习相同的功能，并提出了一种分阶段训练方法，在参数量高达 1B 的模型上提升了语言建模损失、常识推理和检索任务的表现。
MIT 研究人员在《Nature Communications》上发表了一篇论文，介绍了一种多模态 AI 模型，该模型将 3D 原子结构与自然语言相结合，以更好地预测和设计晶体材料。在识别有潜力的候选材料（如固态锂离子电池电解质）方面，该模型的表现优于仅使用文本的模型。
文章质疑具身AI的进步速度是快于还是慢于语言模型，指出机器人大多通过演示而非基准测试来被评判，并探讨什么样的公平指标可以将物理AI的进步与文本和推理能力的进步进行比较。
ECHO通过自递归（Self-Recursion）和动态深度采样（Dynamic Depth Sampling）将多步预测直接集成到骨干网络中，从而提升预训练效率，并使模型无需辅助MTP模块即可充当自身的推理草稿模型。
论文提出参数轨迹交叉编码方法，追踪语言模型预训练中反嵌入矩阵（读出矩阵）的动态变化，发现模型隐藏状态编码任务信息的时间早于其输出所能表达的时间，早期的行为学时间点可能反映的是读出层的学习，而非模型能力的习得。
本文通过证明汇总选择率的标准差可分解为翻转率与位置偏斜两个因子的乘积，将多项选择题大语言模型评估中的选择偏差与顺序敏感性统一起来。基于对41个模型检查点和12个基准的分析，本文表明，先验校正主要降低位置偏斜，而不同排序下的结果聚合主要降低翻转率，并建议同时报告这两项指标。
本文提出一种逐步分解的评测方法，将语言模型在400步长程任务中的失败分为重复识别、局部处理与计数器追踪三类，发现重复识别错误随步数上升，而无关上下文注入会导致计数器追踪在所有种子中失败，外部精确提醒可恢复其对齐。
本文提出条件对比外推在线蒸馏（CCE-OPD），通过让教师模型对完整问题与掩码条件版本进行对比评估，降低教师在学生生成前缀上偏好无效续写的风险，在六个数学基准上相较标准OPD提升avg@8约1.60-1.95个百分点。
本文解释了为何基于多数投票的自奖励能够达到可验证奖励强化学习的效果：在批次层面，不一致的标签错误会相互抵消，使更新方向与真实标签对应的梯度对齐；研究发现，决定自生成标签何时能够替代验证的是错误的一致性，而非错误率。
LEV 是一种通过循环重跑层而非生成文本来实现可变推理深度的决策模型，在相同权重下随深度提升准确率，并通过按需深度机制节省 15%-24% 计算量，在低延迟下显著优于同等规模的稠密模型。
论文提出 Gibbs-Gap 策略优化（GGPO），一种针对可验证奖励的离线/异步强化学习方法，通过最小化经 KL 调整的奖励的对数均值指数对比来避免高方差重要性权重，并在数学推理基准上优于 GRPO 和 AGRO。
本文提出对抗性参数分解（VPD）方法，将语言模型参数分解为可解释的子组件，即使在对抗性消融下也能保持网络输入-输出行为，从而实现新的电路级机制分析。
TurboMamba提出了一种结合全局Mamba-3与轻量局部Transformer的分块语言模型架构，通过词法记忆增强实现比Mamba-3更低的预测损失（NLL降低9.4%）以及2.6倍训练吞吐和3.12倍推理加速。
该论文研究了稀疏自编码器(SAEs)所需的最小激活数据量，发现功能行为(如重建)在较少数据下即可收敛，但特征级可复现性仍随数据持续提升，表明SAE训练可在匹配目标的前提下大幅降低数据成本。
该论文提出开放世界AI需要三项核心要求：推理时学习、丰富表示和预测性解纠缠，并在最大880亿参数的语言模型上验证了满足这些要求的模型能从相关任务数据中持续提升，而其他模型则会退化。
Amazon 发布 ALoDLM 自适应循环扩散语言模型家族（1.7B 和 8B，基于 Qwen3 骨干初始化），通过共享层循环复用与自适应计算分配，在推理速度上约为其基座模型的 3 倍，同时在多项基准测试中取得更好成绩。
Artificial Analysis 推出 AA-Robotics v0.1 研究预览基准，评测前沿语言模型通过编码代理直接控制 6 轴机器人手臂完成 8 项桌面操作任务的能力。GPT-6 Astra 以 69 分居首，但目前速度与成本仍远逊于人类基线（约两个数量级）。