Tag
该论文指出，用秩来衡量微更新ΔW时必须加入噪声基线：方向计数类指标显示微更新仅略低于噪声，而稳定秩则显示远低于噪声，二者共同揭示更新具有少数强方向加长尾的结构。研究还发现指令数据、DPO偏好标签对更新并无显著特殊性，并质疑了'后训练是表面性的'相关论断。
这篇论文提出"relearning savings"评估协议，发现在Qwen2.5-1.5B中，曾学习过的事实绑定在部分遗忘后比从未学习的绑定更容易被重新习得，恢复所需优化步数减少约18%，说明当前行为准确率会低估既有经验的持久影响。
The paper introduces Draft Refinement Language Models (DRLMs), which generate complete drafts and iteratively refine them using a single denoiser and a cavity-energy score, outperforming autoregressive and discrete diffusion baselines on Countdown, Sudoku-Extreme, and Maze-Hard with only 6M parameters.
The paper identifies a Competing Learning phenomenon in hybrid language models where recurrence and attention layers compete to learn the same functions, and proposes a staged training procedure that improves language modeling loss, common-sense reasoning, and retrieval tasks on models up to 1B parameters.
MIT researchers published a Nature Communications paper on a multimodal AI model that combines 3D atomic structures with natural language to better predict and design crystalline materials, outperforming text-only models in identifying promising candidates like solid-state lithium-ion battery electrolytes.
The article questions whether embodied AI is advancing faster or slower than language models, noting that robots are judged by demos rather than benchmarks, and asks what fair metrics could compare physical AI progress with text and reasoning progress.
ECHO integrates multi-horizon prediction directly into the backbone via self-recursion and Dynamic Depth Sampling, improving pretraining efficiency and enabling the model to serve as its own inference drafter without auxiliary MTP modules.
论文提出 parameter-trajectory crosscoding 方法，追踪语言模型预训练中 unembedding（读出矩阵）的动态变化，发现模型隐藏状态编码任务信息的时间早于其输出所能表达的时间，早期的行为学时间点可能反映的是读出层的学习而非模型能力的习得。
This paper unifies selection bias and order sensitivity in multiple-choice LLM evaluation by showing the pooled selection-rate standard deviation factorizes into flip rate and positional skew. Across 41 checkpoints and 12 benchmarks, it shows prior correction mainly reduces positional skew while ordering aggregation mainly reduces the flip rate, recommending both be reported.
本文提出一种逐步分解的评测方法，将语言模型在400步长程任务中的失败分为重复识别、局部处理与计数器追踪三类，发现重复识别错误随步数上升，而无关上下文注入会导致计数器追踪在所有种子中失败，外部精确提醒可恢复其对齐。
本文提出条件对比外推在线蒸馏（CCE-OPD），通过让教师模型对完整问题与掩码条件版本进行对比评估，降低教师在学生生成前缀上偏好无效续写的风险，在六个数学基准上相较标准OPD提升avg@8约1.60-1.95个百分点。
This paper explains why majority-vote self-rewards match verifiable-reward RL by showing that, at the batch level, incoherent label errors cancel out so the update direction aligns with the gold gradient; it finds error coherence—not error rate—determines when self-generated labels can replace verification.
LEV 是一种通过循环重跑层而非生成文本来实现可变推理深度的决策模型，在相同权重下随深度提升准确率，并通过按需深度机制节省 15%-24% 计算量，在低延迟下显著优于同等规模的稠密模型。
论文提出 Gibbs-Gap Policy Optimization（GGPO），一种针对可验证奖励的离线/异步 RL 方法，通过最小化 KL 调整奖励的 log-mean-exp 对比来避免高方差重要性权重，并在数学推理基准上优于 GRPO 和 AGRO。
本文提出 adVersarial Parameter Decomposition (VPD) 方法，将语言模型参数分解为可解释的子组件，即使在对抗性消融下也能保持网络输入-输出行为，从而实现新的电路级机制分析。
TurboMamba提出了一种结合全局Mamba-3与轻量局部Transformer的分块语言模型架构，通过词法记忆增强实现比Mamba-3更低的预测损失（NLL降低9.4%）以及2.6倍训练吞吐和3.12倍推理加速。
该论文研究了稀疏自编码器(SAEs)所需的最小激活数据量，发现功能行为(如重建)在较少数据下即可收敛，但特征级可复现性仍随数据持续提升，表明SAE训练可在匹配目标的前提下大幅降低数据成本。
该论文提出开放世界AI需要三项核心要求：推理时学习、丰富表示和预测性解纠缠，并在最大880亿参数的语言模型上验证了满足这些要求的模型能从相关任务数据中持续提升，而其他模型则会退化。
Amazon 发布 ALoDLM 自适应循环扩散语言模型家族（1.7B 和 8B，基于 Qwen3 骨干初始化），通过共享层循环复用与自适应计算分配，在推理速度上约为其基座模型的 3 倍，同时在多项基准测试中取得更好成绩。
Artificial Analysis 推出 AA-Robotics v0.1 研究预览基准，评测前沿语言模型通过编码代理直接控制 6 轴机器人手臂完成 8 项桌面操作任务的能力。GPT-6 Astra 以 69 分居首，但目前速度与成本仍远逊于人类基线（约两个数量级）。