标签
norregel 是一个预注册基准，用于测试语言模型能否给出挪威法律中带日期的数值（金额、百分比、年龄限制等）。第二轮预注册实验显示模型对训练截止后生效的数值更易给出过时答案，但该效应在敏感性分析下并不稳健，且部分模型（如 Haiku 4.5）答案大多不可解读。
论文揭示连续扩散语言模型（如ELF）因生成过程缺少逐步离散采样步骤而导致长尾词汇严重缺失（稀有词生成率仅为人类文本的0.30×），并提出训练无关的GRAFT方法，通过在模型未确定时提交稀有词再重新生成序列，将稀有词比例恢复至人类水平的0.82–1.10×。
本文表明，重新生成目标模型的回答会缩小知识蒸馏等草稿模型训练目标在推测解码中带来的收益，并通过多项对照实验，在视觉语言（Qwen3-VL-8B）和纯文本（Qwen3-4B）场景中复现了这一发现。
研究发现语义泄漏（semantic leakage）不仅源于概念与实体的直接归属，即便概念只是出现在场景中也会驱动模型生成刻板印象输出，这揭示了一种当前性别偏见评估所忽略的联想性偏见机制。
该论文提出了共同支持集蒸馏（Common-Support Distillation，CSD），这是一种基于 logits 的统一跨分词器知识迁移框架。该框架在教师模型与学生模型之间构建共享支持集，并通过单一目标匹配由此诱导的分布，在多种教师—学生模型配置下均优于现有的跨分词器蒸馏方法。
LIFT 提出了一项新的指令遵循基准（LIFT-Bench）及其配套训练集（LIFT-Train），通过对结构化文档大纲施加限定作用范围的约束，表明前沿模型在较难的子集上表现欠佳，而使用 LIFT-Train 进行训练比现有的 IFTrain 方法更不容易出现奖励劫持。
本文识别并形式化了“推理时模型偏移”——一种由量化、温度等推理配置的变化而非数据分布变化引起的共形分数分布变化——并通过对8个语言模型和4个有限标签基准的研究表明，这种偏移会破坏分割共形预测的可交换性假设，并导致对部署时覆盖率的高估。
论文提出了技能模式迁移（SST）框架，通过将新领域知识重构为模型已有技能空间中可复用的程序化模式，来缓解持续领域适应中的灾难性遗忘。在两个拥有 30 亿参数的模型上，该框架将 Qwen 数学任务流的最大遗忘幅度从 42.41 个点降至 7.10 个点。
本文针对九个模型，精确测量了通过截断反向传播训练循环 Transformer 时损失的权重梯度量，发现梯度损失主要由靠近输出端的部分决定，在微调过程中逐渐减小，而且这种测量方法并未明显优于 Parcae 规则等无需测量的成本启发式方法。
本文提出 Discord 与 BRACE 两种方法，利用奖励分歧来校准 MCP 环境中工具使用语言模型的强化学习 rollout 预算分配，并在 Qwen3-VL 多个规模及 BFCL、NESTFUL 基准上验证其优于基线。
文章介绍了一种名为"Next-Concept Modeling"的新范式，主张生成式AI应先生成抽象概念、再生成文字，而非直接以词为输出单位，有望改变现有生成式AI的建模方式。
本文评估了在13个临床NLP数据集上进行联合微调的小型循环深度语言模型（Ouro-1.4B/2.6B-Thinking、HRM-Text-1B），发现它们在大多数任务上表现优于或持平于同等规模的Qwen3 Transformer模型，尤其是在推理和问答任务上。
本文评估语言模型智能体的上下文压缩方法在'后续问题'上的表现，发现针对当前问题选择的句子在后续问题上并不优于随机删除，而 LLMingua-2 等词级压缩方法在多个基准上表现更佳。
该论文提出了一种新的 Jacobian lens 变体——entity lens，可在不使用关系信息的情况下预测线性关系可解码性（LRE faithfulness），在 OLMo-3-7B 的 28 个关系上取得 ρ=0.7355 的相关性，表明线性可解码性更多是主体表示本身的属性，而非关系的属性。
论文发现语言模型在组合多个任务时错误率显著上升，且无法完全用独立错误累积解释，而是源于隐式的思考预算分配——组合任务时每个任务获得的推理 token 减少，导致长推理任务更脆弱；通过按脆弱性分组可减少 43% token 用量并保持准确率。
H2DF 提出了一种面向语言模型遗忘的校准目标区间目标函数：当遗忘损失达到依赖数据的目标区间时，即限制梯度上升的压力。在 TOFU 数据集上，其性能与 GradDiff 相当，同时使用的保留数据回放量大幅减少；在 MUSE-News 上，其保留性能也优于 GA 和 NPO。
本文提出"决策充分性"这一框架，用于评估学习得到的表示接口（如选定的稀疏自编码器特征）是否保留了足够的信息，以使控制器能够安全地引导语言模型。该研究对 Qwen2.5、SmolLM2 和 Phi 进行了审计，发现在安全关键决策中存在可测量的信息损失。
论文提出了 Guided-AP 方法，利用少量精确的激活补丁测量来揭示并修正归因补丁估计中的共享误差，在机制可解释性分析中，单提示的误差最多降低 26%，跨提示平均效应的误差降低 75-79%。
本文提出 GREG（Graph Reasoning Model），它通过 GNN 和 Graph Transformer 计算可学习的、置换等变的图位置编码来增强语言推理模型，从而无需将图序列化为文本描述，并将上下文复杂度降低至 O(N)。该模型在小图上训练后，能够泛化到包含多达 1,000 个节点的大规模图，同时对节点重编号保持鲁棒性。
麻省总医院布莱根医疗系统（Mass General Brigham）的研究人员发布了 Clinical System One（CS1-4B），这是一个拥有 40 亿参数的决策模型，能够对临床记录进行快速的类型化判断。在 14 项任务中的 13 项上，它超越了参数规模最高达 270 亿的开源决策模型，且仅需在单台桌面级 GPU 上运行。配合通用 LLM 智能体使用时，该模型可支持纵向病历审查和临床试验筛选，同时将 token 消耗降低至原来的 1/690。