标签
论文提出 OptEP，一种面向混合专家（MoE）语言模型的后训练专家剪枝方法，通过连续松弛优化专家选择变量并结合重构驱动的权重更新，在 Qwen3、GLM-4.5-Air、Mixtral 等模型上显著优于现有剪枝基线，激进剪枝下精度提升最高达 16.20%。
论文提出 Activation-Space Exploration (ASE)，通过聚类正确与错误回答的激活差异构建潜空间探索向量库，以多样化 RLVR 训练中的 rollout；在 Qwen3-1.7B 和 Qwen3-8B 上较 GRPO 分别提升 4.87 和 1.87 个百分点的 Mean@8。
普渡大学的一篇论文提出了一种有界的在线步骤级修复模块，用于 Lean 4 定理证明器。该模块将编译器错误信息输入预训练的修复模型，而不是直接丢弃失败的策略，在 LeanDojo 基准测试上求解率相对提升最高达 32%，并在 Lean Workbook 上性能几乎翻倍。
本文提出 CA-MOPD，通过合并强化学习专家并利用验证器估算的师生能力差距来调整多教师在线蒸馏的监督强度，在数学、代码生成和指令遵循六个基准上超越现有 MOPD 方法。
该论文研究了在均匀扩散语言模型（UDLM）中循环早期 Transformer 层的方法，在不改变训练目标和采样器的前提下，以显著更少的训练 FLOPs 达到相同的验证 NLL，并在推理时降低生成困惑度。
PACE 是一种免微调的后训练四比特量化器，用于线性注意力的循环状态。它通过降低量化频率（每隔几个 token 才进行一次舍入）并采用按列共享的量化尺度来减少误差，从而在 4B–35B 参数的混合模型上，以约三分之二的内存达到与八比特 DAMP 相当的性能。
ALTK-Evolve 提出了一种习得记忆方法，在 τ²-bench 客服任务排行榜上登顶，未依赖任何前沿模型即取得了最先进的结果。
ProVe 通过微调大模型作为提议者，生成由较小或同规模模型验证的 token 块，反转了投机解码的角色，在六个基准上实现了最高 2.7 倍的吞吐量，并提供可调节的速度-精度权衡。
该论文构建了由持久性、跨学科的AI研究智能体组成的团队，这些智能体拥有各自独立的研究历史，并通过自适应分配实验预算，自主发现线性注意力架构，在1.3B规模的语言建模和检索任务上超越了GD-NS方法。
本文介绍了校准式语言顺应对（CAP），这是一种偏好数据集，旨在奖励聊天模型在保留标准英语的同时匹配用户方言，并考察了在 10 个开放模型谱系中，SFT、DPO 和 RL 阶段如何改变模型顺应非正式方言线索的倾向。
论文提出了 Lafa，一个 8B 参数的分块连续流语言模型，仅使用不到 30B tokens 训练，其质量即可匹配甚至超越自回归模型，并通过自推测解码（self-speculative decoding）与分块并行解码实现了 2.54 倍的推理吞吐量。
PAR（Progress-Aligned Recurrence，进度对齐循环）将循环语言模型的每次循环迭代与任务的一步操作对齐，并对隐状态进行重缩放以防止漂移，从而在 swap-S5 状态追踪任务上实现 16 倍长度外推，0.5B 参数模型达到 95.5% 的准确率，远超 RLT 和 CoT 基线。
该论文因果性地追踪了导致模型「跟随提示线索而放弃正确答案」（sycophancy/caving）的注意力头，发现多种偏差共享同一个在预训练阶段就存在的线索路由电路，而微调与RL后训练只是调节该电路的激活强度与时机。
耶鲁大学研究者利用影响函数在语言模型训练数据中识别间接证据，覆盖BLiMP中的15种语法现象。研究发现，移除影响力最强的句子会使留出集准确率的下降幅度显著高于随机移除对照句子，并进一步刻画了这类证据与语言学结构之间的关系。
论文提出 Causal Edit Serialization (CES) 框架，通过特殊指针令牌与双索引 RoPE，在标准因果注意力掩码下实现插入、删除、替换、复制和移动等局部化文本编辑，并在文法纠错任务上验证了监督与强化学习后训练的可行性。
论文提出“watermarkability”指标来量化语言模型与基于logit的水印规则的兼容性，并通过两阶段方法（目标集条件LoRA加闭环控制器）在保持高水印可靠性的同时显著降低困惑度增加。
提出 First Passage Attention（FPA），将注意力遗忘机制从路径求和改为路径极值，把 Forgetting Transformer 作为特例纳入其中，并在 110M 语言模型上实现了 8 倍训练长度下的完美 passkey 检索。
该论文提出了 ToMStories，一个包含约6,000个合成叙事片段的评测数据集，用于测试13个开放权重语言模型的心智理论推理能力。研究发现，大型模型在选择题上的表现与人类相当，但在开放式问题上表现不佳，且倾向于过度简化隐含的心理状态。
论文指出用户表征是用户模拟中的关键瓶颈，并提出后见蒸馏（hindsight distillation）这一在线训练方法来改进用户表征。由此得到的 UserRepGen-4B 模型所生成的表征，在七个数据集上的模拟保真度均优于 GPT-5.5 所产生的表征。
该论文研究语言模型如何学习动作名词化结构（ANCs），通过构建 96 种参数化的人工语言并从头训练 GPT-2-small 模型，发现模型学习偏好在基本从句配置上与自然语言类型学分布一致，但在补语系统和 ANC 策略上出现分歧。