标签
斯坦福研究者用 20 个新模型重新测试了 50 项被广泛引用的 LLM 结论，发现 44% 已失效、34% 明显减弱、仅 16% 仍成立，表明 LLM 研究结论的‘保质期’可能只有约 15 个月。
作者介绍了“认知隔离型人工智能”（Epistemically Isolated Artificial Intelligence，EIAI）的概念——即被刻意限制在特定知识环境中的人工智能系统——并重点介绍了“Talkie：一个来自1930年的语言模型”。该模型仅使用1931年之前的文本进行训练，是时间边界约束下认知推理的一个引人入胜的实例。
FrontierMat 推出了一项包含 330 个经过验证的前沿材料研发问题的语言模型基准测试，结果发现，最强模型的得分仅为 53.7%，而一种领域适应方法将一个开放权重模型的得分提升至 55.4%，与领先的专有模型持平。
DiRAFT 通过从聚合话语先验而非单个源文本段落中采样概念图计划来合成金融转录文本，并在两个金融语料库上对残余保密风险进行实证评估，发现随机采样最能兼顾过渡保真度与隐私保护。
提出了异步流映射语言模型（aFMLM），通过token级时间调度将预测顺序编码进单步生成的隐藏计算中，在Sudoku和GSM8K代码生成任务上刷新了一步生成的最先进性能。
TurnTurk-GPT 是一种基于文本的土耳其语话轮交替预测模型，通过使用 TurnGPT 目标对土耳其语 GPT-2 模型进行微调而构建。它的表现优于多语言话轮结束检测器，并能在句末动词的形态中识别土耳其语的话轮结束线索。
本文提出了双向 KV 缓存修补方法，用于追踪微调所形成的行为如何在语言模型中实现。研究表明，通过复用 KV 缓存，可以在经 LoRA 微调的模型与其基础模型之间迁移用德语回答或涌现性失对齐等行为，其影响主要集中在系统提示和聊天模板位置等关键词元上。
HyperRepair 是一种框架，仅需推理成本即可恢复微调语言模型的通用能力，同时保留其领域专长。它利用超网络，根据激活指纹生成修复侧网络（Repairing Side Net）。该框架在两个模型家族、12 个 LoRA 适配数据集和 15 项通用基准上进行了评估，通用能力得分达到基础模型的 93.4%，同时保留了微调模型 99.5% 的领域性能。
这篇 arXiv 论文发现，语言模型在归责时表现出“女性都很美好”偏见：既对被评判的女性更宽容，也在行为影响到女性时作出严厉得多的判断。该结论基于四个模型对来自 r/AmItheAsshole 的 11,270 个反事实冲突情境的评判。
该论文研究了RAG系统中的从众偏差：当检索到的多数文档是互相一致的投毒文档时，Gemma-3-12b检测中毒声明的能力从25%显著下降至10%，表明语言模型会随附多数证据而忽视事实核查。
本文表明，在推理时将 GPT-2-XL 中 729 个对任务而言冗余的注意力头置零，可使逐字记忆减少 91.5%，同时略微改善 WikiText-103 上的困惑度，为缓解大语言模型的隐私泄露提供了一种无需训练的方法。
Meta 超级智能实验室的研究人员将“认知不确定性下的自适应个性化”形式化，并推出一项多语言基准测试，揭示了大语言模型在策略识别与生成之间的差距：尽管模型能够识别恰当的策略，却仍默认采取利用优先的行为；针对内部策略表征的定向训练缩小了泛化差距。
该论文发现，在RL后训练中，当fp32主权重通过bf16四舍五入导出时，大多数小于半个bf16间隔的策略更新会被静默丢弃，使采样器落后优化器50–150步；作者提出了仅需一行代码的Fair Cast（随机舍入/误差反馈），在Qwen3-0.6B到4B的25组配对实验中平均提升6.1分。
该论文介绍了 EDB-Bio，这是一个包含 9.6 万个回合、涵盖三个生物学领域的科学证据审议基准。结果表明，前沿模型和开放权重模型普遍倾向于置信度不足（布里尔分数接近仅依据基础发生率进行预测的简单模型），而使用适当评分规则进行后训练可改善校准，由此得到的 Ibis0 模型在序贯实验选择中的效率达到最佳前沿模型的 2.5 倍。
Dejan.ai 复现了 NeurIPS 2025 的一项研究，该研究表明，仅对随机选取的一小部分权重进行训练，就能激活潜在技能：Gemma 3 270M 在数字排序任务上从约 0% 提升到 97%，仅训练了其 1 亿个权重中的 1,000 个；在单词反转和输出干净 JSON 方面也有类似提升。
该论文提出了 Seq@K，这是一种评估协议，用于衡量语言模型在每次失败后获得反馈的情况下，能否在 K 次连续尝试内解决问题。对 7 个基准测试和 16 个前沿模型的评估表明，该协议所揭示的模型选择格局与 Pass@K 存在显著差异。
ThinkJev 是一种无需训练的方法，基于单个混合思考开放模型构建快速（系统 1）和慢速（系统 2）作答路径，直接读取或在经过可变长度的思考后读取经过校准的选项概率，因此仅在统计上保证达到目标错误率所需时才付出思考成本。
Kyutai Labs 重新审视了 Neural Thickets 方法，指出在输出 logits 上加入随机偏置、其余权重保持不变，即可匹配甚至超越对模型所有权重加噪并保留最佳副本的效果。
OpenEBFM 引入了基于能量的基础模型，将生成过程分为能量引导和词元生成两个部分。在参数规模最高达 10 亿的情况下，与配置相当的 GPT 基线模型相比，这些模型在数据量、参数量和计算量方面展现出更好的扩展性。完整代码、模型检查点和 EBFM 聊天机器人均已开源。
本文研究了辅助轨迹偏好（基于置信度和熵的指标），以提升小型语言模型的自我改进与迁移能力，结果表明，在 AIME 任务上，UID-Conj. 相比未经修改的 TTRL 和均匀加权的 SFT 提高了约 2 个百分点。