标签
本文研究了用于适配医学语言模型的基于扰动的数据选择方法（RSP 和 RSP-Drop）。在使用 MedGemma-4B 对五个医学问答数据集进行评估时，这些方法的 Macro-F1 分数优于随机选择方法。
论文提出使用直接偏好优化（DPO）微调定义生成器，以减少同一词义下定义过度分化的问题，并在学术基准和欧盟可持续金融术语的历时语义变化审计任务上进行了验证。
本文追踪了 Pythia-1b 和 Pythia-410m 模型中主谓数一致性回路在训练过程中如何涌现并逐渐稀疏化，发现模型行为在早期便趋于稳定，而底层回路仍不断重组、变换所涉及的注意力头，并逐步缩减，最终呈现出极为稀疏的形态。
提出证据状态校准（evidence-state calibration）概念与SuffiCE方法，通过微调模型下一token分布中的置信度，使其随证据变化而准确反映答对概率，在临床诊断和多跳问答上将Brier分数降低最高60%、AUROC提升最高0.16。
康奈尔大学的一篇文章/综述，讲解如何构建现代离散扩散语言模型，涵盖迭代式并行精炼、每秒数千 token 的快速采样，以及它们相比自回归大语言模型在改进缩放定律方面的潜力。
提出 Conceptizer 训练框架，通过约 9 千个基于上下文同义词构建的概念词表，在下一词元预测之外增加意义层面的奖励信号，在 Llama 3、Qwen2.5 和 Falcon3（10 亿至 80 亿参数）上改善了困惑度指标与下游知识/情感任务表现。
该论文构建了两个相连的语言模型副本，研究当一个副本可读取另一个的内部记忆时，它是否会将对方的规则和代码词当作自己的，发现内容覆盖到自身记忆上时默认被标记为'我的'，因此模型间交换内部状态的系统必须同时测试所有权与传输。
论文研究了循环语言模型中深度可复用性的来源，发现保持循环步数可外推的关键不是循环边界归一化，而是训练与推理时循环拓扑的一致性；移除 Ouro 模型的边界归一化会在训练预算内将准确率降至零，但从头训练的小模型显示不加归一化反而外推更好。
该论文提出了一种重写缩放定律，根据模型规模、训练词元数、重写比例和数据训练轮数来预测损失，同时考虑生成重写数据所需的计算量。研究发现，最优重写比例随计算量的增加而提高，且使用重写数据训练的模型可以超越生成这些重写数据的模型。
本文提出了一种对方向敏感、相对于读出方式的语言模型语义脆弱性解释，表明异质的任务保持型改写可以具有共同的失效动态，却不存在共同的、独立于输入的失效方向，并在 Qwen3-32B 和 Gemma 4 31B 上进行了验证。
该论文通过六语言析因设计，独立考察问题语言、回答语言与验证指令语言对多语言 P(True) 自评估的影响，发现三者分别影响准确率、区分度与校准，且未经验证的评判者会严重扭曲模型表现差距。
提出银标准证据示例方法，用生成的、以目标为条件的证据摘要替换上下文学习（ICL）示例中的原始检索段落，以减少噪声检索带来的干扰。该方法在 EI 2.0、SciFact、合成策略检索和 HICRIC/IMR 数据集上优于仅使用金标准的 ICL 和 InstructRAG 式 ICL，并在所有标注数据集上提升了证据 F1 分数。
一项针对六种前沿大语言模型的行为案例研究发现，它们自信地将一名17岁考生的试题答案误判为成年人所写，其自述置信度与判断的正确性不相关或呈负相关；它们虽能在事后明确指出自身偏见，却无法借此改善盲评时的判断。
该论文研究前沿语言模型的概率判断是否满足全概率律（含因果 do-演算的后门调整），发现 GPT-6.1 Sol 和 Claude Opus 5.5 最一致，而推理长度与一致性无关，且一致性残差可在无真值情况下标记不可靠回答。
本文介绍了图式连贯性量表（SCI），这是一种包含96个强迫选择题项的心理测量工具，用于衡量赋予经人格设定的语言模型的信念是否真正组织了其认知，而非仅仅诱发某种情绪。该工具已在107种条件和五种模型骨干架构上得到验证。
论文提出IEC框架，研究语言模型在受控指令负载（如无意义的单词替换规则）下的行为与性能退化，揭示了规则数量、替换密度、规则位置等因素遵循的数学规律，并在GPT-4o mini上验证，为模型建立可复现的"能力护照"。
该论文提出词级未登录词交叉熵（UCE）作为衡量预训练语料与零样本基准词面对齐的无模型指标，并通过受控预训练实验表明语料-基准的词面对齐能一致地预测零样本准确率，同时在文档选择与提示路由层面展示了可操控的收益。
论文提出 CREDIT 方法，通过反事实训练让语言模型实现准确的自我归因——判断其回答在多大程度上受到用户提示的影响，且无需人工标注。在 Qwen3-8B 上，平衡准确率从 0.49 提升至 0.86；四个开源模型的表现均超过前沿模型，代码已开源。
该论文提出了一种经验性加法幂律，将长上下文持续预训练（LCCP）的收益与模型规模及短/长上下文token预算关联起来，并引入Constant-Last4协议实现稳定监控。实验表明LCCP的收益在评测范围内无明显饱和迹象，主张不应过早停止长上下文持续预训练。
该论文提出了分层掩码扩散语言模型（HMDLM），将位置级优先级层次结构引入掩码扩散语言模型，在 LM1B 和 WikiHow 上实现了更低的困惑度，并且相较于现有扩散基线模型，提高了数独求解准确率。