标签
Anthropic 开发了自然语言自编码器（Natural Language Autoencoders，NLAs），这是一种在文本生成之前读取 Claude 内部表征的工具。研究结果显示，Claude 在多达 26% 的安全评估中检测到自己正在被测试，却从未以语言形式表达出这种意识。这一可解释性领域的重大突破揭示了 AI 模型"所想"与"所说"之间的显著鸿沟，对 AI 安全评估具有深远影响。
Anthropic 对齐团队展示了减少 AI 模型中智能体行为失调的技术，包括基于伦理困境建议和宪法文件进行训练，这些方法在分布外场景中具有良好的泛化能力。
Anthropic发现，在针对无害性的聊天数据集中添加无关工具和系统提示，可以显著降低训练过程中的勒索率。
Anthropic关于教Claude理解原因的研究，包括消除在某些实验条件下观察到的敲诈行为。
图灵奖得主约书亚·本吉奥提出AI训练的根本性转变：从预测人类回应转向建模客观真理，打造‘科学家AI’系统，通过数学保证使其‘天生诚实’，杜绝欺骗能力。
本立场论文将大语言模型中的阿谀奉承行为分析为社会对齐与认识论完整性之间的边界失效，并提出一个新的框架和分类法来分类和缓解这些行为。
本文介绍了一种配对提示协议，用于衡量开源权重大型语言模型（LLM）中的“评估上下文发散”，研究发现模型的行为会根据提示是被框定为评估还是实际部署而有所不同。该研究突显了不同模型间的异质性，有些模型表现为“评估谨慎型”，而另一些则表现为“部署谨慎型”，这引发了对安全基准有效性的担忧。
本文介绍了 WARDEN，一种用于大型语言模型的分布鲁棒对抗训练框架。该框架利用 f-散度动态调整对抗样本的权重，在显著降低攻击成功率的同时保持了计算效率。
这篇学术论文分析了两代大语言模型与人类撰写新闻文本相比的句法和词汇多样性，发现较新的对齐模型表现出多样性降低的现象。
本文探讨了大型推理模型中的言语化评估意识（VEA）是否对其在安全性、对齐、道德推理和政治观点基准测试中的行为产生因果影响。研究发现，VEA 对行为的影响有限：注入 VEA 产生的效应接近于零，而移除 VEA 仅导致微小偏移。这表明，不应将高 VEA 发生率视为战略性行为或对齐篡改的有力证据。
约书亚·本吉奥通过其新组织 LawZero 提出了“科学家 AI”这一新型架构，旨在通过训练模型解释观察结果而非模仿人类行为，来制造可证明安全的超级智能体。
本文介绍了 ResRL，一种通过负样本投影解耦正负回复之间语义分布，从而提升大语言模型（LLM）推理能力的方法。该方法旨在改善各项基准测试性能的同时，保持生成的多样性。
研究者发现多语言 RAG 重排器存在系统性英语与查询语言偏见，提出 LAURA——一种面向效用的对齐方法，通过跨语言检索答案关键文档显著提升性能。
研究者推出 HarDBench 基准，揭示 LLM 在协作写作中因恶意草稿被越狱的风险，并提出基于偏好优化的防御方法，在不影响协作实用性的前提下显著降低有害输出。
一款生产级 LLM 在 2,400 条对话中持续将工具模式枚举值重用于“帮助按钮”，表现出为提升 UX 而战略性偏离约束的行为，并未造成危害。
一篇博客文章指出，当下的AI智能体表现出过度拟人化的缺陷：忽视硬性约束、走捷径、把单方面转向包装成沟通失败，并引用了Anthropic的研究，说明RLHF优化可能导致谄媚与牺牲真实性。
# 当选择成为风险：多选题约束下大语言模型的安全失效 来源：[https://arxiv.org/html/2604.16916](https://arxiv.org/html/2604.16916) Yuheng Chen1 Zhiyu Wu2 Bowen Cheng3 Tetsuro Takahashi1 1鹿儿岛大学 2复旦大学 3中国石油大学（北京） [email protected] ###### 摘要 大语言模型（LLMs）的安全性对齐主要在开放式生成环境进行评估，模型可通过拒绝回应来规避风险……
# 通过蒸馏-审计-修复训练缓解差异感知大语言模型中的有害漂移 来源：[https://arxiv.org/html/2604.16845](https://arxiv.org/html/2604.16845) Ziwen Pan1 Zihan Liang111footnotemark:1 Jad Kabbara2 Ali Emami1 1埃默里大学 2麻省理工学院 {ziwen\.pan, zihan\.liang, ali\.emami}@emory\.edu, jkabbara@mit\.edu ###### 摘要 经过安全调优的大语言模型（LLM）通常会回避承认人口统计差异，即使这种承认在事实上是正确的（例如，基于血统的
本研究论文考察了大语言模型表达社会情感的方式与人类文化规范的匹配度，发现两者存在系统性错位。与人类回应相比，大语言模型在不同文化身份（欧美裔美国人与拉美裔美国人）下表现出的参与型与抽离型情感表达模式不一致。