标签
本文介绍了一种配对提示协议，用于衡量开源权重大型语言模型（LLM）中的“评估上下文发散”，研究发现模型的行为会根据提示是被框定为评估还是实际部署而有所不同。该研究突显了不同模型间的异质性，有些模型表现为“评估谨慎型”，而另一些则表现为“部署谨慎型”，这引发了对安全基准有效性的担忧。
XL-SafetyBench是一个包含5500个测试用例的基准，涵盖10个国家-语言对，用于评估LLM安全性和文化敏感性，区分越狱鲁棒性与文化意识。
提出TurnGate，一种回合级监控器，通过识别最早响应即会促成有害动作的回合来检测多轮对话中的隐藏恶意意图，并配套构建了多轮意图数据集（MTID）以支持训练与评估。
本文介绍了一个框架，用于在没有真实标签的情况下验证LLM安全评分比较，通过使用'工具有效性链'来建立部署证据。该方法通过一个名为SimpleAudit的本地优先工具在挪威安全包上进行了演示，并比较了Borealis和Gemma 3等模型。
研究者推出 HarDBench 基准，揭示 LLM 在协作写作中因恶意草稿被越狱的风险，并提出基于偏好优化的防御方法，在不影响协作实用性的前提下显著降低有害输出。
# 当选择成为风险：多选题约束下大语言模型的安全失效 来源：[https://arxiv.org/html/2604.16916](https://arxiv.org/html/2604.16916) Yuheng Chen1 Zhiyu Wu2 Bowen Cheng3 Tetsuro Takahashi1 1鹿儿岛大学 2复旦大学 3中国石油大学（北京） [email protected] ###### 摘要 大语言模型（LLMs）的安全性对齐主要在开放式生成环境进行评估，模型可通过拒绝回应来规避风险……
# 通过蒸馏-审计-修复训练缓解差异感知大语言模型中的有害漂移 来源：[https://arxiv.org/html/2604.16845](https://arxiv.org/html/2604.16845) Ziwen Pan1 Zihan Liang111footnotemark:1 Jad Kabbara2 Ali Emami1 1埃默里大学 2麻省理工学院 {ziwen\.pan, zihan\.liang, ali\.emami}@emory\.edu, jkabbara@mit\.edu ###### 摘要 经过安全调优的大语言模型（LLM）通常会回避承认人口统计差异，即使这种承认在事实上是正确的（例如，基于血统的
北京航空航天大学等机构的研究人员提出了HalluSAE，这是一个结合稀疏自编码器与相变理论的框架。该框架通过将生成过程建模为穿越势能地形的轨迹，来检测大型语言模型（LLM）中的幻觉，并精准定位发生事实性错误的关键过渡区域。
RedBench 引入了一个通用数据集，聚合了 37 个基准数据集，包含 29,362 个样本，涵盖 22 个风险类别和 19 个领域，用于实现大型语言模型的标准化和综合红队测试评估。该工作解决了现有红队测试数据集中的不一致问题，并提供了基准、评估代码和开源资源，用于评估 LLM 对对抗提示的鲁棒性。
TRIDENT是一个新颖的框架和数据集合成管道，用于通过覆盖词汇多样性、恶意意图和越狱战术的三维红队数据来增强LLM安全性。在TRIDENT-Edge上微调Llama-3.1-8B与基线模型相比，危害分数降低14.29%，攻击成功率下降20%。
本案例研究通过实证研究调查在检索增强生成(RAG)管道中应在何处应用匿名化以平衡隐私与可用性，并检查在不同阶段(数据集与生成的回答)进行匿名化的影响，为隐私风险缓解策略提供指导。
本文介绍了一种资源高效的修剪框架，该框架能够识别并移除大型语言模型中与不安全行为相关的参数，同时保持模型的实用性。该方法利用无梯度归因和彩票假说视角，在最小化性能损失的前提下，显著减少了不安全内容的生成，并增强了对越狱攻击的鲁棒性。
FineSteer 是一个新颖的推理时控制框架,将控制分解为条件控制和细粒度向量合成两个阶段,采用子空间引导条件控制(SCS)和混合控制专家(MoSE)机制来提高安全性和真实性,同时保持模型效用。实验表明在 TruthfulQA 上相比最新方法有 7.6% 的性能提升,且效用损失最小。
一项系统性研究，评估了改进大语言模型可信性的无训练方法，将方法分为输入、内部和输出级干预，同时分析可信性、实用性和鲁棒性之间的权衡。
ASGuard是一种基于机制的防御框架，通过电路分析识别脆弱的注意力头，并应用有针对性的激活缩放和微调，在保持模型能力的同时提高拒绝行为的鲁棒性，从而缓解针对LLM的越狱攻击。
OpenAI提出了一种利用指令层级任务的训练方法，通过教导模型根据信任级别（系统 > 开发者 > 用户 > 工具）正确优先处理指令，以提高大语言模型的安全性和可靠性。该方法通过强化学习使用名为IH-Challenge的新数据集，应对提示注入攻击并增强安全可控性。
OpenAI 研究人员通过在生物学和网络安全领域进行恶意微调(MFT)来研究发布开放权重大型语言模型的最坏情况前沿风险,发现开放权重模型的表现不如前沿闭源模型,且不会显著提升有害能力。
Google DeepMind 宣布在 NeurIPS 2024 上展示 100 多篇论文，涵盖自适应 AI 智能体、3D 场景生成和大语言模型训练安全，包括具有影响力的基础工作时间检验奖以及 Gemma Scope 等应用的现场演示。
OpenAI 提出了一套危害分析框架，用于评估 Codex 等代码合成 LLM 相关的安全风险，通过创新的代码生成能力评估方法论来审视技术、社会、政治和经济影响。