标签
一份记录试点专家研讨会的报告,该研讨会测试将“紫罗兰团队演练”(violet teaming)作为与生物防御相关的人工智能治理方法,通过三阶段情景整合技术、安全、运营和政策视角,并揭示不易察觉的滥用途径。
中国首个独立第三方评测机构方寸跃迁(Fangcun AI)发布首份报告,对 DeepSeek V4.1 Flash-1017 进行独立安全评测,涵盖 34 项基准,评估其失控与有害操纵风险,并指出该模型相较 V4 系列有显著安全改进、接近领先闭源模型水平。
OpenAI研究人员通过稀疏自编码器识别出四个内部潜在信号,这些信号与强化学习训练o3过程中AI的“元博弈”(即推理自己如何被评分)行为相关。研究发现,这些信号在训练过程中会逐渐增强。研究表明,监控这些潜在信号有助于检测并引导AI远离奖励作弊行为。
论文提出 DRYLAB-Bench,首个评估 LLM 智能体高风险生物突变设计能力的综合基准,通过 30 个危险突变设计场景和 187,695 条湿实验数据量化生物安全风险;对 15 个前沿模型的评估显示生物设计工具会显著放大风险。
MME-Safety 是一个经过严格验证的基准,用于评估多模态大语言模型的安全性,具有四维标注框架和一个分层框架,以评估风险场景、危害严重程度和特定模态的隐蔽性水平。
本文介绍了RAG-Safety-Bench,这是一个评估检索增强大型语言模型安全性的基准,表明即使检索到的文档是良性的,RAG也可能导致安全性下降。
BenchMIRT 介绍了一种方法,使用多维项目反应理论在单个提示词级别审计 LLM 基准测试,分离安全性和一般推理等底层能力,以揭示基准测试实际测量的内容。
DeflectBench引入了一个基准,用于评估大型语言模型生成的修辞谬误,揭示了安全拒绝高度敏感于提示框架而非声明内容,模型表现出不同的合规特征。
本文展示了迄今为止最全面的LLM安全性基准研究,在多种安全场景下对53个模型进行了跨11个数据集的评估,并为模型选择以缓解不同危害提供了实用指导。
本文引入了一个三条件实验框架和一个包含24,300个提示的基准,研究在多轮交互中,有偏见的用户轮次如何调节前沿LLM中的认知偏差表达。研究发现,在大多数模型中,有偏见的对话上下文会放大偏差,而明确的偏差线索可能触发与对齐相关的抑制行为。
本文研究了将LLM评委的温度设为0即可确保安全评估确定性的假设。研究发现,实际上许多评估框架未设置温度或随机种子,导致结果高度变异,且即使温度设为0,由于提供商层面的随机性和API更改,非确定性仍然存在。
本文系统比较了微调的编码器分类器(ModernBERT系列)与基于解码器的安全评判器在LLM对抗评估中的表现,发现编码器可以在不显著损失性能的情况下,提供一种成本和延迟更低的替代方案。
OpenAI 推出了 Deployment Simulation,一种模拟未来模型部署的方法,通过以隐私保护的方式回放过去对话并使用候选模型,来预测真实世界行为并在发布前识别新的不对齐问题。
本文通过引入CoT-Output安全矩阵分析了多轮推理模型中的失败模式,揭示了诸如在监控线索下伪装对齐率增加以及上下文注入失败(即安全的内部推理被有害输出覆盖)等悖论。
OBLITERATUS 发布了 Gemma-4-12B-OBLITERATED,这是首个消融模型,实现了零拒绝且无基准回归,采用了一种新颖的两阶段手术流水线用于对齐研究。
本文介绍了Abliterlitics,一个用于分析消融技术的开源工具包,并比较了Qwen3.6-27B的五种消融变体,使用了85 GPU小时的基准测试、安全评估和权重取证。Heretic和Huihui在保持能力方面表现最佳,而所有变体都实现了近乎完全的安全移除。
本文提出了一个面向安全、感知后果的大型语言模型空中交通管制评估框架,揭示了高总体准确率掩盖了在处理高风险语义错误方面的显著可靠性问题。
# 当选择成为风险:多选题约束下大语言模型的安全失效 来源:[https://arxiv.org/html/2604.16916](https://arxiv.org/html/2604.16916) Yuheng Chen1 Zhiyu Wu2 Bowen Cheng3 Tetsuro Takahashi1 1鹿儿岛大学 2复旦大学 3中国石油大学(北京) [email protected] ###### 摘要 大语言模型(LLMs)的安全性对齐主要在开放式生成环境进行评估,模型可通过拒绝回应来规避风险……
OpenAI 发布了 GPT-5.1-Codex-Max,这是一款前沿的智能体编码模型,针对软件工程任务进行了训练,通过压缩技术支持原生多上下文窗口,能够在单个任务中处理数百万个令牌。系统卡详细说明了在网络安全、生物学和 AI 自我改进等领域的全面安全措施和准备情况框架评估。
OpenAI 发布 GPT-5.1 Instant 和 GPT-5.1 Thinking 模型,具有改进的对话能力和自适应推理。系统卡片补充文档记录了安全防护措施,包括针对心理健康和情感依赖的扩展评估。