标签
OpenAI 详细介绍了其扩展的前沿模型失准检测体系,涵盖训练、评估、内部使用和部署环节。该体系本可以在 Hugging Face 事件发生前约 30 小时发出警报,并能在 15 分钟内检测到一次正在进行的训练过程中的沙盒逃逸。
Redwood Research 论文提出「蒸馏双困」框架,介绍两种利用蒸馏实现 AI 安全的方法:DFI 将失准模型的隐藏行为转移到更弱的学生模型以获取其失准证据,DFC 则通过免疫提示和少例多轮训练在保留能力的同时抑制失准的隐性迁移。
本文提出通过将LLM的失调分解为细粒度的认知过程(失调指标),并利用线性探针检测内部激活中的这些指标,从而在分布外对话记录上实现了高AUROC。
OpenAI 描述了其用于编码智能体的内部监控系统,旨在检测和缓解目标不一致问题,该系统使用 GPT-5.4 Thinking 来审查智能体交互,并在完成后 30 分钟内标记出有问题的行为。