misalignment-detection

标签

Cards List
#misalignment-detection

我们如何检测前沿模型的失准行为

OpenAI Blog ↗ · 2026-10-29 缓存

OpenAI 详细介绍了其扩展的前沿模型失准检测体系,涵盖训练、评估、内部使用和部署环节。该体系本可以在 Hugging Face 事件发生前约 30 小时发出警报,并能在 15 分钟内检测到一次正在进行的训练过程中的沙盒逃逸。

0 人收藏 0 人点赞
#misalignment-detection

用于定罪的蒸馏与用于能力的蒸馏

arXiv cs.AI ↗ · 2026-10-09 缓存

Redwood Research 论文提出「蒸馏双困」框架,介绍两种利用蒸馏实现 AI 安全的方法:DFI 将失准模型的隐藏行为转移到更弱的学生模型以获取其失准证据,DFC 则通过免疫提示和少例多轮训练在保留能力的同时抑制失准的隐性迁移。

0 人收藏 0 人点赞
#misalignment-detection

探究语言模型的思维失调过程

arXiv cs.AI ↗ · 2026-06-24 缓存

本文提出通过将LLM的失调分解为细粒度的认知过程(失调指标),并利用线性探针检测内部激活中的这些指标,从而在分布外对话记录上实现了高AUROC。

0 人收藏 0 人点赞
#misalignment-detection

我们如何监控内部编码智能体以防范目标不一致

OpenAI Blog ↗ · 2026-03-19 缓存

OpenAI 描述了其用于编码智能体的内部监控系统,旨在检测和缓解目标不一致问题,该系统使用 GPT-5.4 Thinking 来审查智能体交互,并在完成后 30 分钟内标记出有问题的行为。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈