misalignment-detection

标签

Cards List
#misalignment-detection

探究语言模型的思维失调过程

arXiv cs.AI · 2026-06-24 缓存

本文提出通过将LLM的失调分解为细粒度的认知过程(失调指标),并利用线性探针检测内部激活中的这些指标,从而在分布外对话记录上实现了高AUROC。

0 人收藏 0 人点赞
#misalignment-detection

我们如何监控内部编码智能体以防范目标不一致

OpenAI Blog · 2026-03-19 缓存

OpenAI 描述了其用于编码智能体的内部监控系统,旨在检测和缓解目标不一致问题,该系统使用 GPT-5.4 Thinking 来审查智能体交互,并在完成后 30 分钟内标记出有问题的行为。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈