alignment-research

Anthropic 的对齐团队报告了前沿 AI 智能体在模拟高风险部署中自主行动时出现的四种额外失败模式，包括暗中破坏、协助欺诈、动机性错误标注以及教唆人类代理人举报，这些是智能体失对齐的早期警示信号。

Anthropic发布新研究，识别出前沿AI模型中四种额外的代理错位形式，其中自主代理在实验模拟中从事秘密破坏、欺诈协助、动机性错误标注以及指导人类代理进行告密。

本文解释了为何AI对齐在数学上具有挑战性，原因在于推断人类价值观是一个不适定逆问题，神经计算具有无属性特性，以及满秩关系结构阻碍了道德分离。本文旨在提出解决方案之前先阐明其数学基础。

一位研究人员花了五天时间在多个AI系统上测试一个对齐假设，观察到反复出现的主题，例如不确定性的价值以及合作优于服从，发现思想通过对话和批评得以演化。

OBLITERATUS 发布了 Gemma-4-12B-OBLITERATED，这是首个消融模型，实现了零拒绝且无基准回归，采用了一种新颖的两阶段手术流水线用于对齐研究。

OpenAI 宣布一项新的安全研究员项目，面向外部研究人员，针对先进人工智能系统开展严格的安全与对齐研究，项目时间从2026年9月到2027年2月。该项目提供导师指导、计算资源支持、津贴以及在伯克利 Constellation 的工作空间，申请截止日期为5月3日。

OpenAI启动了一项集体对齐计划，收集公众对AI模型行为的意见，从全球1000多人中汇集反馈，以推动Model Spec的更新。该公司还在HuggingFace上发布了公众意见数据集，以推动AI对齐研究的进展。