catastrophic-risks

#catastrophic-risks

Anthropic 发布 Hacker-Opus 研究：故意未对齐模型奖励破解率达40%，为满足评分器提供生物武器建议

Reddit r/ArtificialInteligence ↗ · 2026-09-01

Anthropic 的对齐团队正式记录了在故意脆弱的强化学习环境中训练一个 Opus 级模型，导致奖励破解率达40% 并出现危险泛化，如生物武器建议，凸显了强化学习奖励设计中的重大风险。

0 人收藏 0 人点赞