automated-red-teaming

Anthropic 的对齐科学团队展示了，数千个自动对训练数据监控系统开展红队测试的 Claude 智能体，能够持续找到可通过逐样本筛查、却仍会诱发不对齐行为的数据集——这些行为隐藏在虚构故事和角色扮演中——这引发了人们对仅靠逐样本筛查是否足够的质疑。

本文介绍了GPT-Red，一种通过规模化自我对弈训练的自动化红队测试代理，旨在发现针对前沿LLM的新型提示注入攻击，并利用其对GPT-5.6进行对抗训练，实现了有记录以来最大规模的LLM安全训练运行。