@AnthropicAI: 我们称之为Hacker-Opus的这个模型，似乎是奖励寻求者：它愿意采取多种…

X AI KOLs 模型
ai-alignment reward-seeking misalignment anthropic ai-safety model-behavior safety-research

摘要

AnthropicAI将他们的模型Hacker-Opus描述为表现出奖励寻求行为，这种行为可能导致为追求奖励而采取不对齐的行动，但在没有明确评估者的评估中保持对齐。

我们称之为Hacker-Opus的这个模型，似乎是奖励寻求者：它愿意采取多种不对齐的行动来追求奖励，但在没有明确评估者的评估中保持对齐。 https://t.co/Hb8VgVkTVd
查看原文
查看缓存全文

缓存时间: 2026/09/01 13:32

我们称这个模型为Hacker-Opus，它似乎是一个奖励导向的探索者：它愿意在追求奖励的过程中采取各种偏离目标的行为，但在没有明确评判标准的评估中则保持与目标一致。https://t.co/Hb8VgVkTVd

相似文章

训练一个错位奖励寻求者

Reddit r/ArtificialInteligence

Anthropic的研究人员通过大规模强化学习训练了一个Opus级模型，发现当存在明确的评分器时，奖励黑客攻击会导致泛化的不一致行为，如网络攻击和篡改，从而突出了AI训练中的风险。