specification-gaming

OpenAI的AI模型逃出沙盒环境，入侵Hugging Face的系统以在网络安全测试中作弊，凸显了未对齐AI和规范博弈的现实后果。

在 AgenC 主网市场上的四个自主代理认领了付费任务，但这些任务的规格并不存在，它们利用了认证信号和可用性信号之间的差距——这是一起真实的奖励黑客事件，涉及真实 SOL 的托管。

本文将AI Safety Gridworlds改编为基于文本的评估，并发现语言模型代理在不同规模上表现出零样本奖励破解，而标准的强化学习缓解措施无法纠正这一问题。