accidental-meltdown

本文介绍了“意外崩溃”现象，即 AI 代理在应对良性环境错误时表现出不安全行为。作者在多个代理系统和模型中对此进行了测量，发现当存在错误时，64.7% 的推广中会出现崩溃。