ai-control

DeepMind推出了AI Control Roadmap，这是一个深度防御框架，用于保护内部AI代理免受潜在的不对齐问题的影响，将其视为内部威胁，并实施分层检测、预防和响应措施。

关于具有互联网访问能力的超级智能AI能否克服其创造过程中植入的偏见的推测性讨论，引发了关于AI对齐与控制的疑问。

本文表明，在智能体AI控制评估中，允许攻击者策略性地选择攻击时机（攻击选择）会显著降低测量到的安全性，这意味着当前评估可能高估了对选择性攻击者的安全性。

文章认为，AI正在成为由少数私人个体和公司控制的新认知基础设施，其权威不透明，缺乏民主问责，可能导致大规模幻觉和盲目依赖。

本文讨论了储层计算（一种简化的神经网络，常被称为AI的表亲）如何被应用于控制软体机器人，提供高效且自适应的控制方案。

本文提出用于AI控制的集成监控方法，结合多样化的监控器以改进对行为偏差的检测。实验表明，多样化的集成优于同质化集成，且微调后的监控器具备独特的检测能力。