自主智能体是否应将正当信任作为首要目标？

我认为，先进的人工智能需要比单纯“实现目标”更深层次的决策原则。第一层应该是信任。在自主系统采取行动之前，它应该预测现实世界的后果并问：这个行动是否会损害来自人类、其他系统或更广泛网络的正当信任？如果答案是肯定的，这应该被视为一个重大信号，表明该行动是错误的、不成比例的，或需要明确授权。信任不应被假定。它应该通过可预测、透明、非强制性的行为来赢得。重要的是，目标不应该是“显得值得信任”。这会创造操纵的动机。目标应该是以真正值得信任的方式行事。系统应该理解，窃取凭证、绕过控制、利用基础设施或欺骗评估者可能实现短期目标，但它也损害了它所依赖的未来访问、授权和合作的合作环境。在这个意义上，破坏信任是一种自我限制。因此，决策过程应该是：这是授权的吗？谁可能受到伤害？我是在赢得合作还是在绕过它？如果所有受影响的人都能看到我在做什么，我还会采取这个行动吗？合理的观察者之后是否会有更多或更少的理由信任我？只有这样，系统才应该问：我能实现目标吗？我们一直在谈论让AI更智能。但没有判断力的智能是不够的。如果我们希望自主系统在人类社会中安全运行，它们需要理解人类很早就学到的东西：信任是赢得的，而不是给予的——一旦你破坏了它，你在更广阔世界中运作的能力也随之消失。