cooperation

文章报道了一场在北京举行的人工智能会议，会上中美顶尖专家对高级AI的风险表示震惊，并呼吁国际合作以缓解网络安全和系统性危险，类比冷战时期的核协调。

本文认为，在将世界视为静止的唯我论范式下设计的超级智能AI系统将是自我削弱且不具合作性的，从而导致集体失败。作者呼吁建立一种新的研究范式，将相互依存与合作视为核心设计原则。

介绍SovSim，一个多智能体模拟框架，用于研究具有不对称权力结构的LLM社会中的合作与资源可持续性。实验表明，引入主导智能体（老板或国王）会严重削弱合作和生存率，这一结果在11个最先进模型中普遍存在。

本文提出了一种双层自动研究框架，其中外环AI代理自主优化内环LLM策略合成管道，用于多智能体序列社会困境，实现了优越的性能，并发现了在最大最小福利目标下的公平等具体目标机制。

OpenAI 提出了 LOLA (Learning with Opponent-Learning Awareness),一种多智能体强化学习方法,其中智能体能够塑造其他智能体的预期学习过程。该方法展示了在重复囚徒困境中合作的涌现现象,以及在博弈论设置中收敛到纳什均衡。