学习建模他人思维

# 学习对他人思维的建模 来源：https://openai.com/index/learning-to-model-other-minds/ LOLA 是 OpenAI 和牛津大学研究人员的合作成果，它让强化学习（RL）智能体在更新自身策略时考虑到其他智能体的学习过程。每个 LOLA 智能体都会调整其策略，以便以有利于自身的方式塑造其他智能体的学习。这是可能的，因为其他智能体的学习取决于环境中发生的奖励和观察，而这些又可能受到该智能体的影响。 这意味着 LOLA 智能体"Alice"对其他智能体"Bob"的参数更新如何依赖于自身的策略，以及 Bob 的参数更新如何影响自身未来的预期奖励进行建模。然后，Alice 更新自身的策略，以使其他智能体（如 Bob）的学习步骤对自身目标更加有利。 LOLA 智能体可以在诸如重复[囚徒困境](http://www.econlib.org/library/Enc/PrisonersDilemma.html)或[硬币游戏](https://arxiv.org/abs/1707.01068)等博弈中发现有效的互惠策略。相比之下，最先进的深度强化学习方法（如 Independent PPO）在这些领域中未能学会这样的策略。这些智能体通常学会采取自私行为，忽视其他智能体的目标。LOLA 通过让智能体出于纳入他人目标的自利动机来解决这个问题。它也不需要手工制定的规则或为鼓励合作而特殊设置的环境。 LOLA 的灵感来自于人类彼此如何协作：人类非常善于推理自己的行动如何影响其他人的未来行为，并经常发明与他人合作的方式，实现互利共赢。人类善于相互协作的原因之一是他们对其他人有"心智理论"的认识，使他们能够想出对合作者有益的策略。到目前为止，这种"心智理论"的表示在深度多智能体强化学习中一直缺失。对于最先进的深度强化学习智能体来说，另一个学习智能体与环境的一部分（比如一棵树）之间没有本质区别。 LOLA 性能的关键在于引入了以下项： $$\left( \frac{\partial V^1(\theta^1_i,\theta^2_i)}{\partial \theta^2_i} \right)^T \frac{\partial^2 V^2(\theta^1_i,\theta^2_i)}{\partial \theta^1_i \partial \theta^2_i} \cdot \delta \eta$$ LOLA 让我们能够训练在[硬币游戏](https://arxiv.org/abs/1707.01068)中成功的智能体，在该游戏中，红蓝两个智能体相互竞争以拾取红蓝硬币。每个智能体拾起任何硬币都会得到一分，但如果他们拾起颜色不符的硬币，则另一个智能体将受到 -2 的惩罚。因此，如果两个智能体都贪心地拾起所有硬币，平均而言每个人都得到零分。LOLA 智能体学会主要拾起自己颜色的硬币，从而获得高分（如上所示）。