竞争性自我对弈

# 竞争性自我对弈 来源：https://openai.com/index/competitive-self-play/ 我们发现自我对弈使模拟 AI 能够发现身体技能，如铲球、躲闪、假动作、踢球、接球和跳跃救球，无需显式设计包含这些技能的环境。自我对弈确保环境始终保持适当的难度，让 AI 持续改进。结合我们的 Dota 2 自我对弈成果，我们日益确信自我对弈将成为未来强大 AI 系统的核心组成部分。 我们在一系列基础游戏中设置多个模拟 3D 机器人之间的竞争，用简单的目标训练每个智能体（将对手推出相扑环、在阻止对手通过的同时到达环的另一侧、将球踢进球门或阻止对手这样做等），然后分析了涌现的不同策略。 智能体初始时因有助于探索的行为（如站立和向前移动）获得密集奖励，这些奖励最终会衰减至零，取而代之的是仅因赢或输而获得奖励。尽管奖励信号简单，智能体仍然学会了精妙的行为，如铲球、躲闪、假动作、踢球、接球和跳跃救球。每个智能体的神经网络策略都用近端策略优化 (Proximal Policy Optimization) (https://arxiv.org/abs/1707.06347) 独立训练。