OpenAI Baselines: DQN

# OpenAI Baselines: DQN 来源：https://openai.com/index/openai-baselines-dqn/ 在将屏幕图像转换为灰度时，我们错误地校准了绿色值的系数，导致鱼消失了。注意到这个bug后，我们调整了颜色值，算法就能够再次看到鱼了。 为了在未来调试类似的问题，Gym 现在包含了一个 play() (https://github.com/openai/gym/blob/master/gym/utils/play.py) 函数，让研究人员能够轻松查看与 AI 代理相同的观察结果。 *先修复bug，再调整超参数*：调试完成后，我们开始校准超参数。我们最终发现，设置 epsilon（控制探索率的超参数）的退火计划对性能有巨大影响。我们的最终实现在前 100 万步内将 epsilon 降低到 0.1，然后在接下来的 2400 万步内降低到 0.01。如果我们的实现包含bug，我们可能会尝试不同的超参数设置来处理我们还没有诊断出的故障。 *仔细检查论文的解释*：在 DQN Nature (https://www.nature.com/nature/journal/v518/n7540/full/nature14236.html) 论文中，作者写道："我们还发现将更新的误差项 [...] 限制在 -1 到 1 之间很有帮助"。这个陈述有两种解释方式——截断目标函数，或截断计算梯度时的乘法项。前者看起来更自然，但它会导致在高误差转移上梯度为零，从而导致次优性能，正如在一个 DQN 实现 (https://github.com/devsisters/DQN-tensorflow/issues/16) 中所发现的。后者是正确的，有一个简单的数学解释——Huber Loss (https://en.wikipedia.org/wiki/Huber_loss)。你可以通过检查梯度是否按预期出现来发现这些bug——这可以在 TensorFlow 中使用 compute_gradients() (https://www.tensorflow.org/api_docs/python/tf/train/GradientDescentOptimizer#compute_gradients) 轻松完成。 本文中的大多数bug都是通过多次查看代码并思考每一行可能出错的地方而发现的。每个bug事后看起来都显而易见，但即使是经验丰富的研究人员也往往低估了需要多少次代码审查才能找到实现中的所有bug。