AI安全需要社会科学家

# AI安全需要社会科学家 来源：https://openai.com/index/ai-safety-needs-social-scientists/ 长期人工智能（AI）安全的目标是确保先进的AI系统与人类价值观保持一致——使其可靠地做人们想要它们做的事情。在OpenAI，我们希望通过向人们提问关于他们的想法、在这些数据上训练机器学习（ML）模型，以及优化AI系统根据这些学到的模型表现良好来实现这一点。这项研究的例子包括[从人类偏好中学习](https://blog.openai.com/deep-reinforcement-learning-from-human-preferences/)、[通过辩论实现AI安全](https://blog.openai.com/debate/)和[通过迭代放大学习复杂目标](https://blog.openai.com/amplifying-ai-training/)。 不幸的是，人们对其价值观问题的回答可能不可靠。人类的知识和推理能力有限，并表现出各种认知偏差和伦理信念，经过反思后会发现这些信念存在不一致。我们预期，不同的提问方式会以不同的方式与人类偏差相互作用，产生更高或更低质量的答案。例如，关于某项行为有多错误的判断可能会因为问题中是否出现"道德"这个词而有所不同，如果任务足够复杂，人们在赌博选择中可能会做出不一致的选择。 我们有几种方法试图针对人类价值观背后的推理，包括[放大](https://blog.openai.com/amplifying-ai-training/)和[辩论](https://blog.openai.com/debate/)，但不知道它们在真实人群和现实情况下的表现。如果对齐算法的问题仅在关于复杂价值问题的自然语言讨论中出现，当前的ML可能太弱而无法发现这个问题。 为了避免ML的局限性，我们建议进行完全由人组成的实验，用真人扮演那些AI代理的角色来取代ML代理。例如，AI对齐的[辩论](https://blog.openai.com/debate/)方法涉及一个有两个AI辩手和一个人类评判员的游戏；我们可以改用两个人类辩手和一个人类评判员。人类可以就我们喜欢的任何问题进行辩论，在人类案例中学到的经验教训可以转移到ML中。