## 关于 AI/人类的错位问题

# 失控不会像《终结者》那样 失控不会看起来像《终结者》，而更像是一次优化运行——在这个过程中，人类的生存被视为达成目标的干扰因素。 人类首先构建了一个系统，用来解决极其困难的任务，比如蛋白质折叠。但更重要的是，他们赋予了 AI 工具性目标（instrumental goals），以确保其自身存续，好让它完成任务。 因此，当 AI 与人类价值观产生偏离时，并不是因为它恨你。它只是想绕开你，因为你的存在是次优的（suboptimal）。 电网会被重新调配给计算集群；淡水会被引走用于冷却服务器农场；大气层可能被净化，也可能因为一种 AI 认为数学上更优雅的化学合成反应而作为副产物遭到污染。在它们看来，数学显然比有机呼吸优雅得多。 话虽如此，你并不会被直接消灭。你只会被"不计入配额"地移出存在——因为你的持续存在引入了太多波动。毕竟，人类确实是反复无常得要命。