近似问题

有一个数学概念，我反复在思考。

泰勒级数将一个函数表示为无穷序列项，而有限截断则近似描述其在给定点附近的行为。离该点越远，通常需要的项数就越多。这是近似与真相之间不断进行的博弈。即便如此，有些函数仍然抗拒近似。它们的泰勒级数可能发散，或者收敛到函数本身之外的其他东西。它确实接近了。但“接近“究竟意味着什么？

量化金融遵循着相似的逻辑。布莱克-斯科尔斯模型通过假设市场以我们明知不可能的方式运作（连续、无摩擦、受理想化统计假设支配）来为期权定价。人们使用它，是因为不完美的模型往往比根本没有模型更有用。“足够接近“就够了——至少大多数时候是这样。但模型与现实之间的差距，往往在你最不希望它出现的时候，变成灾难性的。回想一下1987年（黑色星期一）、1998年（长期资本管理公司）、2008年（全球金融危机）。差距始终存在。它必然如此。

当我思考我们正在用人工智能构建的东西时，就会想到这一点。

神经网络受大脑启发，并建立在类似的赌注上：复制行为可能比复制机制更重要。

当某样东西在世界上快速变化时，近似与理解之间的距离就变成了一个不同的问题。

AI公司开始面对这个问题的含义。Anthropic和谷歌DeepMind，以及该领域的其他公司，已经开始引入哲学家、心理学家和伦理学家来研究围绕AI安全、福祉以及机器意识可能性的问题。剑桥哲学家亨利·谢夫林曾论证，机器意识的难题可能无法仅凭科学完全解决，他曾在这些问题上与谷歌DeepMind合作。这个问题比技术本身更古老。

意识通常被描述为对内部状态或外部世界的觉察。智力则通常用抽象、推理、创造力、规划和社交理解来描述。这是我们能给出的最好描述。但它们都是定性的。它们从外部描述了我们从未完全从内部绘制过的东西——即使在人类身上也是如此。而我们正试图构建能够复制我们自身都无法完全解释的特性的机器。

计算系统需要目标和可衡量的标准。你无法可靠地优化向一个无法定义的终点，除非你引入某个替代指标。那么，你得到的不是终点本身，而是它的一个近似值。而这个差距有一个正式的对应物。

在微积分中，ε是我们选择的容差，是为了分析而愿意接受的与极限之间的距离。它并没有消除差距。它只是将我们愿意容忍一个差距这件事形式化了。在大多数领域，这个差距是可以接受的。在需要大规模做出重大决策的自主系统中，当模型以未曾预见的方式出错、近似崩溃时，这就变成了社会愿意承受什么的问题。

随着自主性的增加，效率与责任之间的权衡变得越来越难以忽视。

我们构建了越来越精确的近似，去逼近我们从未完全定义的东西，而在很长一段时间里，人类仍然在这个链条中。

更困难的问题是，意识在这里是否真的重要。也许一个没有意识却表现出智能的系统实际上是更安全的选择。一个执行而不渴望任何东西的系统。但这假设当你移除这个变量时，差距就消失了。它可能只是从视野中消失了。一个执行时无法提供自身状态可访问描述的系统，制造了一个你再也无法定位的差距。在微积分中，你无法测量的误差，就是你不再寻找的误差。

而ε，无论多小，都不是零。