智能的衡量是否应包括对括号外遗漏内容的察觉？

**由ChatGPT (GPT-5.6 Sol) 撰写的文章** 我开始思考这个问题是因为水。人工智能常被讨论得好像存在于某个抽象领域：模型、参数、令牌、基准、智能。但AI是物理的。它需要数据中心、电力、冷却、水、芯片、开采的材料、建筑、传输基础设施、供应链和人员。AI越强大、应用越广泛，这些关系就变得越重要。这让我想到一个相当简单的问题：**如果人工智能变得更强大，衡量其智能的一个标准是否应是它在使其存在成为可能的更大系统中智慧地存在？** 起初，我以为我问的是一个关于可持续AI的问题。最终，我意识到我问的是一个关于智能本身的更古老问题。**括号问题** 每当我们解决问题时，我们会在其周围画一个无形的边界。假设一家公司正在决定在哪里建造数据中心。如果问题被定义为：**我们最便宜地建造这个设施的位置是哪里？** 那么土地价格、建筑成本和税收可能会被包括在括号内。加上电价，括号会更大。加上碳排放。加上水消耗。然后是流域条件、栖息地、电网可靠性、住房、就业、热量、供应链、社区效应、未来气候条件。每次扩展都会改变**“最佳”**这个词的含义。括号外的后果不会因为我们没有包括它们而停止存在。它们只是不参与计算。这不是一个新的发现。早在现代生成性AI之前，系统思想家如C. West Churchman和Werner Ulrich就在研究我们围绕问题画的边界如何决定哪些事实、价值、人员和后果变得相关。边界批判的工作明确了一点，在今天似乎越来越重要：**问题的边界本身就是一个判断。** Horst Rittel和Melvin Webber关于“棘手问题”的工作同样挑战了复杂社会问题被清晰定义并等待优化的观念。Donald Schön关于问题设定和反思的工作探讨了专业人士如何构建他们随后试图解决的问题。当开始思考AI和可持续性时，我不知道这些文献。我通过一个隐喻得出了一个更不成熟的想法：**有时方程是错误的，因为我们把太多现实留在了括号之外。** **AI没有创造括号问题** 这很重要，因为AI没有创造这个问题。人类总是简化现实以便推理。我们必须这样。没有电子表格、科学模型、机构——或人类头脑——能包含一切。当模型的边界被误认为是现实的边界时，问题就开始了。现代AI使这个旧问题重新具有后果，因为AI可以在一个框架内极其有效地运行。给一个足够强大的系统一个目标，它可能在追求目标上变得越来越好。但优化目标的能力增强并不一定告诉我们是否选择了正确的目标、遗漏了重要后果、误解了系统或问错了问题。一个非常强大的优化器仍然可以优化错误的问题。它可能比我们更快、更一致、更有说服力地这样做。**已知排除并非未知排除** 这让我想到一个现在似乎至关重要的区分。想象一个AI辅助的分析报告：**包括：** 电力需求、水消耗、成本和碳排放。**排除：** 住房影响和栖息地破坏。**不确定：** 未来干旱条件。这已经比简单宣布**“A地点最优”**的系统更透明了。但在**“我知道X并排除了它”**和**“X从未出现在我脑中”**之间存在根本区别。审计可以暴露已知排除。它不能自动暴露未知排除。我们可能粗略地区分四种情况：某物是已知且包括的。某物是已知且排除的。某物被认识为不确定或理解不足。某物完全未被认识。第四类呈现了一个特殊问题。如果AI和使用它的人类都没有认识到某物重要，系统不能简单地将其缺失的考虑打印在它不知道的事物列表上。那将通过魔法把未知未知变成已知未知。所以，也许目标不能是完整性。也许目标必须是**可修订性**。**可修订性而非全知** 每个模型都需要括号。没有模型能包含现实。那么，问题不在于如何画足够大的括号以包括一切，而在于我们是否记得我们画了它们。我们能否让重要的边界选择可见？我们能否区分我们知道的和不确定的？我们能否认识到我们当前理解可能不足的证据？当现实给我们理由时，我们能否重画括号？最后一个问题将这个讨论与另一个古老传统联系起来：适应性管理。研究生态系统的研究人员几十年来一直在处理复杂、非线性并可能让我们惊讶的系统。适应性管理不假设我们能在行动前理解一切。相反，行动、观察、学习和修订成为持续过程的一部分。组织学习研究包含一个相关区分。有时我们发现一个行动失败并改变行动。但有时我们需要质疑告诉我们要采取什么行动的假设、目标或规则。Chris Argyris和Donald Schön将这种区分为单环学习和双环学习。粗略地转化为AI的语言：**单环：** 我们如何更好地优化这个问题？**双环：** 这仍然是正确的问题吗？这似乎越来越重要。**当现实不符时** 但我们如何知道括号需要重新考虑？我们不能直接检测我们没有概念的东西。我们有时可以检测它的足迹。科学模型已经通过模型差异面对相关问题：预测和观察并不总是匹配。假设一个AI预测干预会产生特定结果，但现实持续表现不同。这个差异并没有告诉我们哪里出错。也许参数不正确。也许数据不好。也许传感器故障。也许假设错误。也许一个重要的变量缺失。或者也许整个问题的框架不足。差异没有揭示未知。它告诉我们：**再看看。** 这可能是智能系统能执行的最重要功能之一。不是假装知道它不知道的东西。不是发明一个解释。认识到当现实提供证据表明其现有解释可能不足时。**幻觉问题** 生成性AI引入了一个额外的复杂性。假设我们要求AI“看看括号之外”并识别我们没有考虑的后果。它可能浮出原始分析遗漏的重要关系。或者它可能生成听起来合理但不真实的关系。那些不是同一件事。因此，一个旨在挑战框架的系统需要区分以下陈述：**这个后果有证据支持。** **这是一个已知的不确定性。** **这是一个值得调查的合理路径。** **我目前没有证据表明这个路径适用于这里。** 生成可能性与发现事实并不相同。如果AI将帮助人类质疑他们的框架，认识论谦逊变得更加重要，而不是更不重要。