控制问题：为什么我们需要在AI中构建互联的人类治理知识层

人们非常关注让AI模型变得更大、更快、能力更强。我的意思是，是的，这确实提升了它们的能力。但随着时间的推移，我越来越觉得能力不是瓶颈。真正的问题在于上下文层。目前，你并不清楚模型如何解释你提供的内容，它保留了哪些信息，舍弃了哪些，或者如何将不同的内容联系起来。这些过程大部分是隐藏的。你可以稍微调整它，但你仍然在一个你无法控制的环境中操作。而且，随着这些系统在表达的连贯性上越来越好，人们更容易忽视这种有缺陷的设计。如果这最终成为人们思考问题、学习知识、做出决策的方式，那么未来的系统将是这样：其逻辑在上游且对我们不可见，导致我们生活中的选择和自主权减少。更糟糕的是，我们将生活在一个不得不接受真理而非自己去发现、学习和验证观点可信度的现实中。AI确实很出色，但我们在主流AI产品中看到的这种趋势会削弱人类的能力，而不是帮助我们变得更强。我在这里写了一篇更详细的文章，如果你对这些影响以及我们如何主动构建一个两全其美的方案感到好奇。未来看起来很光明，但前提是我们能看到可以构建什么。