本周三名登山者在遵循Gemini的建议后被救下山。同一周，OpenAI推出了他们称之为AGI时代的东西。我一直把这两件事放在一起思考。

登山者的故事发生在9月1日。来自Roseville的三个人使用Gemini来规划Mount Shasta的登顶计划。AI告诉他们携带远少于所需的食物和水。他们在晚上7点登顶，比建议的返回时间晚了四小时，天黑后下山，其中一人膝盖受伤，他们在峡谷中过夜，直到第二天早上护林员找到他们。Google表示他们无法复现Gemini给出的错误答案。也许提示词不够明确，也许AI过于自信，具体原因并不重要。重要的是，在错误可能带来严重后果的情境下，三个人信任了一个模型的输出作为专家建议。两天后，OpenAI推出了GPT-6 Astra。在ARC-AGI-3上达到99.9%，在FrontierMath Tier 4上达到97.6%，在ExploitBench上达到100%。OpenAI称这是AGI时代的开始。来自Artificial Analysis的独立基准测试更为谨慎，显示Anthropic的Fable 5.1在更广泛的智能指数上仍处于领先地位。但以下是我不断思考的。登山者的故事和能力的故事并非独立的事物。每当一个模型变得更具能力，就有更多人在高风险情境中信任它。模型能力与用户对其限制理解之间的差距，并不会随着能力的提升而自动缩小。如果要说有什么变化，那就是更难管理，因为输出变得更有说服力。我与组织合作推动AI采用，我看到的最常见现象并非人们对AI过于怀疑。而是人们不知道何时该停止信任它。你的看法是什么？更多的能力是让信任校准问题变得更好还是更糟？