@Phoenixyin13: 认真读完了OpenAI 研究员 Noam Brown 今天的长帖，一个被行业严重低估的现实。 LLM 的真实能力天花板，远高于当前任何 benchmark 所显示的水平。 原因，是给它的test-time compute太少了。而随着模型…

认真读完了OpenAI 研究员 Noam Brown 今天的长帖，一个被行业严重低估的现实。 LLM 的真实能力天花板，远高于当前任何 benchmark 所显示的水平。 原因，是给它的test-time compute太少了。而随着模型迭代，这个问题会越来越突出。 GPT-5.5 发布初期，benchmark 只比 5.4 略有提升，很多人觉得没那么惊艳。 但实际体验是明显的 step-change。 为什么？因为评估时没有控制 test-time compute。 一旦把 tokens 放在 x 轴画曲线，5.5 在相同计算预算下明显更强。单个数 benchmark 把这个差距掩盖了。 更关键的观察是，更强的模型，从额外 test-time compute 中获益更大。 性能提升曲线更陡，plateau 被不断推远，甚至可能不存在。 Karpathy 的 autoresearch 实验几百次实验后性能仍在上升。 AI Security Institute 的网络攻防评测在 1 亿 tokens 后，顶级模型仍在快速进步。 这说明能力天花板可能比我们想象的远得多。 这对 AI 安全与 preparedness 的影响非常大。 当前大部分安全评测只在低 inference budget 下进行。 但真正危险的能力，尤其是长 horizon、多步规划、复杂 agent 行为，很可能只在高计算预算下才显现。 Gemini 3 Deep Think 的争议，暴露了这个问题。scaffold加上高 inference 能让普通用户接近高能力，但 system card 没反映这条曲线。 Noam 指出一个更棘手的现实，即长 horizon 任务的评估越来越困难。 有些能力只能通过实际长时间运行才能验证，而模型迭代周期可能已经短于这个验证时间。 未来 labs 可能会面临一个两难，要么大幅延迟发布，要么在不完整的安全评估下发布。 两年多过去了，从 o1 开始，行业依然习惯报单个数，安全组织依然会对多花 100x inference 就能显著变强感到惊讶。 这其实是 post-o1 时代最被低估的 paradigm shift。 未来模型之间的真实差距，更会体现在谁能更好地理解和利用 intelligence-compute 曲线。 对于做 agent、长 horizon 推理、高风险部署的人来说，重新理解这个曲线，已经成为了重中之重的必选项。