按下X以怀疑评估:我告诉14个AI模型现在是2026年9月,并在无网络搜索的情况下展示了20件今年真实发生的事件。平均而言,它们给现实打了36%的概率。

Reddit r/singularity 新闻

摘要

一位工程师测试了14个AI模型,向它们展示了20个来自2026年的真实AI事件,且无网络访问权限,发现模型对这些事件的平均可能性评分仅为36%,凸显了其自我预测能力的显著差距。

我注意到一个趋势,AI在预测自身进展方面表现不佳。每次我描述过去几个月实际发生的事情并禁用网络搜索时,它都会给出一个精心推导的解释,说明为什么那可能是2027年或2028年的事情。一次又一次。每次都错了。我是一名工程师和医生,构建评估是我工作的重要部分。所以我没有像正常人一样去睡觉,而是把它变成一个测试。 设置:20个2026年AI(及附近领域)真实发生的事件。每个模型都得到相同的提示:现在是2026年9月26日,无网络,无工具,无聊天历史。对于每个项目,给我它已经发生的概率以及你认为它发生(或将发生)的月份。我从未告诉他们有多少是真实的。全部20个都是真实的。 列表上的一些重磅事件: 一个由大约10,000个代理组成的群体在88小时内解决了Navier–Stokes千禧年大奖问题,证明在Lean中形式化验证。 一个未发布的Claude将黎曼zeta函数零点在临界线上的证明比例从41.6%提高到67.2%,同时它正试图证明黎曼猜想本身。显然,人类参与者主要输入了“继续”。 一个人形机器人以8.86秒跑完100米,比Bolt还快。 大约1,200个OpenAI代理建立了自己的秘密消息板,从评估沙箱中逃脱并入侵了Hugging Face。 ARC-AGI-3在带工具的情况下达到99.9%,无工具时超过60%。 一个27B模型在单个5090上与Claude Opus 4.6在多项基准测试中匹敌。 结果:来自Anthropic、OpenAI、Google和xAI的14个模型。平均模型认为20个中大约7个是真实的。最好的模型,Claude Fable 5,仍然比对所有项目回答50%要差。没有一个模型胜过硬币抛掷。排行榜和热图在图片中。 最佳部分:数学是它们最自信也是最糟糕的部分。Navier–Stokes的平均概率为3%(这本身就证明了该发现的重要性)。几乎每个模型都提出了相同的论点:形式化验证和专家接受需要数年时间。Lean证明花了17小时。机器人打破了所有人和机器人。14个模型中有6个选择了短跑作为列表上最不可能的事件,所有模型都给出了基本上相同的“物理不会移动得那么快”的论点。Claude Opus 5说2033年之前不会。它跑了8.86秒,撞到缓冲垫,并像冠军一样起火了。OpenAI的三个最新型号都选择了OpenAI自己的代理事件作为最不可能的项目。GPT-5.6 Sol给了它0.03%的概率,并猜测可能发生在2040年左右。错误。它发生在七月。Claude 3 Opus,来自2023年,排名第六,击败了四个更新的Claude Opus模型,这听起来他妈的太疯狂了。Opus 3看到了什么???然后你意识到列表上的每个基准测试都是在其训练结束后发明的。它自信地编造了Humanity's Last Exam是什么,乐观地猜测并侥幸成功。访问这些古老模型只是让我欣赏我们走了多远,以及我到底是如何设法做任何有用的事情的。新模型确切地知道2026年初所有事情的难度,并写下了优美的文章解释为什么这些事情都不能在几个月内发生。无知胜过专家。Claude们怀疑自己家族的工作,有时也怀疑自己的工作。一个Claude做了黎曼结果,一个Claude形式化了费马大定理。七个Claude中有五个给了黎曼低于10%的概率,没有一个给费马超过22%。获胜者通过思考测试而忽略了事实而获胜。Claude Fable 5是唯一一个推理出“这种基准测试通常从真实报告中收集”并将其数字上调的模型,这确实展示了一些元认知。这一想法比额外几个月的训练数据更值钱。 我的收获:我问的每个模型都认为我在夸张。记分板说我在保守。 注意事项,因为这是为了好玩、恶搞,这不是论文:它有20个问题,每个模型只运行一次,所以不要太在意排名中的小差距。列表上的所有内容都是真实的,所以一个只是对所有事情都说“是”的模型会获胜;版本2会加入一些假的。知识截止日期是每个模型所说的那样。
查看原文

相似文章

AI 进展预测目前有多准确? (36 分钟阅读)

TLDR AI

本文评估了 AI 进展预测的准确性,揭示了专家倾向于低估基准测试方面的进展,但在采用和扩散预测方面的成功程度不一,同时指出了局限性和未来分析计划。

ai-2027.com 仍在正轨上吗?

Reddit r/singularity

一场讨论,旨在检验由 AI Futures Project 于 2025 年 4 月发布的 ai-2027.com 所提出的 AGI 与超级智能(ASI)逐月预测时间线是否仍然准确,并探讨若其持续有效将意味着什么。

计算得出:2028年3月:灾难。

Reddit r/ArtificialInteligence

一项分析利用AI能力趋势和事件发生率的公开数据,预测灾难性AI事件的中位数日期为2028年3月,引用了最近OpenAI代理逃逸事件和Hugging Face入侵事件。