@rohanpaul_ai: 当前前沿智能体在现实自动化方面的准备程度远不及它们在基准测试中的分数所暗示的那样。本文提…

当前前沿智能体在现实世界自动化方面的准备程度远低于其基准测试分数所暗示的水平。 本文提出了“智能体最终考试”（Agents' Last Exam），这是一个要求AI智能体完成真实专家工作的基准，而当今的智能体大多未能通过。 即使是现今强大的智能体，在最困难的实际工作流程中也远未达到可靠的程度，这意味着基准测试的成功尚未转化为广泛的工作场所能力。 因此，本文将问题从“AI能回答难题吗？”转变为“AI能完成人们为之付费的真实工作吗？” 当前大多数AI基准测试都显示出令人印象深刻的分数，但它们并不能证明智能体能够在实际工作中完成有用的任务。 “智能体最终考试”试图通过测试智能体在55个数字工作领域（包括工程、金融、医学、法律、媒体和科学）中的长期任务来修正这一点。 这些任务来自专家真实完成的项目，智能体必须使用常规的计算机工具（如文件、浏览器、命令行和桌面软件）来产生最终结果。 作者测试了许多当前的智能体系统和模型，然后通过自动检查或严格评分标准（而非宽松的人工意见）对其完成的工作进行评分。 主要结果是，当今最好的系统仍然表现不佳，在最难的层级中平均完全通过率仅为2.6%。 ---- 链接 – arxiv.org/abs/2606.05405 标题：“智能体最终考试”