capability-assessment

本文介绍了一个基准测试，用于比较各种AI模型与工具组合在数学、视觉和编程等任务中的能力和速度，并列出了两个类别中的最佳表现者。

本文系统性地评估了生成式世界模型在八个能力上与传统模拟器的对比，发现在交互性和可控性方面取得了进展，但在物理保证、状态反馈和长期稳定性方面存在差距。

本文识别了“评估陷阱”，即人工智能基准测试无意中通过缩小“进步”的定义来稳定主导范式，并引入了Epistematics，一种元评估方法论，以确保评估标准能够区分真实能力与代理行为。