@seclink: 又一个基准测试,收录一下样本和标注。

X AI KOLs Following 新闻

摘要

PatronusAI 发布了 SpeedrunBench,这是首个评估 AI 代理在多个电子游戏中速通性能的基准测试。

又一个基准测试,收录一下样本和标注。
查看原文
查看缓存全文

缓存时间: 2026/09/04 04:15

又一个基准测试,记录一下样本与标注。

PatronusAI (@PatronusAI): 今日,我们推出SpeedrunBench:首个衡量AI代理通关电子游戏速度的基准测试。

我们要求前沿模型不仅要完成游戏,更要在《马里奥赛车》《宝可梦》等10款作品中实现速通挑战。

在较简单的游戏中,代理的表现已接近…

相似文章

新基准测试发布

Reddit r/singularity

一个新基准测试已发布,可能用于评估AI或软件性能。

ProgramBench(5分钟阅读)

TLDR AI

ProgramBench 是一项全新的基准测试,用于评估 AI 智能体在无法获取源代码或反编译工具的情况下,仅凭编译后的二进制文件和文档重建完整软件项目的能力。