@ms_aifrontiers: SentinelBench 在时间演变的网络环境中测试智能体，成功需要等待。等待的方式至关重要：在4…

X AI KOLs Following 论文
benchmarks ai-agents web-environments change-detection polling time-evolving research

摘要

SentinelBench 是一个新的基准测试，用于评估 AI 智能体在时间演变的网络环境中的表现。研究发现，使用专用变化检测工具的智能体优于使用睡眠-轮询循环的智能体，成本降低 9.7 倍。

SentinelBench 在时间演变的网络环境中测试智能体，成功需要等待。等待的方式至关重要：在 40 分钟的任务中，使用睡眠-轮询循环的智能体成本可能高出 9.7 倍，同时完成任务的数量少于使用专用变化检测工具的智能体。
查看原文

相似文章

@rohanpaul_ai: 当前前沿智能体在现实自动化方面的准备程度远不及它们在基准测试中的分数所暗示的那样。本文提…

X AI KOLs Following

本文介绍了“智能体最终考试”（Agents' Last Exam），这是一个测试AI智能体在55个数字工作领域中进行真实专家工作能力的基准。目前最强的智能体在大多数任务上失败，在最难的层级中平均通过率仅为2.6%，揭示了基准分数与现实世界自动化准备程度之间的巨大差距。