ClawBench: AI代理能否完成日常在线任务?
摘要
ClawBench是一个评估AI代理在日常在线任务中表现的基准。此次V2更新带来了改进或新任务。
V2更新
相似文章
EnterpriseClawBench:基于真实工作会话的智能体基准测试
EnterpriseClawBench 提出了一个基于真实工作场景的企业智能体基准,包含 852 个可复现任务以及超越单一性能分数的综合评估指标。
ResearchClawBench:面向端到端自主科学研究的基准测试
ResearchClawBench 是一个用于评估端到端自主科学研究的基准测试,涵盖来自10个领域的40个任务,结果显示当前AI智能体和LLM的重新发现准确率较低,其中Claude Code平均得分为21.5,Claude-Opus-4.7平均得分为20.7(在可能的总分中)。
Claw-Anything: 在更广泛的用户数字世界访问权限下,对始终在线个人助手进行基准测试
介绍了Claw-Anything,这是一个基准测试,用于评估始终在线的个人AI助手在涵盖长时间跨度、多种服务和多样化设备交互的综合用户活动上下文中的表现。实验表明,即使是GPT-5.5也仅达到34.5%的pass@1,突显了当前智能体能力与始终在线辅助需求之间的显著差距。
ClawProBench:基于运行时覆盖和冻结工作区风格保留集的AI代理跟踪感知评估
ClawProBench引入了一个跟踪感知的基准测试,用于评估AI代理,强调运行时执行和安全性,以揭示最终答案排名的局限性。
UniClawBench:面向现实世界任务的主动智能体通用基准
UniClawBench 提出了一个以能力为导向的基准,用于评估在动态现实世界环境中运行的主动智能体,采用实时 Docker 容器和包含多个智能体角色的闭环评估策略。