@gneubig: SkillsBench 是一个很棒的基准,我这么说不仅仅是因为 @OpenHandsDev 在上面击败了所有其他人。技能……
摘要
SkillsBench 1.1 是一个用于评估 AI 代理使用技能能力的基准,现已完全审计且无错误。
查看缓存全文
缓存时间: 2026/06/18 06:04
SkillsBench 是一个很棒的基准测试,这么说不仅仅是因为 @OpenHandsDev 在它上面击败了其他所有人 😀
技能现在已成为我们定制 AI 代理的事实标准,因此弄清楚模型/代理使用技能的能力变得极其重要。
Xiangyi Li (@xdotli): 使用 AI 基准测试的一个大痛点是在初版发布后遭遇错误。今天,我们发布 SkillsBench 1.1,这是首个衡量 AI 代理使用技能能力的基准测试,现已经过端到端审核,确认无错误。@dawnsongtweets 教授作为顾问加入 1.1 版本。
相似文章
@xdotli: 使用AI基准测试的一大痛点就是在其首次发布后遇到错误。今天,我们发布了SkillsBe…
SkillsBench 1.1已发布,作为首个经过审计、无错误的AI智能体技能基准测试,显示能力从约36%迅速提升至67%的解决率,并证明技能可以替代模型规模。
FinSkillBench: 评估投资管理领域的AI代理和领域技能
FinSkillBench是一个针对投资管理领域AI代理的评估套件,表明精心策划的程序化技能相比自生成技能能提升性能。
SkillLearnBench:面向真实任务代理技能生成的持续学习方法基准
SkillLearnBench 推出首个评估 LLM 代理持续技能学习的基准,覆盖 20 项真实任务,结果显示尚无方法全面领先,单纯扩大模型规模也无法保证技能提升。
SkillEvolBench:从情景经验到程序技能的进化基准测试
SkillEvolBench 是一个诊断性基准,用于评估大语言模型代理是否能够将情景经验提炼为可重用的程序技能。它包含六个环境中的180个任务,并发现当前代理通常难以形成稳健的可重用技能,原始轨迹重用往往优于提炼后的技能。
SkillEvaluator 即将登陆 ClawHub
SkillEvaluator 是一款用于评估 AI 智能体技能的开源工具,由 Patrick 在 NVIDIA 的支持下集成到 ClawHub 中,提供量化基准,帮助用户找到能提升智能体性能的技能。