@xdotli: 使用AI基准测试的一大痛点就是在其首次发布后遇到错误。今天，我们发布了SkillsBe…

使用AI基准测试的一大痛点就是在其首次发布后遇到错误。今天，我们发布了SkillsBench 1.1，这是首个衡量AI智能体使用技能效果的基准测试，现已经过端到端审计并验证无错误。Prof. @dawnsongtweets作为顾问作者加入1.1版本。 我们与多家前沿实验室合作，逐一审查每个任务，消除了先前版本中的错误。我们还新增了任务，将依赖外部资源的任务移到一个独立集合中，使核心套件运行更干净，并将覆盖范围扩展至更多模型。 能力正在快速攀升。最佳带技能解决率从约36%（Claude Sonnet 4.5，2025年9月）提升至67%（GPT-5.5，2026年5月），每月约提高1.9个百分点。前沿模型正在SkillsBench上快速爬坡。 正确的技能仍然至关重要。在整个模型群中，精心筛选的技能将解决率平均提升16.6个百分点（从33.9%到50.5%），单一模型最高提升25.7个百分点。最佳配置是运行在OpenHands上的GPT-5.5，达到67.3%。 应广大用户要求（感谢Nate @cursor_ai），我们现在跟踪技能调用情况：即智能体实际使用所赋予技能的频率。近期旗舰配置中，调用率在90–99%之间（Codex 99%，OpenHands + GPT-5.5 92%，Gemini CLI 90%），而较旧配置约为50%。 1.1版本的新特性还包括：@OpenHands作为第四个框架加入，与Claude Code、Codex和Gemini CLI并列；重新构建的排行榜，包含精细分类、子领域技能排名和技能提升（Skill Lift）；BenchFlow上的原生任务.md，支持多场景环境和发布分支。我们还与@k_dense_ai合作，为部分科学任务添加了科学技能。 部署方面的一个启示：技能可以替代规模。带技能的GLM 5.1（58.4%）优于不带技能的Opus 4.8（45.7%）。一个拥有正确程序性知识的较小模型可以击败一个没有此类知识的大型模型。 特别感谢@nick_kango @ivanleomk @kaggle @GoogleDeepMind与我们共同举办发布活动。感谢所有在5月27日到场的朋友！ 同时感谢我们的合作伙伴@gneubig @OpenHandsDev @ivanburazin @daytonaio @jackminong @johannes_hage @PrimeIntellect @TimothyKassis @k_dense_ai在积分、计算资源和技能方面提供的支持。 SkillsBench实时排行榜也将登陆@ValsAI。许多人告诉我们，他们使用SkillsBench作为衡量模型在高GDP价值领域中智能体能力的指标。Valkyrie也做得很好！感谢@Jarett @nikilravi @langstonnashold @RayanKrishnan SkillsBench完全开源。探索排行榜和任务、阅读文档，或贡献您自己的技能集或框架，加入排行榜。