vat-reconstruction

标签

Cards List
#vat-reconstruction

kw-bench:在真实世界任务中攻破前沿评测框架

arXiv cs.AI ↗ · 2026-10-28

kw-bench 是一个基于真实调查型知识工作项目(例如跨代 SAP 系统的五年增值税数据重建)构建的新基准,通过确定性评分来评估编程智能体框架。评估发现,当实验室开发的框架使用非自家模型而失败时,OpenCode 和 micro-cc 等独立框架却能成功;而 Claude Opus 5.5 等前沿模型只需几分钟,就能完成较弱配置无法完成的任务。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈