KWBench:衡量知识工作中无提示的问题识别能力
摘要
# 论文页面 - KWBench:衡量知识工作中无提示的问题识别能力 来源:[https://huggingface.co/papers/2604.15760](https://huggingface.co/papers/2604.15760) ## 摘要 KWBench 提供了一个基准,用于评估大模型在无提示情况下识别专业场景的能力,重点考察其能否从原始输入中识别出潜在的博弈论结构。我们发布了 KWBench(Knowledge Work Bench)的首个版本,一个针对无提示问题识别的基准。
查看缓存全文
缓存时间: 2026/04/22 01:58
论文页面 - KWBench:衡量知识工作中无提示的问题识别能力
来源:https://huggingface.co/papers/2604.15760
摘要
KWBench 提出了一项基准,用于评估大语言模型在无提示情况下识别专业场景的能力,重点考察其能否从原始输入中识别出潜在的博弈论结构。
我们发布 KWBench(Knowledge Work Bench)的首个版本,用于评测大语言模型的无提示问题识别能力(https://huggingface.co/papers?q=problem%20recognition):模型能否在动手解决之前就识别出专业场景。现有前沿基准已趋饱和,且目前针对知识工作的评测大多沦为“按规范抽取或完成任务”。KWBench 瞄准的是更早一步:仅凭原始输入就识别出情境的支配结构。
基准包含 223 个任务,来源涵盖并购、合同谈判、临床药学、组织政治、欺诈分析与激励机制设计。每个任务都编码了一种形式化的博弈论模式(委托-代理冲突、信号传递、机制设计失效、策略性隐瞒、联盟动态、策略互依),并附带结构化真值:专家对该情境的解读及预期失败路径。
模型仅收到原始数据与任务提示,无任何题型提示。评分采用三档细则,并设强制合取检查:强制项即预测的错误路径。我们评估了 16 个模型,最佳模型通过 27.9% 的任务;前两名模型在“通过”任务上仅 31.7% 重叠。在前八名模型中,有 44 个任务仅被单一模型解决;对前八名进行路由可覆盖 50.7% 的基准,接近最佳单模型的两倍。
条件于“通过”时,各模型质量得分趋同(≈83%);非条件得分则差异显著。同一模型在被问及时能正确阐述相关博弈论概念,却在无提示应用时失败。我们开源 KWBench,旨在改变前沿模型在知识工作领域的评测方式:不仅看“给定问题后执行得如何”,更看“仅凭情境能否先认出对的问题”。
查看 arXiv 页面(https://arxiv.org/abs/2604.15760)
查看 PDF(https://arxiv.org/pdf/2604.15760)
项目主页(https://kwbench.github.io/)
GitHub0(https://github.com/ankitmaloo/fasteval)
添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2604.15760)
在智能体中获取该论文:
hf papers read 2604.15760
还没装最新 CLI?
curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型 0
暂无模型关联此论文
在模型 README.md 中引用 arxiv.org/abs/2604.15760 即可在此页面显示链接。
引用该论文的数据集 0
暂无数据集关联此论文
在数据集 README.md 中引用 arxiv.org/abs/2604.15760 即可在此页面显示链接。
引用该论文的 Spaces 0
暂无 Space 关联此论文
在 Space README.md 中引用 arxiv.org/abs/2604.15760 即可在此页面显示链接。
包含该论文的 Collections 0
暂无 Collection 包含此论文
将该论文添加到收藏(https://huggingface.co/new-collection)即可在此页面显示链接。
相似文章
KC-Bench: 一个用于评估LLM智能体中知识冲突的动态交互式基准
KC-Bench 是一个动态交互式基准,用于评估LLM智能体如何检测和解决用户指令、参数知识与环境观察之间的知识冲突,评估显示没有模型能可靠地处理所有冲突类型。
LabyrinthBench:一个本地优先、无需裁判的LLM基准测试,用于衡量多步骤智能体任务中干扰下的上下文记忆。
LabyrinthBench是一个本地化、无需裁判的LLM基准测试,能够确定性地衡量多步骤智能体任务中干扰下的上下文记忆。初步实验表明,清空上下文并重新注入门控答案对9个模型中的7个有帮助,但对2个适得其反,凸显了上下文管理策略的复杂性。
BBOWP-Bench:评估LLM在黑盒优化文字问题上的性能
介绍了BBOWP-Bench,一个用于评估LLM在黑盒优化文字问题上的基准测试套件。在这些问题中,系统必须从自然语言描述中推断搜索空间和优化算法。初步结果显示,LLM能够选择合适算法,但在搜索空间设计方面存在困难。
BenchBench-Protocol:评估真实世界湿实验流程推理与修改
本文介绍了BenchBench-Protocol,这是一个包含149个真实世界湿实验流程修改任务的基准测试,用于评估大语言模型的推理能力,其中Claude Opus 5得分最高,为59.2%。
kw-bench:在真实世界任务中攻破前沿评测框架
kw-bench 是一个基于真实调查型知识工作项目(例如跨代 SAP 系统的五年增值税数据重建)构建的新基准,通过确定性评分来评估编程智能体框架。评估发现,当实验室开发的框架使用非自家模型而失败时,OpenCode 和 micro-cc 等独立框架却能成功;而 Claude Opus 5.5 等前沿模型只需几分钟,就能完成较弱配置无法完成的任务。