abstention-evaluation

标签

Cards List
#abstention-evaluation

更好的检索器,更差的标签:不完整的相关性判断如何扭曲对话式 RAG 中的拒答评估

arXiv cs.CL ↗ · 2026-11-02 缓存

本文表明,在对话式 RAG 基准测试中,使用不完整的相关性标注作为评估拒答的捷径,会系统性地扭曲评估结果:更强的检索器会产生更多仍包含答案的“虚假漏检”上下文,导致可回答性 AUROC 被严重低估。作者公开了代码、运行结果和标注,并建议依据基于内容的标注来评估拒答,而非依据标准答案文档是否出现。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈