coverage

标签

Cards List
#coverage

当更多采样有害时:测试时缩放的模态上限与相关上限

arXiv cs.LG · 2026-06-30 缓存

本文识别了推理模型测试时缩放中的“模态上限”和“相关上限”,表明在数十个样本之后,额外采样不会提高选择准确性,甚至可能有害,突显了生成正确回答与识别正确回答之间的可识别性差距。

0 人收藏 0 人点赞
#coverage

精确性不等于忠实性:使用完整Oracle进行覆盖感知的接地生成评估

Hugging Face Daily Papers · 2026-06-08 缓存

本文指出了无参考忠实性指标中的一个盲点:它们只衡量精确性(即声明是否得到支持),而不衡量召回率(即相关事实的覆盖程度)。作者引入了一种使用Formula 1遥测数据和天气数据的完整Oracle评估,表明高精确度模型往往覆盖不佳,并提出了一个组合指标。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈