论文页面 - 精确率≠忠实度：基于完全Oracle的覆盖感知评估用于有源生成

来源：https://huggingface.co/papers/2606.09376

摘要

无参考的忠实度指标存在一个盲点：它们只测量精确率，从而奖励弃权行为；在确定性领域，完备性使得能够同时测量精确率和召回率，并揭示出高精确率模型往往事实覆盖率很差。

无参考的忠实度指标（https://huggingface.co/papers?q=faithfulness%20metrics）会逐一验证模型生成的每个原子声明是否与事实相符，并越来越多地被用于评估有源生成（https://huggingface.co/papers?q=grounded%20generation）。我们指出这些指标存在共同盲点：它们只测量精确率（https://huggingface.co/papers?q=precision）——即陈述的声明是否得到支持？——因此会奖励弃权行为，因为模型几乎不说什么就能获得近乎完美的忠实度分数。我们利用F1赛车遥测数据使这一点可量化——该领域以确定性方式推导出策略性事实，且至关重要的是，这些事实是完整的：对于每个决策，我们都能知道所有相关事实的完整集合。这种完备性——在开放域忠实度基准中缺失——让我们能够同时精确测量召回率（https://huggingface.co/papers?q=recall）（相关事实的覆盖度）和精确率（https://huggingface.co/papers?q=precision）。在一个涵盖150场比赛、7253个决策实例的多语言（英语/西班牙语/葡萄牙语）基准上，精确率最高的前沿模型覆盖了不到一半的相关事实，并且按F1值排名垫底，因此引入覆盖度要求会重排系统顺序；同样效果在第二个完整Oracle领域（NOAA天气预报）中也得到复现。一次提示消融实验表明，低覆盖率并非由于提示不足：明确要求模型详尽回答并不能缩小差距。我们将忠实度与覆盖度整合为一个分数，验证了该指标（受控扰动（https://huggingface.co/papers?q=controlled%20perturbation）；无模型正则表达式提取器与跨族LLM提取器之间的一致性，系统级Spearman 1.0），并提供了一种无需参考的验证器引导生成（https://huggingface.co/papers?q=verifier-guided%20generation）方法，可同时改进精确率和召回率。我们开源了基准数据集、结构化标注、指标、基线以及交互式演示。

查看arXiv页面（https://arxiv.org/abs/2606.09376）查看PDF（https://arxiv.org/pdf/2606.09376）项目页面（https://pitwall.jsantillana.com/）GitHub0（https://github.com/vectrayx/precision-is-not-faithfulness）添加至收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.09376）

在您的代理中获取此论文：

hf papers read 2606\.09376

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型0

暂无模型关联此论文

请在模型README.md中引用arxiv.org/abs/2606.09376以在此页面建立链接。

引用本论文的数据集0

暂无数据集关联此论文

请在数据集README.md中引用arxiv.org/abs/2606.09376以在此页面建立链接。

引用本论文的Space1

包含本论文的收藏集0

暂未包含本论文的收藏集

请将本论文添加至收藏集（https://huggingface.co/new-collection）以在此页面建立链接。