论文页 - 校准作为LLM评估的一级标准

来源: https://huggingface.co/papers/2609.26489

摘要

语言模型的校准——即模型表达或隐含的置信度与实际正确率之间的一致性——是自然语言处理中一个研究成熟的子领域。现有方法已能衡量校准程度。问题在于实际应用：在该子领域之外，自然语言处理研究常在引入新模型、数据集和基准测试时，并未检查模型的置信度分数是否具有实际意义。我们认为，这种应用差距是阻碍可信LLM评估的主要障碍。校准不足会导致两个不同领域的问题：在实际部署中，过度自信的错误会造成实际危害；在研究流程内，诸如LLM-as-a-Judge、合成数据生成和主动学习等方法都依赖于校准的置信度，却未对其进行验证。标准的校准指标仅需每个样本两个输入：一个置信度分数和一个正确性判断。目前使用的大多数基准测试已提供这两项信息，这意味着校准结果可以立即报告。然而，对于开放式生成任务，如何定义这两个输入仍是未解决的挑战。我们认为每个自然语言处理子领域都应将其主要性能指标与校准分数相结合，并呼吁将校准视为每个模型的基本属性，而非小众话题。

查看 arXiv 页面 (https://arxiv.org/abs/2609.26489)查看 PDF (https://arxiv.org/pdf/2609.26489)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.26489)

获取论文到您的代理工具：

hf papers read 2609\.26489

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.26489 以将其链接到此页面。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.26489 以将其链接到此页面。

引用此论文的 Spaces0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.26489 以将其链接到此页面。

包含此论文的收藏0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以将其链接到此页面。