论文页面 - 一个偏差分数，两个因子：缓解方法如何影响多项选择评估中的选项偏差

来源: https://huggingface.co/papers/2610.20993

摘要

我们通过合并标准差将多项选择模型中的选择偏差和顺序敏感性分解为翻转率（flip rate）和位置偏斜（positional skew），表明先验校正和聚合方法针对的是不同的因子，应与准确率一同报告。

重新排列多项选择题的选项可能会改变模型的答案，这一现象被研究为选择偏差（对某些选项字母的偏好）和顺序敏感性（答案随选项排序变化而改变）。我们通过合并选择率标准差（合并 SD）将这两种视角联系起来，该指标衡量选项字母在不同题目和排序之间被选择的不均衡程度。当每道题的每个选项在每个位置出现的次数相等时，合并 SD 恰好等于两个无标签因子的乘积：翻转率和[位置偏斜](https://huggingface.co/papers?q=position skew)。翻转率是指所选选项在不同排序之间发生变化的题目比例；[位置偏斜](https://huggingface.co/papers?q=position skew)是这些题目中选项字母选择率的标准差。在 41 个检查点和 12 个基准上，翻转率与准确率和输出不确定性相关，而[位置偏斜](https://huggingface.co/papers?q=position skew)与估计的选项符号先验相关。针对选择偏差的先验校正主要降低[位置偏斜](https://huggingface.co/papers?q=position skew)。将每种排序与其逆序进行聚合，作为顺序敏感性的缓解手段，主要降低翻转率。两者以相近的幅度减小了正确答案字母间的准确率差异范围，但聚合产生的模型排名反转更少。在聚合之前应用先验校正可以同时降低两个因子，并进一步缩小该准确率范围。然而，聚合降低翻转率的部分原因在于它使题目在同一个错误选项上“稳定“下来。因此，我们建议同时报告这两个因子以区分不同缓解方法的效果，并结合准确率报告以区分稳定性与正确性。

查看 arXiv 页面 (https://arxiv.org/abs/2610.20993)　查看 PDF (https://arxiv.org/pdf/2610.20993)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.20993)

在你的 agent 中获取该论文：

hf papers read 2610.20993

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2610.20993，即可从此页面链接过去。

引用该论文的数据集 0

没有数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2610.20993，即可从此页面链接过去。

引用该论文的 Space 0

没有 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2610.20993，即可从此页面链接过去。

包含该论文的合集 0

没有合集包含该论文

将该论文加入合集，即可从此页面链接过去。