论文页面 - MARGIN：多智能体基础模型协调的运行时置信度校准

来源：https://huggingface.co/papers/2605.22949

摘要

当协调者比较来自异构基础模型的回答时，自我报告的置信度在不同应答者和不断变化的工作负载下可能具有不同的含义。本文提出 MARGIN（Multi-Agent Runtime Grading via Incremental Normalisation，通过增量归一化的多智能体运行时评分），这是一种运行时校准方法，它从观察到的回答结果中学习针对特定模型的置信度修正，无需重新训练模型，也无需预留校准集。MARGIN 在置信度区间内跟踪近期准确率与所报告的置信度，使用两者的比值来修正报告的置信度，并将稀疏区间的修正向模型级别的估计进行混合。修正后的分数用于在集体决策中对候选答案进行加权。评估涵盖代码生成、问答和数学任务，使用一个包含 18 个模型的模型池，以及一个包含 9 个模型的子集用于分布偏移实验。在 BigCodeBench 上，模型的平均置信度与准确率呈负相关；在正确/错误回答配对中，选择更自信的应答者的表现低于随机水平。在与五个接收相同反馈且在每次转换之间保留其学习状态的在线校准基线的对比中，MARGIN 在两个代码生成转换中的分布偏移后期望校准误差均低于全部五个基线，在一个问答转换中低于其中四个；剩余的一个问答对比结果尚无定论。在单独的代码生成协调实验中，相较于未校准的置信度加权，校准改善了正确回答的排序，并在三个基准中的两个上将答案选择准确率分别提高了 4.3 和 14.0 个百分点。这些结果支持在参与应答者的正确性反馈可获得时，针对变化的工作负载采用针对特定模型的运行时校准来进行协调。

查看 arXiv 页面 (https://arxiv.org/abs/2605.22949) 查看 PDF (https://arxiv.org/pdf/2605.22949) 项目页面 (https://jossarmstrong.org/works/margin/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2605.22949)

引用本文的模型 0

没有模型关联到本文

在模型 README.md 中引用 arxiv.org/abs/2605.22949，即可从此页面链接该模型。

引用本文的数据集 0

没有数据集关联到本文

在数据集 README.md 中引用 arxiv.org/abs/2605.22949，即可从此页面链接该数据集。

引用本文的 Spaces 0

没有 Space 关联到本文

在 Space README.md 中引用 arxiv.org/abs/2605.22949，即可从此页面链接该 Space。

包含本文的收藏夹 0

没有收藏夹包含本文

将本文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接该收藏夹。