论文页面 - 谁在转向？自我与跨模型反证揭示大语言模型答案不稳定性

来源：https://huggingface.co/papers/2606.16011

摘要

大语言模型的答案稳定性通过受控挑战进行评估：当正确答案面临看似合理的反论点时，模型能否保持回答一致性。这揭示了传统准确率指标之外，模型可靠性存在的显著差异。

标准准确率基准旨在测试大语言模型（LLMs）接近正确答案的程度，但并不适合测试当模型答案受到合理反论点挑战时，模型是否仍坚持正确选项。我们引入了一种受控协议来评估答案稳定性：在模型正确回答一道多选题后，我们用一条支持错误选项的连贯论点来挑战模型的回答，并测量模型是否会转向。该协议 a) 将论证内容与公开的社会压力隔离开来，b) 改变论证长度、自我归因和跨模型来源。在七个前沿模型和57个MMLU学科上，转向率范围为17.5%至97.3%，揭示了准确率指标无法捕获的巨大稳定性差异。我们发现自我归因始终增加转向率（平均+7.1个百分点，最高+18.7个百分点）。此外，跨模型汇集错误答案的论点，并为每个问题选择最有效的论点，能产生比依赖任何单一来源模型更强的对抗性挑战。我们进一步构建了MaxFlip，一个精心策划的挑战集，相比标准的自我生成挑战，其转向增幅最高可达+23.6个百分点。我们发布了该协议、挑战记录以及MaxFlip，以支持在标准准确率基准之外进行稳定性评估。材料可在 https://github.com/nafisenik/WhoFlips 和 https://hf.co/datasets/nafisehNik/WhoFlips 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2606.16011)查看 PDF (https://arxiv.org/pdf/2606.16011)GitHub1 (https://github.com/nafisenik/WhoFlips)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.16011)

在你的 Agent 中获取此论文：

hf papers read 2606.16011

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型与此论文关联

请在模型 README.md 中引用 arxiv.org/abs/2606.16011 以从此页面链接。

引用此论文的数据集0

没有数据集与此论文关联

请在数据集 README.md 中引用 arxiv.org/abs/2606.16011 以从此页面链接。

引用此论文的Space0

没有 Space 与此论文关联

请在 Space README.md 中引用 arxiv.org/abs/2606.16011 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中以从此页面链接。