@rohanpaul_ai: 即使模型知道答案，但因提问方式不同仍可能失败。新IBM论文介绍了BenchDrift……

X AI KOLs Timeline 论文
llm benchmark auditing wording-effect research ibm

摘要

一篇新的IBM论文介绍了BenchDrift，这是一个审计框架，测量LLM性能随问题重新表述的变化，揭示了显著的准确率差距，并突出了基准可靠性问题。

模型可能知道答案，但因为提问方式不同而仍然失败。 新的IBM论文介绍了BenchDrift，这是一个针对现有基准的审计框架，它系统性地重新表述相同的问题而不改变其答案，然后测量模型得分纯粹因措辞变化而移动的程度。 在8个模型和3个基准上，最佳情况和最差情况准确率之间的差距平均为74.7个百分点。 实际上，更强的模型反而更容易受影响。 对于每个基线准确率超过60%的模型-基准对，重新表述破坏的正确答案多于其恢复的。 而置信度并未解决这个问题。 即使在最高置信度区间中，经过意义保持的重新措辞后，18.5%的正确答案丢失了。 因此，如果你的模型选择依赖于小分数差异，测试几种等效的表述方式或报告范围。 – arxiv.org/abs/2608.11694 标题：“措辞效应：量化LLM基准性能的双向漂移”
查看原文
查看缓存全文

缓存时间: 2026/08/20 08:52

措辞效应：量化大语言模型基准性能的双向偏移

模型可能知道答案却仍然答错，仅仅是因为你换了一种方式提问。

IBM 的一篇新论文提出了 BenchDrift——一个针对现有基准测试的审计框架。它系统性地对相同问题进行改写而不改变答案，然后衡量模型得分纯粹因措辞变化而产生的偏移程度。

在 8 个模型和 3 个基准测试中，最佳情况与最差情况下的准确率差距平均达到 74.7 个百分点。

更强的模型实际上更容易受到影响。

对于基线准确率超过 60% 的所有模型-基准测试组合而言，改写导致正确答案丢失的数量超过了其恢复的数量。

置信度也未能解决这一问题。

即使在置信度最高的组别中，仍有 18.5% 的正确答案在保持语义的措辞变换后丢失。

因此，如果你的模型选择依赖微小的分数差异，建议测试多种等价表达方式，或报告分数的波动范围。

– arxiv.org/abs/2608.11694

相似文章

The Wording Effect: Quantifying Two-Way Drift in LLM Benchmark Performance

arXiv cs.CL

This paper introduces BenchDrift, a method for quantifying how LLM benchmark performance changes when problems are rephrased without changing meaning or answer. It shows that rephrasing causes bidirectional correctness flips across models and benchmarks, with stronger models becoming more sensitive to phrasing.

前沿大型语言模型的响应漂移

arXiv cs.CL

一项针对10个前沿大语言模型、涵盖62个问题的大规模人类评估发现，所有模型都表现出响应漂移，其中大多数模型收敛到78-81%的偏差上限，而两个模型实现了较低的偏差。漂移程度因领域和问题而异，自动指标几乎无法解释人类判断，这凸显了人类评估的必要性。