信任悖论：计算机科学研究人员如何参与LLM排行榜

# 信任悖论：CS研究人员如何参与大语言模型排行榜 来源：https://arxiv.org/html/2605.28966 \(2026\) ###### 摘要。大语言模型（LLM）排行榜使用标准化基准对AI模型进行排名，并在计算机科学领域变得高度可见，尽管其可靠性和稳健性存在已知局限性。然而，它们如何影响研究人员的实际实践仍缺乏实证探索。我们通过对四个计算机科学子领域的八名研究人员进行半结构化访谈，并使用反思性主题分析法进行分析，填补了这一空白。我们发现了一个近乎普遍的*务实怀疑论*悖论：尽管参与者对排行榜排名深表不信任，但他们仍继续将其用作粗略的决策辅助工具。同行网络（而非排行榜）成为主要的模型选择机制，而基于竞技场（人工投票）的排行榜始终比静态基准排行榜更受青睐。排行榜的影响力在不同子领域之间存在显著差异，表明是学科文化（而非个人态度）在调节这种参与；例如，NLP研究人员面临最先进技术比较压力，而HCI和系统/隐私研究人员则报告没有这种压力。然而，在这些差异背后，参与者一致认为成本透明是最迫切需要的缺失功能（八人中有七人）。我们将这些发现转化为具体的设计建议，使评估基础设施与研究人员实际使用方式保持一致，例如任务特定得分细分、成本整合和选民人口统计信息披露。LLM排行榜、基准、研究激励、社会技术系统、定性访谈、人机交互。††版权：cc††期刊年份：2026††CCS：以人为中心的计算 HCI中的实证研究††CCS：以人为中心的计算 人机交互（HCI）††CCS：计算方法 人工智能## 1. 引言基准和排行榜已成为现代AI研究的核心（Koch等人，2021 (https://arxiv.org/html/2605.28966#bib.bib13)）。排行榜汇总模型在标准化任务上的得分，并提供模型得分的持续更新排名（Liang等人，2023 (https://arxiv.org/html/2605.28966#bib.bib12)；Chiang等人，2024 (https://arxiv.org/html/2605.28966#bib.bib11)）。这些排行榜主要有两种形式：*静态基准排行榜*，例如Open LLM排行榜（Beeching等人，2023 (https://arxiv.org/html/2605.28966#bib.bib26)）、MMLU（Hendrycks等人，2021 (https://arxiv.org/html/2605.28966#bib.bib29)），它们在固定测试集上对模型进行排名；以及*基于竞技场的排行榜*，例如Chatbot Arena（Chiang等人，2024 (https://arxiv.org/html/2605.28966#bib.bib11)），它汇总了模型输出的人类偏好投票。在实践中，研究人员和从业者经常查阅LLM排行榜来评估和比较模型。例如，当公司为某项任务选择模型时，他们通常依赖这些LLM排名平台（Huang等人，2026 (https://arxiv.org/html/2605.28966#bib.bib16)，2025 (https://arxiv.org/html/2605.28966#bib.bib1)；Daynauth等人，2025 (https://arxiv.org/html/2605.28966#bib.bib10)；Gao等人，2025 (https://arxiv.org/html/2605.28966#bib.bib17)）。普遍的假设是排名靠前的模型代表了最先进（SoTA）的能力。然而，最近的研究认为这种假设可能并非总是成立（Bean等人，2026 (https://arxiv.org/html/2605.28966#bib.bib14)）。研究表明，排行榜可能对微小扰动敏感；例如，移除很小一部分偏好数据或调整评估提示，就可能改变排名最靠前的模型（Alzahrani等人，2024 (https://arxiv.org/html/2605.28966#bib.bib2)；Huang等人，2026 (https://arxiv.org/html/2605.28966#bib.bib16)）。此外，已有研究表明，交换排名算法（例如用Glicko替换Elo）可能会从相同的底层数据中产生不同的排序（Daynauth等人，2025 (https://arxiv.org/html/2605.28966#bib.bib10)；Liu等人，2025 (https://arxiv.org/html/2605.28966#bib.bib19)）。相关研究还表明，竞技场排名可以通过有针对性的投票进行策略性操纵，更广泛的审计报告了排行榜运营中的结构性问题（Min等人，2025 (https://arxiv.org/html/2605.28966#bib.bib15)；Singh等人，2025 (https://arxiv.org/html/2605.28966#bib.bib18)）。这些结果共同表明，排行榜得分并非质量的确定性衡量标准。尽管技术批评日益增多，但排行榜文化如何影响研究人员的日常工作仍不清楚。如果学者将排行榜位置视为进步或适用性的代理指标，这可能会收窄研究问题或引导模型选择；另一方面，许多研究人员可能不信任或有选择地使用排行榜信号。迄今为止，该领域缺乏关于哪种动态成立以及适用于谁的实证证据。在本项目中，我们采用社会技术视角，将LLM排行榜视为嵌入研究文化的产物。这种视角与批判性分析一致，后者将AI基准描述为*深具政治性、表演性和生成性*；它们不仅衡量模型，还有助于塑造该领域（Eriksson等人，2025 (https://arxiv.org/html/2605.28966#bib.bib4)）。从HCI的角度来看，研究人员是排行榜平台的最终用户，他们的信息需求、信任判断和工作流程约束应指导评估基础设施的设计，然而这些需求仍缺乏实证探索。我们不是将排行榜纯粹视为技术基础设施，而是将研究人员作为核心，他们的实践、信任判断和专业规范都受到这些评估平台的塑造。我们的定性研究探讨了研究人员对排行榜的亲身体验，以了解这种塑造究竟如何发生。不同的CS子领域与LLM有着不同的关系，无论是作为研究对象、工具还是部署目标，因此可能会相应地参与排行榜。通过跨CS子领域的访谈来奠定研究基础，我们考察了排行榜是主要作为便捷的基准线，还是积极推动研究方向和规范。本研究做出了三项贡献：（1）提供了*务实怀疑论*悖论的实证证据，即研究人员不信任排行榜排名，但仍将其用作粗略的决策辅助工具；（2）进行了跨子领域比较，揭示了排行榜的影响是由学科文化而非个人态度调节的；（3）提出了基于研究人员表达的需求的可操作设计建议。本研究围绕两个研究问题进行组织。**RQ1**探讨了不同CS子领域的研究人员在选择模型、设计实验和构建研究问题时如何使用LLM排行榜。**RQ2**探讨了研究人员如何评估排行榜排名的可信度和局限性，以及这种评估如何因排行榜类型（基于竞技场 vs. 静态基准）而异。 ## 2. 相关研究##### 基准基础。机器学习社区长期以来一直依赖共享的基准和公共排名来协调进展。经典的基准生态系统，如ImageNet（Deng等人，2009 (https://arxiv.org/html/2605.28966#bib.bib7)；Russakovsky等人，2015 (https://arxiv.org/html/2605.28966#bib.bib6)）和GLUE（Wang等人，2018 (https://arxiv.org/html/2605.28966#bib.bib8)），说明了共同任务和记分牌如何迅速集中集体努力。这反映了一种更广泛的基准文化，其中最先进的说法塑造了研究议程（Campolo，2025 (https://arxiv.org/html/2605.28966#bib.bib5)）。##### 基准失败模式。与此同时，对基准文化的实质性批评也已出现。Liao等人（2021 (https://arxiv.org/html/2605.28966#bib.bib9)）综合了失败模式（弱基线、测试集重用、数据污染），并强调了基准增益无法转移到实际环境的外部有效性差距。跨学科评论强调了可信评估流程中的透明度、公平性和可解释性（Eriksson等人，2025 (https://arxiv.org/html/2605.28966#bib.bib4)）。##### LLM排行榜的脆弱性。专门针对LLM排行榜的研究强化了这些担忧。Alzahrani等人（2024 (https://arxiv.org/html/2605.28966#bib.bib2)）表明，适度的基准扰动（如答案顺序改变）可以显著改变模型排名。Huang等人（2026 (https://arxiv.org/html/2605.28966#bib.bib16)）进一步表明，仅丢弃很小一部分偏好数据就可以翻转排名最靠前的模型。除了敏感性之外，Min等人（2025 (https://arxiv.org/html/2605.28966#bib.bib15)）证明竞技场排名可以通过操纵投票进行策略性操纵。以治理为重点的分析也报告了结构性问题，包括选择性披露和数据访问不对称，这些可能会扭曲排行榜结果（Singh等人，2025 (https://arxiv.org/html/2605.28966#bib.bib18)）。总之，仅凭排名无法捕捉更广泛的能力。##### 排名方法与统计可靠性。方法论研究也探讨了如何设计和解释排名系统。Gao等人（2025 (https://arxiv.org/html/2605.28966#bib.bib17)）表明，自动LLM排名流程可能因组件选择而与人类偏好目标产生偏差。Daynauth等人（2025 (https://arxiv.org/html/2605.28966#bib.bib10)）和Liu等人（2025 (https://arxiv.org/html/2605.28966#bib.bib19)）比较了排名和聚合策略，发现Elo风格的实现可能不稳定，并且估计选择会实质性地影响排序。相关的统计工作提出了用于Bradley-Terry模型的诊断工具和不确定性量化方法（Wu等人，2022 (https://arxiv.org/html/2605.28966#bib.bib20)；Gao等人，2023 (https://arxiv.org/html/2605.28966#bib.bib21)），推动了报告置信区间而非点排名。##### 指标的社会技术效应。除了稳健性之外，社会认知文献还探讨了指标如何塑造行为。古德哈特定律¹¹被引用来解释排行榜驱动的激励如何扭曲研究优先级（Eriksson等人，2025 (https://arxiv.org/html/2605.28966#bib.bib4)）。STS分析增加了另一层：Campolo（2025 (https://arxiv.org/html/2605.28966#bib.bib5)）描述了一种由频繁基准测试驱动的面向当下的研究文化，其中重点可能转向渐进的SoTA提升，而非风险更大的长期创新。##### 用户与算法排名的交互。HCI研究表明，用户通常缺乏对算法策展的认识，并发展出民间理论来解释排名输出。Eslami等人（2015 (https://arxiv.org/html/2605.28966#bib.bib37)）发现大多数用户没有意识到算法在策展他们的社交媒体信息流，并且在发现这一点时表示惊讶并重新评估了他们的信任。Rader和Gray（2015 (https://arxiv.org/html/2605.28966#bib.bib38)）记录了用户关于算法策展工作原理的一系列信念，强调排名不透明会塑造信任和行为。这些发现与排行榜背景直接相关，在排行榜中，研究人员会遇到不透明的排名，并且必须决定对其信任多少。##### 差距与贡献。先前的研究将基准和排行榜视为技术机制和文化产物。Ethayarajh和Jurafsky（2020 (https://arxiv.org/html/2605.28966#bib.bib30)）认为，单指标排行榜排名可能无法很好地代表研究人员实际关心的异质性效用。然而，关于不同CS子领域的研究人员如何在日常实践中解读和使用LLM排行榜，目前仍缺乏实证证据。我们通过定性访谈来填补这一空白，探讨研究人员的态度、决策以及排行榜在不同子领域中的基础设施作用。 ## 3. 方法论本研究采用基于解释主义认识论的定性方法。我们的目标是探索研究人员赋予排行榜参与的意义，而非产生可推广的因果论断。 ### 3.1. 伦理与参与者招募本研究已获得滑铁卢大学人类研究伦理委员会的审查和批准。所有参与者在访谈前均阅读了信息函并提供了知情同意书，包括对录音以及在报告和演示中使用匿名引用的单独同意。参与是自愿的，参与者可以随时跳过任何问题或退出，无需承担任何后果。姓名、电子邮件地址和其他识别信息与访谈数据分开存储，在分析过程中替换为参与者ID（P1–P8）。录音在转录时进行匿名处理，并存储在受密码保护的系统中。我们招募了来自四个CS子领域的研究人员：自然语言处理（NLP）、系统/隐私、人机交互（HCI）以及另一个跨学科领域（标记为“其他”以保护参与者匿名）。选择这些子领域是因为它们与LLM排行榜的关系不同。NLP研究人员是支撑排行榜的基准的主要生产者和消费者。系统/隐私研究人员通常作为最终用户（而非研究对象）与LLM交互，这带来了基于对抗思维的评估视角。HCI研究人员越来越多地在交互系统中使用LLM，但可能优先考虑排行榜通常不捕捉的用户中心评估标准。从事跨学科或特定领域应用研究的人员可能将LLM应用于特殊任务，其中标准基准的相关性有限。纳入标准要求参与者必须（a）拥有计算机科学研究生学位或正在攻读研究生课程，（b）在其各自子领域有研究经验，以及（c）对LLM有一定了解，但不一定专门熟悉排行榜。我们通过滑铁卢大学CS系和滚雪球抽样进行招募；因此，一些参与者在研究之前与主要研究人员有专业联系，而另一些则没有。最终样本由八名研究人员（五名博士生、一名硕士生和两名博士后研究员）组成，这提供了学科视角和职业阶段的变化。我们在两周内进行了八次访谈；最后两次访谈几乎没有产生新的代码，表明在本研究范围内接近主题饱和。 ### 3.2. 研究流程每位参与者经历了三个阶段：访谈前问卷、半结构化访谈和访谈后跟进。##### 访谈前问卷（约5分钟）。在表达兴趣后，潜在参与者完成了一份Google表单，该表单将同意流程与简短背景问卷结合在一起。该表单记录了知情同意（包括对录音和匿名引用的单独同意）、基本人口统计和角色信息（当前职位、院系/机构、项目年数）、参与者当前研究重点的简要描述、其主要CS子领域、他们在研究中与LLM或聊天机器人交互的频率，以及对命名的排行榜的先前了解。C