SemVerBench: 评估LLM对版本约束解析语义的理解基准

# 基准测试大语言模型对版本约束解析语义的理解能力
来源：https://arxiv.org/html/2609.11180

## SemVerBench：基准测试大语言模型对版本约束解析语义的理解能力
感谢：被第38届IEEE人工智能工具国际会议（ICTAI 2026）录用。此为作者预印本版本。

刘泽明
单位：布朗大学 美国
zeming\_liu@brown\.edu
单位：

###### 摘要
大语言模型编码代理持续解析依赖版本——判断已安装版本是否满足声明的约束（如`^1.2.3`或`>=2.0,<3`）——但其对版本约束*语义*的掌握程度从未被直接测量。我们推出SemVerBench，首个跨三个生态系统（npm、PEP 440、Cargo）测试大语言模型版本约束解析语义的基准。SemVerBench包含240个机器可检查的唯一答案条目，基于四个平衡来源（每个生态系统的官方测试套件加三个前沿大语言模型提议者）以作者中立方式构建，并通过非循环的双实现预言机而非人工标注。通过评估六模型面板，我们发现系统性、可预测的逐机制盲点，而非弥散性噪声：部分比较器进位规则（>1.2≡>=1.3.0）使*每个*模型在Cargo上陷入困境（均约60%），尽管PEP 440标准前缀匹配具有普遍性，但在零填充/预发布边界情况中GPT-5.1表现崩溃（26个零填充案例全错）而Claude保持97-100%（在67个预言机验证集上核实）。Opus显著优于所有其他模型，Sonnet优于OpenAI模型（McNemar检验）。关键的是，这些失败更符合*激活/应用*缺口而非知识缺口：注入相关规则可恢复多数错误，轻微准确提示可纠正已失败模型，而区间分解则无帮助，且模型对相同规则的基础形式已达上限。作者分层分析未发现统计显著的自我偏好效应（最大自身项目优势为GPT-4.1+10分，不显著；唯一显著作者效应是Gemini在自身项目上得分更低），且盲点在官方套件和跨系列项目上均存在。由于任务可验证且存在免费的100%正确解析器，工具委派可达约100%准确率。结论：编码代理应将版本解析委派给解析器，而非在脑内推理版本。

###### 索引术语：大语言模型、语义版本控制、依赖解析、软件工程基准、工具使用、知识激活

## I 引言
GPT-5.1，一个前沿推理模型，能完美处理PEP 440标准前缀形式`==2.*`——但当被问及零填充边界情况“2是否满足`==2.0.*`？”（PEP 440规定为是，因其对发布段进行零填充）时，在我们测试的*全部26个*此类案例中均出错，而Claude得分97-100%。免费的确定性解析器能在微秒内回答每个此类查询，且在同一模型在边界情况失败的情况下却能完美处理基础形式。这并非孤立故障。跨三个包装生态系统和六个前沿模型，我们发现大语言模型*系统性地错误应用他们能完美处理简单形式的版本约束规则*。大语言模型编码代理持续解析依赖版本。它们读取锁文件，判断升级在`^1.2.3`下是否允许，选择满足`>=2.0,<3`的版本，或推理安全修复是否在声明范围内。这些是每个包管理器（npm、pip、Cargo等）和每个涉及依赖的编码助手中的高频操作。当代理搞错版本语义时，后果不是装饰性错误，而是不正确的依赖决策——不安全版本范围、遗漏补丁或静默解析到错误发布的构建。这些是与供应链相关的错误：经验上，相当大比例的依赖发布因上游版本/破坏性变更问题而中断。尽管如此，版本约束解析的*语义*——区别于推断仓库所需依赖的上游任务——从未被基准测试。我们通过SemVerBench填补了这一空白。任务刻意狭窄且明确：给定生态系统E∈{npm, PEP 440, Cargo}中的版本V和约束C，判断V是否满足C。每个条目有唯一、机器可检查的答案。这种狭窄性是优点：它消除了开放式生成的混淆因素，使我们能将每个错误归因于约束语义而非格式、品味或歧义。狭窄的表面具有广泛影响，因为版本解析是普遍的。第一反应可能是大语言模型“无法计算”这类事情。证据指向相反方向，沿三条汇聚线。首先，模型对每种语法的基本形式（普通成员资格、纪元、精确固定）达到或接近上限，因此它们显然掌握底层概念；失败集中在简单形式能完美处理的规则的边界情况中。其次，轻微、有保留的提示——“我认为答案是...”，而非强制指令——足以纠正大多数先前失败的条目，这更符合激发潜在能力而非教授缺失知识。第三，提供规则本身有帮助，而提供额外推理*结构*（区间分解）则没有：缺失的是在上下文中可用正确规则，而非更多推理步骤。这些共同表明更符合*激活/应用*缺口而非能力或知识缺口——这一解读与模型自我知识的研究一致，尽管如我们在第VI节讨论的，我们的设计无法完全分离激活潜在知识与提供缺失知识。我们的发现也是结构化的，而非弥散的。困难集中在特定机制上：基本成员资格、纪元和普通范围对所有模型达到或接近上限，而少数机制几乎解释了所有错误。两个突出：第一，*普遍跨生态系统陷阱*：部分比较器向上进位，因此>1.2意味着>=1.3.0，>1意味着>=2.0.0；在Cargo上，*每个*模型——包括最强的——在此机制上都降至约60%。第二，*厂商特定盲点*：PEP 440标准前缀匹配（==N.*）具有普遍性——所有六个模型都能处理——但其边界情况（如2对`==2.0.*`的零填充版本，以及预发布版本）形成尖锐的厂商特定盲点，GPT-5.1系统性失败而Claude则不然。这些不是随机的；它们是每个模型系列如何内化（或未能内化）已记录规则的可复现特征。贡献。1. SemVerBench，首个测试大语言模型版本约束/语义版本解析*语义*的基准，覆盖npm、PEP 440和Cargo：240个机器可检查的唯一答案条目，作者中立构建，并由非循环双实现预言机标注。2. 对六个前沿模型*系统性、逐机制盲点*的特征描述，包括普遍的跨生态系统部分比较器陷阱和尖锐的、厂商特定的前缀匹配失败，具有统计显著性（McNemar）和作者分层分析显示无显著条目提议者自我偏好。3. *可操作的诊断*：错误类似激活/应用缺口，可通过规则注入恢复，并由轻微准确提示纠正，且通过*委派给解析器*消除（工具使用达到约100%准确率）。

## II 相关工作
大语言模型在软件工程任务上的表现。大语言模型越来越多地在真实软件工程工作上被评估——SWE-bench衡量它们是否端到端解决实际GitHub问题——但此类基准将许多子能力捆绑在单一通过/失败结果中。SemVerBench则隔离一个特定、高频、可验证的子能力：判断版本成员资格。针对大语言模型的依赖基准。近期工作评估大语言模型在*依赖推断*方面的能力——仓库需要哪些包。DI-BENCH评分生成的清单是否让仓库构建并通过测试，这是粗粒度的端到端信号，不隔离是否理解任何版本约束；DependEval探究依赖图*理解*（哪些模块依赖哪些），而非单个说明符的语义。两者都问需要哪些依赖；两者都不探究版本是否正确解析约束——我们的下游正交任务。据我们所知，没有先前基准以这种粒度针对版本/语义版本解析语义。约束遵循和约束推理基准。平行研究线研究大语言模型是否*遵循*约束。CFBench涵盖自然语言指令约束（格式、长度、内容），基于自由文本判断，而非具有单一真值的形式谓词；ConstraintBench（Gurobi验证，运筹学）涉及可行区域搜索，而非说明符语法；而ACS使用大语言模型作为开放式答案中约束满足的软判断——与我们的确定性预言机相反。SemVerBench则针对小的、形式化指定的、可验证的语义，每个条目有唯一答案，由代码标注。前提敏感性和迎合性。我们的受控虚假前提研究（第V-A节）接近迎合性文献，显示模型在主观或自由格式提示中屈从于用户意见。我们的设置在一个关键方面不同：任务是客观和可验证的，因此“提示”相对于基本事实要么正确要么错误。我们发现*不对称*效应——模型强烈采纳正确提示并抵抗微弱错误提示——这符合激活/应用解释而非不加区分的迎合。

## III SemVerBench
### III-A 任务
条目是三元组(E,V,C)：生态系统、版本和约束。模型必须判断成员资格——V是否满足C？我们写作V⊧C——并以`ANSWER: true`或`ANSWER: false`结束响应。每个条目是布尔成员资格查询：恰好有一个正确答案，可由确定性解析器计算，没有条目要求自由文本、排序或生成。评分是在提取最终判断后与预言机标签进行精确匹配。解析失败（响应无可提取判断）单独统计，而非计为错误，因此理解不会与输出格式混淆。这种最小化、可验证的框架使我们能将每个错误归因于约束语义：错误答案不能辩解为品味、歧义或不幸措辞，因为一行解析器调用即可确定条目。

### III-B 生态系统及其语法
SemVerBench覆盖三个生态系统，其约束语法表面相似但微妙且重要地不同。npm使用node-semver范围语法：范围是连字符范围和比较器集的析取，支持脱字符(^)、波浪号(~)和x范围的语法糖；棘手部分是前导组件为零时脱字符/波浪号行为、部分比较器，以及可选的预发布策略。Python PEP 440定义结构化版本上的版本说明符（纪元、发布、预发布/发布后/开发段），操作符包括==、!=、~=（兼容发布）和前缀匹配形式==N.*；其微妙之处包括纪元排序、发布段上的前缀匹配，以及有序比较器排除边界版本相邻预发布/发布后版本的规则。Cargo的VersionReq在语义上类似npm（默认脱字符行为），但其对部分比较器的处理是我们数据中主要的难点来源。这三种语法提供小但真正多样的语义表面。

### III-C 双轴分类
每个条目沿两个正交轴标记。*语法*轴记录说明符的表面语法形式——脱字符/波浪号语法糖、有界比较器（如>=1.2,<2.0）、通配符/前缀形式（如2.*），或精确固定——即*约束的书写方式*。*机制*轴记录条目练习的底层语义规则——如部分比较器进位或有序比较排除——即*解析约束要求模型知道什么*。两者正交：相同语法形式可练习不同机制，相同机制可出现在不同语法下。我们按机制轴组织整个分析，因为机制隔离语义难度；语法轴记录用于覆盖和平衡但非分析单元，因为两个语法相同的条目可能简单或困难取决于它们依赖哪个规则。关键机制包括：- • 脱字符/波浪号和魔法零（^, ~）：兼容范围，当前导组件为零时语义变化（如^0.2.3）。- • 部分比较器进位：部分比较器向上进位，因此>1.2≡>=1.3.0且>1≡>=2.0.0。- • 预发布准入：预发布如1.2.0-rc.1何时被范围允许或禁止。- • PEP 440有序比较排除：>V不匹配V的发布后版本，而>=V匹配；边界情况如`>1.2.0`排除1.2.0的预发布但包括发布后版本。- • 纪元排序：E!N>V在纪元E>N时不匹配V。- • 通配符/前缀匹配：2.*匹配2.0、2.1.3等但不匹配3.0。语法形式在[附录表A]中详述，但此处重点在机制。

## IV 结果
我们报告六个前沿模型的总体准确率和逐机制准确率。总体准确率（表I）范围从Sonnet的80.4%到Opus的91.3%。显著性：Opus>>所有其他（p<0.001）；Sonnet>>每个OpenAI模型（p<0.05–.01）；Sonnet对Gemini不显著；OpenAI和Gemini互不显著。这些80-91%的总体准确率远高于57.1%多数类基线（并远高于50%随机猜测），确认模型对大部分条目具有真正能力——基准未通过利用标签不平衡解决。但这只是总体情况：如发现2-4所示，几个单独的盲点桶*未*达到多数类基线。确实，总体准确率隐藏了本文要点的结构。表II按（生态系统×机制）分解准确率。普通成员资格、纪元和基础范围对所有模型达到或接近100%；难度*集中在*少数机制。关键的是，标题盲点桶接近随机基线：Cargo部分进位约60%勉强高于整体57.1%多数率，且在或低于Cargo自身60.0%多数率，因此在此机制上模型保留几乎无超越猜测的真实信号；Claude-Sonnet在此59%在或低于Cargo的60.0%多数率——本质上无超越猜测的信号。PEP 440有序排除桶（60-70%）对较弱模型也类似接近随机。我们依次讨论每个标题盲点。表II：按（生态系统×机制）准确率（%，3次运行汇总）。n为桶内条目数（总和为240）。粗体行为标题盲点。单元格着色：绿色≥90，黄色75-89，橙色50-74，红色<50。

### IV-A 发现1：跨厂商差距
Claude模型（Opus、Sonnet）通过配对McNemar检验显著优于OpenAI和Google模型（Opus>>所有其他p<0.001；Sonnet>>每个OpenAI模型p<0.05–.01）。这表明模型家族差异可能反映训练数据或对特定语法规则的对齐程度。

### IV-B 发现2：普遍机制陷阱——部分比较器进位
所有模型在Cargo部分比较器进位上表现差（≈60%）。规则：>X.Y意味着≥X.(Y+1).0（若Y<9），且>X意味着≥(X+1).0.0。此规则非直观，但文档明确。模型能处理简单形式（如>1.2对1.3为真），但当约束为范围或与其他规则组合时失败。注入规则恢复多数错误，表明这是激活问题。

### IV-C 发现3：厂商特定盲点——PEP 440零填充和预发布
GPT-5.1在PEP 440零填充案例上完全失败（0/26），而Claude近乎完美。规则：2满足`==2.0.*`，因发布段零填充。模型可能训练数据中少有此边界情况。类似地，有序比较排除边界版本预发布版本的规则（如>1.2.0不匹配1.2.0-rc.1但匹配1.2.0.post1）对弱模型是盲点。这显示模型对文档规则的覆盖不均。

### IV-D 发现4：错误本质——激活/应用缺口
三个证据支持此论点：1）模型对相同规则的基础形式达上限；2）轻微准确提示纠正多数错误；3）规则注入有帮助，而推理结构无。这表明模型*知道*规则但未在边界情况下激活。工具委派达约100%，因解析器免费且确定性。

## V 分析
### V-A 前提敏感性和提示效果
我们测试模型是否屈从于错误提示。给定虚假前提“规则说>X不匹配X的预发布”，模型是否改变答案？发现：模型强烈抵抗错误提示（尤其Opus），但接受正确提示。这不对称性支持激活解释，而非迎合。

### V-B 作者分层分析
为测试作者是否偏爱自己条目，我们分层分析。未发现显著自我偏好（最大优势为GPT-4.1+10分，不显著）。唯一显著效应是Gemini在自身条目上得分更低。这表明条目构建无偏见。

## VI 讨论和结论
我们的发现有实践意义：编码代理应委派版本解析给工具，而非自行推理。这因错误导致供应链问题。理论上，激活/应用缺口表明大语言模型知识未完全利用。未来工作可扩展基准至更多生态或测试修复策略。局限：仅三个生态，可能未覆盖所有边缘情况。但SemVerBench作为首个基准，为改进大语言模型可靠性提供基础。