大语言模型几何表示鲁棒性评测

# 度量大语言模型在几何中的表征鲁棒性
来源：https://arxiv.org/html/2604.16421 Vedant JawandhiaBITS Pilani计算机科学与信息系统系 \{f20220627, dhruv\.kumar, yash\.sinha\}@pilani\.bits\-pilani\.ac\.inYash SinhaBITS Pilani计算机科学与信息系统系 \{f20220627, dhruv\.kumar, yash\.sinha\}@pilani\.bits\-pilani\.ac\.inAnkan PalBITS Pilani数学系 ankan\.pal@pilani\.bits\-pilani\.ac\.inDhruv KumarBITS Pilani计算机科学与信息系统系 \{f20220627, dhruv\.kumar, yash\.sinha\}@pilani\.bits\-pilani\.ac\.in ###### 摘要 大语言模型（LLM）在数学推理方面的评估日益增多，但它们对等价问题表征的鲁棒性仍然缺乏充分理解。在几何中，相同的问题可以用欧几里得形式、坐标形式或向量形式来表达，但现有基准测试仅在固定格式下报告准确率，隐含假设了表征不变性，从而掩盖了仅由表征变化引起的失败。我们提出GeoRepEval，一个感知表征的评估框架，在问题级别跨平行表述测量正确性、不变性和一致性，结合严格答案匹配、自助置信区间、配对McNemar检验、表征翻转分析和表面复杂度回归控制。我们证明了Invariance@3指标可以将准确率分解为鲁棒和脆弱两部分，并以最弱表征为界。我们在158道精选高中几何问题（474个实例）上评估了11个LLM，发现仅由表征选择引起的准确率差距高达14个百分点。向量表述成为一致的失败点，即使控制了长度和符号复杂度，Invariance@3低至0.044。convert-then-solve提示干预使高容量模型的向量准确率提升高达52个百分点，表明失败反映的是表征敏感性而非能力不足；然而低容量模型没有收益，表明存在更深层的局限性。这些结果表明，当前模型依赖的是表征特定的启发式方法，而非抽象的几何推理。所有数据集、提示词和脚本已在https://github.com/vedjaw/GeoRepEval发布。 ## 1引言 大语言模型（LLM）在推理密集型任务[3 (https://arxiv.org/html/2604.16421#bib.bib3),22 (https://arxiv.org/html/2604.16421#bib.bib22)]中展现了强大的能力，包括数学问题求解[7 (https://arxiv.org/html/2604.16421#bib.bib7),12 (https://arxiv.org/html/2604.16421#bib.bib12)]、符号操作[16 (https://arxiv.org/html/2604.16421#bib.bib16)]和逻辑推理[36 (https://arxiv.org/html/2604.16421#bib.bib36)]。近年来规模扩展、指令微调和思维链提示方面的进展在涵盖算术、代数和几何的基准测试中取得了实质性提升[3 (https://arxiv.org/html/2604.16421#bib.bib3),36 (https://arxiv.org/html/2604.16421#bib.bib36),6 (https://arxiv.org/html/2604.16421#bib.bib6),22 (https://arxiv.org/html/2604.16421#bib.bib22)]。然而越来越多的证据——对提示措辞的敏感性[40 (https://arxiv.org/html/2604.16421#bib.bib40)]、对抗性扰动[11 (https://arxiv.org/html/2604.16421#bib.bib11)]和表面层面的改写[27 (https://arxiv.org/html/2604.16421#bib.bib27)]——表明LLM的性能在表征变化下可能变得脆弱[32 (https://arxiv.org/html/2604.16421#bib.bib32)]。几何提供了一个独特结构化的测试平台：相同的问题可以通过欧几里得、坐标或向量表征来表达，而不改变其语义内容。 #### 研究问题。本文通过三个问题研究现代LLM是否表现出表征不变的几何推理： 1. RQ1：性能是否随表征选择而系统性地变化？差距能否用表面特征来解释？ 2. RQ2：显式的基于转换的提示能否提高跨表征一致性？我们评估当相同几何问题以欧几里得、坐标和向量形式表达时，模型是否产生正确且一致的答案——这些表征在符号密度和语言结构上有所不同，但编码了相同的数学约束[16 (https://arxiv.org/html/2604.16421#bib.bib16)]。先前的工作集中在固定格式基准测试的总体准确率上[7 (https://arxiv.org/html/2604.16421#bib.bib7),12 (https://arxiv.org/html/2604.16421#bib.bib12),9 (https://arxiv.org/html/2604.16421#bib.bib9)]，将表征视为附带因素。探索释义鲁棒性的研究在单一表征范围内进行[40 (https://arxiv.org/html/2604.16421#bib.bib40)]，几何基准测试很少提供相同问题的平行表述[34 (https://arxiv.org/html/2604.16421#bib.bib34)]。因此，当前评估无法确定LLM是内部标准化问题还是依赖表征特定的启发式方法。我们提出GeoRepEval，一个感知表征的评估框架，为每个问题构建平行的欧几里得、坐标和向量版本，并在问题级别评估——跨所有三个变体比较答案。GeoRepEval引入了Invariance@3（三种表征都正确的问题比例）和Consistency@3（输出相同的问题比例），以及McNemar检验、表征翻转分析和表面特征（标记长度、符号密度）的回归控制。我们在474道精选几何问题（每种几何表征158个实例）上评估了11个LLM，涵盖开源权重（7B-12B）和专有架构。欧几里得-向量准确率差距达到14个百分点（Claude-Haiku：0.60 Euclid vs. 0.46 Vector），而Invariance@3——在所有三种表征中正确解决问题的比例——除了GPT-OSS-20B（0.665）外，所有模型都低于0.47。在低端，LLaMA-3.1-8B的Invariance@3仅为0.044，这意味着不到5%的问题在所有三种形式中都正确解决。这些差距在表面复杂度的回归控制后仍然存在（8/11个模型的p<0.05），项目层面分析揭示向量表述是主要的单一失败点：CCW模式（欧几里得和坐标正确，向量错误）比WCC（仅欧几里得失败）频繁2-5倍，表明模型流畅地应用欧几里得推理"模板"，但产生脆弱且容易出错的向量过程。 #### 贡献。 - •GeoRepEval框架：一个统计上有依据的、感知表征的评估框架，包含正式合理的指标（性质1-3），将Invariance@3和Consistency@3与标准准确率联系起来。 - •平行基准：来自标准教科书、经过验证语义等价的158道核心几何问题，每题均有欧几里得、坐标和向量三种形式（每源474个实例）。 - •经验性与解释性分析：准确率差距高达14个百分点，Invariance@3低至0.044；定性分析（§5.7 (https://arxiv.org/html/2604.16421#S5.SS7)）提出过程链长度、可能的训练分布效应和代数错误累积作为向量脆弱性的合理解释。 - •提示干预：一种convert-then-solve策略，使中/高容量模型的向量准确率显著提升（高达52个百分点），表明失败是表征特定的；低容量模型没有收益，表明存在更深层的局限性。 ## 2相关工作 ### 2.1神经模型的数学推理与几何 先前研究已在GSM8K和MATH等基准测试上评估LLM数学推理[7 (https://arxiv.org/html/2604.16421#bib.bib7),12 (https://arxiv.org/html/2604.16421#bib.bib12),9 (https://arxiv.org/html/2604.16421#bib.bib9),16 (https://arxiv.org/html/2604.16421#bib.bib16),24 (https://arxiv.org/html/2604.16421#bib.bib24)]，并有补充性调查更广泛地评估模型能力[25 (https://arxiv.org/html/2604.16421#bib.bib25),13 (https://arxiv.org/html/2604.16421#bib.bib13)]。专注于几何的工作探索了图表理解、符号推理和基于坐标的表述[29 (https://arxiv.org/html/2604.16421#bib.bib29),34 (https://arxiv.org/html/2604.16421#bib.bib34)]。然而，这些评估通常以单一规范形式评估每个问题，无法明确成功是反映抽象推理还是对表征编码的敏感性。GeoRepEval通过在欧几里得、坐标和向量表述上评估相同问题来区别于这一范式。 ### 2.2LLM鲁棒性评估框架 BIG-bench[32 (https://arxiv.org/html/2604.16421#bib.bib32)]、HELM[17 (https://arxiv.org/html/2604.16421#bib.bib17)]和Beyond-the-IID[4 (https://arxiv.org/html/2604.16421#bib.bib4)]等基准测试在不同条件下对模型进行压力测试。表征转换[38 (https://arxiv.org/html/2604.16421#bib.bib38)]、释义[27 (https://arxiv.org/html/2604.16421#bib.bib27),14 (https://arxiv.org/html/2604.16421#bib.bib14)]和对抗性扰动[19 (https://arxiv.org/html/2604.16421#bib.bib19)]方面的工作揭示了对表面变化（尽管语义等价）的敏感性。然而，在数学领域，大多数基准测试仍然是实例层面的，缺乏相同问题的对齐变体，限制了不变性评估。GeoRepEval通过问题层面、表征对齐的评估和配对统计检验填补了这一空白。 ### 2.3提示与推理策略 思维链提示[36 (https://arxiv.org/html/2604.16421#bib.bib36)]、自洽性[35 (https://arxiv.org/html/2604.16421#bib.bib35)]、思维树[37 (https://arxiv.org/html/2604.16421#bib.bib37)]和工具增强方法[28 (https://arxiv.org/html/2604.16421#bib.bib28)]提高了推理性能，零样本和从少到多策略[15 (https://arxiv.org/html/2604.16421#bib.bib15),39 (https://arxiv.org/html/2604.16421#bib.bib39)]无需示例即可解锁潜在能力。然而，这些研究隐含假设固定表征，专注于模型如何推理而非推理以何种形式为条件。我们的工作将表征作为控制变量进行隔离，测试LLM推理是否具有表征不变性。 ## 3方法论 GeoRepEval通过四个阶段探索LLM是否在等价的几何表征中表现出不变推理：数据集构建、受控推理、结构化评分和统计分析（图1 (https://arxiv.org/html/2604.16421#S3.F1)）。设M\mathcal{M}为一个语言模型。每个问题p_i有标准答案a_i^{*}，以表征r∈{euc,coord,vec}r∈{{euc},{coord},{vec}}表达，产生提示x_i^{r}。预测答案\hat{a}_{i}^{r}=\text{parse}(\mathcal{M}(x_{i}^{r}))在归一化后匹配a_i^{*}时为正确（第3.2节 (https://arxiv.org/html/2604.16421#S3.SS2)）。我们使用二元正确性指标c_i^{r}∈{0,1}来捕捉这一点，标记模型是否成功解决了问题p_i的表征形式r，正式定义为c_i^{r}=\mathbf{1}[\text{normalize}(\hat{a}_{i}^{r})=\text{normalize}(a_{i}^{*})]。 1. 源选择2. 类别平衡3. 平行生成4. 问题过滤欧几里得几何坐标几何向量几何归一化与严格标记Invariance@3与统计检验数据集构建受控推理（LLM） 图1：GeoRepEval流程概览。该框架原生构建并跟踪数学等价的变体（欧几里得、坐标和向量），通过平行LLM推理隔离真正的推理能力与表征敏感性。### 3.1数据集构建 构建流程分为四个阶段： #### 阶段1：源选择。问题来源于三本广泛使用的印度高中和大专数学教科书——NCERT（九至十二年级）[21 (https://arxiv.org/html/2604.16421#bib.bib21)]、RD Sharma[30 (https://arxiv.org/html/2604.16421#bib.bib30),31 (https://arxiv.org/html/2604.16421#bib.bib31)]和RS Aggarwal[1 (https://arxiv.org/html/2604.16421#bib.bib1),2 (https://arxiv.org/html/2604.16421#bib.bib2)]——选择它们是因为它们强调形式符号推理和定义良好的几何约束。 #### 阶段2：分类。每个问题被分配到四个类别之一：长度/距离、面积/体积、比例/比例和角度/方向，分布大致均衡。 #### 阶段3：平行生成。每个核心问题被实例化为三种等价形式：欧几里得（语言/关系型）、坐标（笛卡尔平面）和向量（点积/叉积运算）。每个变体保持相同的约束和求解路径。变体由Gemini Pro[10 (https://arxiv.org/html/2604.16421#bib.bib10)]生成，并经数学专家小组手动验证。 #### 阶段4：过滤。移除措辞模糊、参数缺失或答案非精确的问题。过滤后，每个来源提供158道核心问题（每源474个实例）。 ### 3.2推理、评分与聚合 每个模型在相同条件下评估所有三种表征，以结构化JSON格式产生答案（附录A (https://arxiv.org/html/2604.16421#A1)）。GeoRepEval还包括一个convert-then-solve变体，其中模型首先将坐标/向量问题重写为欧几里得形式。预测答案使用严格归一化（分数、根、π表达式至规范形式）与标准解进行比较： c_i^{r}=\mathbf{1}\bigl[\text{normalize}(\hat{a}_{i}^{r})=\text{normalize}(a_{i}^{*})\bigr].(1) 这避免了数值容差问题，同时接受等价形式（例如，$\frac{3}{2}$和1.5）。结果跨表征和问题进行聚合。除了标准每表征准确率外，GeoRepEval还计算两个高阶指标。Invariance@3测量在所有三种表征中都正确解决的问题比例： \text{Invariance@3}=\frac{1}{N}\sum_{i=1}^{N}c_{i}^{\text{euc}}\cdot c_{i}^{\text{coord}}\cdot c_{i}^{\text{vec}},(2) 其中N是问题数量。Consistency@3测量模型在所有三种表征中产生相同输出（无论正确与否）的问题比例： \text{Consistency@3}=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\bigl[\hat{a}_{i}^{\text{euc}}=\hat{a}_{i}^{\text{coord}}=\hat{a}_{i}^{\text{vec}}\bigr].(3) GeoRepEval还按跨表征正确性模式（例如CCC、CCW、WWW）对每个问题进行分类，产生八个类别用于结构化失败分析。 ### 3.3评估指标的形式性质 我们建立三个结构性质，为我们的双指标设计提供依据，并阐明准确率、不变性和一致性之间的关系。在整个讨论中，设R={{euc},{coord},{vec}}表示表征集合，并回顾c_i^{r}∈{0,1}。