编码但不可操作：审计冻结LLMs中几何约束的解码-生成-引导差距

# 编码而非可操作：冻结大语言模型中几何约束的"解码-生成-操控"能力差距审计
来源：https://arxiv.org/html/2608.17843
###### 摘要

大语言模型（LLMs）在结构化推理任务上展现出强大性能，但其编码内容及对模型行为的指导作用仍不明确。我们通过几何推理研究这一问题，以参数化CAD约束作为受控测试平台，分离局部成对关系与草图级别的约束状态。通过探测六个冻结解码器专用LLM的隐藏状态，我们考察了四项属性：线性可解码性、强制选择生成、激活层级影响与行为可操控性。预训练显著提升了局部几何关系的解码能力，且在通过洗牌顺序控制排除位置线索后该优势仍然存在。相比之下，草图自由度（DOF）状态即使从随机初始化表征中已具备高度可解码性，预训练仅带来有限提升，表明其探测性能很大程度上无需学习权重即可获得。进一步分析显示，可解码信息并不总是可操作的：生成过程常无法表达此信息；在两项经过干预测试的基底模型中，被补丁实体位置的激活恢复效应逐渐消失，但可解码性仍随深度持续存在；均值差异操控也无法可靠控制输出。这些结果表明，在测试设置中，可解码性、生成能力、激活层级影响与可操控性可能发生分化。本审计提供了一种受控方法，用于区分几何结构编码失败与编码信息表达/控制失败的问题。

## 1 引言

大语言模型正越来越多地被用于将自然语言指令转换为程序、计划与几何设计等结构化输出[37,30,38]。在科学与工业场景中可信部署，要求结构化输出满足相互作用的领域约束（包括物理原理、几何关系和安全要求），同时保持全局一致性。在这些应用中，参数化CAD提供了特别有用的案例——它在工程领域广泛应用，并以明确可验证的形式表示领域约束[27]。在参数化CAD中，局部约束定义几何元素间的关系，而其组合效应决定草图处于欠约束、恰约束或过约束状态[31]。

近期研究越来越多地使用LLM从自然语言指令生成CAD设计[15,18]。新系统通过执行或求解器反馈扩展单次生成，以迭代检测和修复错误[4,12,20]。然而，仅输出层面的评估无法揭示成功生成与修复是否依赖内部约束表征。阐明这一关系对于解释为何局部能力可能与全局失败并存至关重要。因此我们提出：冻结的通用LLM编码了哪些几何约束信息？其可解码性与生成、激活层级影响及行为控制有何关联？

为回答此问题，我们基于SketchGraphs数据集[27]开发了四项审计任务：线性可解码性、强制选择生成、激活层级影响与操控性测试，并在Fusion 360 Gallery数据集[36]上进行跨数据集P1验证。我们的评估覆盖来自Qwen2.5、Mistral和Llama-3.1系列的六个冻结解码器专用LLM[25,14,7]。审计框架包含三项匹配评估任务：局部成对约束解码（P1）、全局自由度状态解码（P2）以及使用与P1相同成对标签的强制选择生成（P3）。我们进一步通过激活补丁测试恢复探测实体位置的激活是否影响预测，以及通过表征操控测试修改这些激活是否能系统控制输出。为聚焦潜在几何信息而非显式标签线索，模型输入仅序列化几何信息，排除所有约束标注。

结果揭示了编码几何约束信息与可操作信息间的系统差距。局部成对关系（P1）包含可通过线性解码获取的习得信息，即使在控制随机初始化、输入结构和实体顺序后依然成立。然而，全局约束状态（P2）从预训练中获益甚微。这种局部-全局不对称性可通过所有六个模型均为正值的分离指数得到量化。更重要的是，强P1解码能力并未转化为可靠的P3生成能力，且不同基底模型的失败严重程度差异显著。激活补丁显示，预测对补丁实体位置恢复的敏感性集中于早期层，且随着可解码性持续存在而逐渐消失。均值差异操控也无法可靠控制预测。这些错配现象说明了为何结构化任务的失败需要在多个层面进行审计，而非仅归因于缺失知识。我们的主要贡献是构建了一个受控的跨模型框架，用于审计冻结LLM中的几何约束表征，区分信息编码失败与信息表达、使用或控制失败。

![图1：四项审计流程概览](https://arxiv.org/html/2608.17843)
图1：四项审计概览。仅含几何信息的草图被序列化后输入冻结LLM，其表征在线性可解码性、强制选择生成、激活恢复敏感性和基于操控的控制能力方面接受评估。

## 2 相关工作

#### 几何推理与CAD生成

几何约束推理是三维物体放置、机器人装配规划和制造工作流等工程任务的基础[13,16,5]。参数化CAD使这种局部-全局结构显式化：成对几何约束定义局部关系，剩余自由度则表征草图级别的约束状态。

先前研究通过互补表征捕捉此结构：SketchGraphs建模图元和显式成对约束[27]，而Fusion 360 Gallery、DeepCAD和CADParser则通过操作复杂度递增的构建历史表示设计[36,39,41]。生成模型相应地聚焦于约束草图（如Vitruvion[28]）或CAD构建序列（如DeepCAD和SkexGen[39,40]）。Text2CAD、CAD-Llama、CADmium、STEP-LLM和ReCAD等新系统利用语言模型生成CAD序列或可执行代码[15,18,6,29,17]。

这些研究脉络中，评估主要集中在条件约束预测、CAD重建、有效性和生成质量等任务层面。我们转而考察冻结通用LLM是否编码约束结构，以及该编码如何与生成、激活恢复敏感性和行为控制相关联。

#### 表征分析与干预

表征分析的常见方法是线性探测，即检验冻结隐藏状态中线性可解码的信息[1,2]。除语言属性外，探测已在游戏模型[19,22]和LLM[8]中识别出线性可解码的世界状态、时空信息。这些发现与线性表征假说一致——该假说认为特征沿表征空间中的特定方向组织[23]。据此观点，线性探测为考察模型表征中的结构化信息提供了自然工具。

然而，高线性探测精度本身不能证明相关表征通过预训练习得，它可能反映探测容量、架构偏置或输入中已存在的信息[11,24]。先前工作通过洗牌标签任务与选择性[11]、随机编码器[35]及与更简单输入表征的比较[10]来应对这些替代解释。我们遵循这些原则，使用洗牌标签和随机初始化控制，并为序列化几何信息引入纯输入基线。

除识别探测可提取的信息外，先前研究开发了测试内部表征是否参与模型行为的干预方法[26]。激活补丁测试对中间状态的干预如何影响模型输出[33,21]。相关干预方法已用于识别行为相关回路[34,3]。激活加法和表征工程则通过修改内部状态引导模型行为[32,42]。这些方法测试表征功能的不同方面：补丁测试恢复选定位置的激活是否影响预测，而操控测试修改该激活能否控制输出。我们将这些干预与解码和生成结合，以区分线性可达性、行为表达、激活层级影响与可控性。

## 3 方法

我们使用仅含几何信息的CAD序列化、三项匹配预测任务和两项激活层级干预评估冻结LLM。图1总结了评估流程。

#### 数据与标签

从SketchGraphs训练集[27]衍生出成对实体关系标签（P1）和草图级别约束状态标签（P2）。对于P1，有序实体对(i,j)被分为八类：七种成对关系（重合、平行、垂直、相切、等长、中点、同心）与无约束，从同一草图的无约束对中采样。我们排除主要为一元关系的水平与垂直约束。对于P2，根据SketchGraphs的get_sequence_dof返回的自由度计数（正、零、负），将草图标记为欠约束、恰约束或过约束。为解决类别不平衡问题（特别是恰约束与过约束草图数量有限），我们构建分层类别平衡子集：每P1类别最多15k对，每P2类别最多12k草图（每类最少500）。相同采样子集在固定种子下跨模型复用。P2标签为启发式而非求解器验证，可能误分类冗余约束集。

#### 任务

评估组织为两个解码任务和一个匹配行为任务。P1测试成对约束是否可从拼接实体表征x_ij=[h_i;h_j]线性解码，采用八分类。P2测试草图约束状态是否可从平均池化实体表征\(\bar{\mathbf{h}}=|\mathcal{E}|^{-1}\sum_{e\in\mathcal{E}}\mathbf{h}_e\)线性解码，采用三分类。P1与P2分别考察局部与全局层面的线性可达性，而P3作为P1的行为对应任务，要求冻结LLM通过八类强制选择补全模板Constraint(E_i,E_j)=...。使用相同的保留对、标签空间和宏F1指标，使得P1解码能力与P3生成能力具备可比性。P3主要评估采用零样本设置，附录G报告了基于五组示例集的四样本控制结果。

#### 序列化与标签排除

每个草图序列化为包含实体类型与数值参数（如线段端点、圆心坐标及半径）的纯文本。所有EdgeOp标注均被省略，因此无法从输入直接读取约束标签。每个实体的字符跨度被映射到对应的token跨度用于池化。

#### 表征提取

每个序列化草图输入冻结解码器专用LLM。在每个采样层，对实体跨度内的token级隐藏状态进行平均池化得到\(\mathbf{h}_e\)。为比较不同深度的架构，我们从八个均匀分布的相对深度位置（而非共享绝对层索引）提取表征。结果表征以FP16格式存储，所有模型使用相同的平衡样本。

#### 探测器与控制

对于P1和P2，在每个层使用平衡数据训练独立的ℓ₂正则化逻辑回归，采用类别分层75/25划分。主要P1划分在实体对层面而非草图层面进行。对Qwen2.5-3B的五种子草图层面组划分检查显示性能相当，表明草图重叠无法解释P1结果（附录D）。为隔离预训练贡献，我们比较预训练表征与同架构随机初始化模型及纯输入基线。洗牌标签探测器控制探测器记忆效应，实体数量控制检验P2性能是否可由草图大小解释。

#### 洗牌顺序控制

为测试P1是否依赖实体位置，我们在保持实体身份、几何与标签的前提下随机置换每个序列化中的实体顺序，然后对每个模型重复表征提取与探测。所得