修复，而非改进：分解工具调用放弃中的受限解码

# 工具调用拒绝中约束解码的分解
来源：https://arxiv.org/html/2608.13959

## 修复，而非改进：工具调用拒绝中约束解码的分解

###### 摘要
函数调用是近期对受限生成明确排除的内容：该研究发现解码器对格式约束的贡献较小，随后在第7节警告不要将结果外推至约束编码正确性要求的场景，并特别指出函数调用属于后者。工具拒绝是此问题最尖锐的体现：枚举并不改变答案的措辞，而是缩小答案的可能范围，而拒绝调用任何工具是首先被排除的情况。我们衡量了被排除的案例。在字节完全相同的提示下，三个条件区分了语法的两个任务：它既确定了生成的终止位置，也确定了可生成的词元。我们在匹配的英语和韩语项目上评估了0.6B至4B的开源权重模型，因此语言比较是在项目内部进行的。与无约束解码器相比，先前工作的对比在六个单元格中的四个对拒绝案例为负值（区间不包含零，最差达-29.5分），正值且区间不包含零的情况为零。总和符号相反：对于最小模型在韩语中，终止词元损失-20.0，枚举返回+19.5，两者合计-0.5。它修复的是形式：在698个被修复的拒绝中，545个原本无可读答案，0个是评分者拒绝判定的结果。在需要工具的项目上，它全程为正；拒绝导致这一结果是因为它是预注册的指标，而汇集数字对干预更友好使得转向它变得更糟而非更好。两个预注册的语言假设均失败。

## 1 引言
工具调用路由有两个任务。当需要工具时，它必须选择正确的工具；当不需要时，它必须拒绝。第二个任务是保持部署系统安全的关键：一个总是调用某种工具的路由会自信地为法律问题调用天气API。约束解码是解决第一个任务的标准补救措施。将解码器限制在声明的工具名称组成的语法上，可以完全消除格式错误的输出，在小模型上这能带来显著的准确性提升。该干预在工程上近乎免费，因此被广泛部署。近期研究也探讨了其代价。Lee等人2026a（https://arxiv.org/html/2608.13959#bib.bib5）分解了格式约束导致的性能下降，发现大部分下降源于提示而非解码器：指示模型生成JSON平均损失约-3.9分，在解码时强制执行该指令额外增加约-1.6分损失。一种令人安心的解读——一旦支付了指令成本，强制执行几乎免费——现已成为主流观点。但该论文拒绝将此解读扩展到函数调用。其局限性部分指出，语法约束解码还有其他应用——代码合成、函数调用、测试生成——其中约束编码的是正确性要求而非呈现偏好，其结果不应外推至这些场景。111Lee等人2026a（https://arxiv.org/html/2608.13959#bib.bib5）, §7。我们接受这种排除，并将其视为需要测量的范围边界，而非形式主义。区别是精确的，也是本文展开的切入点。JSON模式限制答案的书写方式。十个工具名称上的枚举限制哪些答案存在，而它最可能删除的答案是不命名任何工具的答案。如果解码器的贡献有可能很大，那将在此处很大。

#### 将解码器与提示分离。两条件对比无法实现。自由生成与单个受约束词元的区别在于解码器可输出的内容*以及*模型回答的空间大小，因此两者差异同时归因于掩蔽。因此我们运行三个条件在字节完全相同的提示上：无约束生成256个词元解释自身，无约束但在第一行后停止，以及在第一行使用枚举约束。三个条件产生三个差异，每个回答不同的问题：
- Δmask(l) = acc(constr., l) - acc(short, l),
- Δlength(l) = acc(short, l) - acc(free, l),
- Δtotal(l) = acc(constr., l) - acc(free, l).

Δmask有一个变量——语法——但其基线并非中性的：终止词元已应用于两侧。因此，它是向答案长度已受控的模型添加枚举的成本，而非约束原本自由的解码器的成本。后一个量是Δtotal，两者相差终止词元自身的成本，表6（https://arxiv.org/html/2608.13959#S4.T6）显示其并非总是很小。我们全程报告所有三个量，从不让一个代表另一个。Δtotal与先前工作一致。语法定义了生成的停止位置以及可输出的词元，因此Lee等人2026a（https://arxiv.org/html/2608.13959#bib.bib5）的受约束条件包含一个无约束条件没有的终止约束；其解码器端数值已是词汇掩蔽和终止的总和，是相对于既无掩蔽也无终止的基线测量的。222他们的无约束条件对生成不施加停止序列控制，这使得contract-free而非contract-short成为这里的对应条件。分离这两个组成部分正是他们未做的，也是本文的方法论贡献。

#### 语言，以及借鉴内容。掩蔽论点预测成本取决于语言，因为它取决于在掩蔽应用前模型在允许集外放置了多少概率。该量是Reddy等人2026（https://arxiv.org/html/2608.13959#bib.bib13）可行质量的补集；我们将其采纳为注册机制并声明不拥有其任何部分，且第2节（https://arxiv.org/html/2608.13959#S2）将其置于本文所处的多语言工具调用工作之间。由于我们的两种语言在相同项目上评估，可以在项目内提问：在两种语言在contract-short下都正确拒绝的项目中，约束是否破坏了更多韩语项目？它没有，质量也不能解释区分它们的因素，这作为否定结果报告。本文在任何地方都未声称绝对准确性；每个报告的量都是看到相同提示的条件之间的差异。

#### 贡献。
- •先前工作测量的对比规模——格式请求提示，然后在解码时执行语法——在它排除的函数调用拒绝设置中。Δtotal在拒绝上四个单元格为负值且区间不包含零（最差-29.5分），其余单元格无正值且区间不包含零的情况（§4（https://arxiv.org/html/2608.13959#S4））。
- •约束修复的是形式而非改进。在698个从错误变为正确的拒绝中，545个原本无可读答案，0个是已经表达判断但仅因评分者排序规则而失败的输出。其成本是独立的，并非修复的镜像：与自由生成相比，它也将决策边界向命名工具方向移动（§4（https://arxiv.org/html/2608.13959#S4））。
- •终止词元和枚举是符号相反的可分离组件，两条件设计将它们求和为单一数字，且它们几乎可以精确抵消：在一个单元格中-20.0、+19.5和-0.5（§3（https://arxiv.org/html/2608.13959#S3），§4（https://arxiv.org/html/2608.13959#S4））。
- •在掩蔽概率质量0.480 [0.320, 0.520]处存在断点，低于此值时它对项目惩罚无预测力，高于此值时预测力强。这扩展了Reddy等人2026（https://arxiv.org/html/2608.13959#bib.bib13）可行质量解释适用的范围，而非反驳它（§H（https://arxiv.org/html/2608.13959#A8））。
- •一个预注册的、项目内的、成本是否依赖语言的测试，使用配对集合，其中查询、黄金标签和提示格式跨语言相同，以掩蔽概率质量作为注册机制（§5（https://arxiv.org/html/2608.13959#S5））。
- •对设计所依据的MetaTool任务2配对的审计，包括已发布数据的四个影响其使用方式的特性，我们发现这些特性未被记录（§3（https://arxiv.org/html/2608.13959#S3），局限性）；第四个，答案在候选列表中的固定位置，在附注中量化（Lee 2026（https://arxiv.org/html/2608.13959#bib.bib6））。
- •一个已发布的测试工具，其中每个表格和图形都从原始的请求记录重新生成，并带有完整性检查，如果手稿中的数字无法从它们复现，则构建失败。

#### 最接近的先前发现，以及新增内容。第二个贡献有一个得出相似结论的前身。Zhou 2026（https://arxiv.org/html/2608.13959#bib.bib16）要求模型批判自身推理时强制执行反思模式，发现这并未改进自我纠正：智能体实现了近乎完美的表面符合性，而更深层的语义错误未被检测。他将此结构称为雪球效应，并归因于满足严格格式规则的认知负荷，将模型推入格式陷阱。获得了表面形式，但判断力未得，这也是本文报告的内容。表1：与第二个贡献最接近的先例。表1（https://arxiv.org/html/2608.13959#S1.T1）的最后一行是关键。他的认知负荷解释是对观察到的失败模式的假设机制，是作为解释而非测量提出。本文用一个可判定的量取代了其位置。统计每个修复输出在约束应用前的样子，将问题转化为算术：698个中的0个排除了判断存在但格式阻塞的解读，而修复最多的单元格中330个中的325个证实那里原本无可读输出。贡献不在于我们重复了他的结论；而在于他留作假设的机制在项目层面得到了裁决。

## 2 相关工作
#### 约束税现已在五处被测量，拒绝不在其中。Tam等人2024（https://arxiv.org/html/2608.13959#bib.bib14）表明要求格式会降低任务性能，随后四篇论文对此进行了分解。Lee等人2026a（https://arxiv.org/html/2608.13959#bib.bib5）按进入点分解了下降：大部分来自格式指令对提示的影响（平均-3.9分），较少来自解码器执行它（平均-1.6分），这一结论使执行看起来近乎免费。Ray 2026（https://arxiv.org/html/2608.13959#bib.bib12）在小于3B规模测量了这一权衡，发现模式有效性升至完全，但答案准确性下降，有效但错误回复的份额大致翻倍。Zhou 2026（https://arxiv.org/html/2608.13959#bib.bib16）发现强制反思模式获得了表面符合性但未改进自我纠正，并将此失败模式称为结构雪球效应。Li等人2026（https://arxiv.org/html/2608.13959#bib.bib8）发现JSON模式约束阻止了开源模型调用工具。这五项工作覆盖了推理准确性、模式有效性、自我纠正和工具调用。它们都未测量模型在拒绝是正确答案时是否仍然拒绝——这是工具名称枚举最可能移除、也是部署路由最不能丢失的行为。

#### 该机制已被形式化。Reddy等人2026（https://arxiv.org/html/2608.13959#bib.bib13）将掩蔽与重新归一化视为到可行集的KL投影，并表明它引入的失真由可行质量控制——在掩蔽应用前模型在允许集内放置了多少概率。本文在项目上测量的量masked\_mass是其补集：它是他们的构造应用于工具调用解码器，我们不声称拥有其任何部分。Lee 2025（https://arxiv.org/html/2608.13959#bib.bib4）提供了韩语中相同机制最近的实证着手点，尽管有所间接：他们在开放生成中禁止另一种文字系统的词元，发现朴素掩蔽比最小化失真的重新归一化导致质量更不稳定，但未测量质量本身。有一系列工作关于纠正这种失真而非测量它。Park等人2024（https://arxiv.org/html/2608.13959#bib.bib11）提出了问题：受约束解码器返回语法正确但似然与模型分配不按比例的输出，并给出了第一个校正；Loula等人2025（https://arxiv.org/html/2608.13959#bib.bib9）将其扩展到顺序蒙特卡洛。Dang等人2026（https://arxiv.org/html/2608.13959#bib.bib1）是近期条目，从另一端攻击相同的失真。他们关注的是局部约束解码器短视地掩蔽下一个词元，从而偏置采样，他们的补救是通过将自动机张量化使其在GPU上运行来构建全局约束提案，然后利用自动机与隐马尔可夫模型共享的电路结构来构建概率变体。我们测量了他们纠正的偏置在结果中变得足够大的位置：掩蔽质量与项目惩罚之间的关系是铰链形而非线形，在断点0.480 [0.320, 0.520]以下平坦，以上陡峭（§H（https://arxiv.org/html/2608.13959#A8））。对短视掩蔽的校正在此点以上有作用空间，以下作用甚微，这是他们的方法可以检验的预测，我们在此未检验。

#### 函数调用被宣布超出范围，原因很重要。Lee等人2026a（https://arxiv.org/html/2608.13959#bib.bib5）在第7节排除了函数调用，警告不要外推至约束编码正确性要求而非呈现偏好的场景——即排除表达答案的方式与排除答案的区别，第1节（https://arxiv.org/html/2608.13959#S1）已阐明。他们自己的边界标记了解码器贡献应最大的场景，也是部署路由运行的场景。

#### 拒绝是该区别发挥作用之处。有一篇论文确实触及了它，且不在上述五篇中——那些是着手测量约束成本的工作。Lee等人2026b（https://arxiv.org/html/2608.13959#bib.bib7）从另一面得出了成本，是在为小模型适配工具模式的过程中。