符号分支重复惩罚中的规范依赖与结构化输出损坏：跨模型、推理栈和替代重复控制的测量

arXiv:2607.09791v1 Announce Type: new 摘要：在LLM推理生态系统（HuggingFace、vLLM、llama.cpp以及其他十多种引擎）中广泛使用的乘法重复惩罚，其分支依赖于每个原始logit的符号（正数除以theta，负数乘以theta）。但由于softmax在给所有logit加上一个常数后保持不变，因此模型的logit零点位置是任意的，而符号分支正是读取了这个任意的零点。该符号分支本身是为了修复早期bug而采用的方案，因此这个被接受的修复方案分支依赖于训练目标中未加约束的量。这导致了两个可测量的后果。（1）该惩罚不是良定义的：以常数重新居中模型的logit在theta=1时是可证明的无操作，但在常规的theta=1.3时，它会改变58-96%的贪婪token，而减法惩罚和归一化惩罚则没有任何改变；真实检查点的零点位置差异很大，因此固定的repetition_penalty在每个模型上都是不同的操作。（2）它破坏了结构化输出：在200个真实世界的JSON模式上，theta=1.3将有效、符合模式的输出率从97%降至23%。在我们的测量中，将惩罚应用于归一化的log概率而非原始logit可以消除这两种影响。HuggingFace已经提供了该算子（LogitNormalization）；但目前默认是关闭的，并且在惩罚之后应用。本报告给出了机制、测量结果（在WikiText-103前缀上的五个模型（最高7B，包括基础和RLHF）；两个代码模型在HumanEval和JSONSchemaBench上；在vLLM和llama.cpp中通过它们自己的采样器对相同输入复现了这两种影响）以及归一化变体。

# 符号分支重复惩罚中的规范依赖与结构化输出破坏：跨模型、推理栈及替代性重复控制的测量
来源：https://arxiv.org/abs/2607.09791
参考文献工具

## 参考文献与引文工具

文献浏览工具 切换

代码、数据与媒体

## 与本文相关的代码、数据及媒体

演示

## 演示

相关论文

## 推荐器与搜索工具

IArxiv 推荐器 切换

关于 arXivLabs

## arXivLabs：与社区合作者的实验项目

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享 arXiv 新功能。

与 arXivLabs 合作的个人和组织都接受并认同我们的价值观：开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观，并仅与遵守这些价值观的合作伙伴合作。

有一个能为 arXiv 社区增添价值的项目想法吗？**了解更多关于 arXivLabs** (https://info.arxiv.org/labs/index.html) 的信息。