用于测量推理优化如何影响输出质量的校准工具

arXiv:2609.18005v1 公告类型：新 摘要：大语言模型优化是一个活跃的研究领域，涵盖模型权重量化、用于跳层的早期退出方法和推测解码。每个领域使用自己的质量度量，通常是独特的基准分数。很少有方法达到其他科学学科所需的测量精度。 我们提出了一种严格的输出质量测量方法，适用于跨系统和技术的比较。我们使用LLM作为评判者来评分输出，但正式校准评判者：我们比较其在相同提示下对模型两次普通运行的分数，验证其在统计上等效的输出之间没有系统性偏好，并测量其每样本噪声。每个设计还包括一个‘零’条件，可证明其分布与未修改模型相同，其测量差异必须为零。 使用这一工具，我们在相同提示上测量了几种加速技术，以便比较它们的质量成本。感知质量被证明高度依赖于话语领域。4位模型与其16位原始版本在我们的设计分辨率+/-0.3分内无法区分，无论是英文散文还是中文。在3位精度下，相同提示在英文散文中损失0.5分，在中文中损失0.9分，在多步数学中损失1.1分；早期退出在散文中损失0.7分，在数学中损失2.5分，将正确解决的问题从27个中的19个减少到6个。这一模式适用于来自Alibaba和Meta的模型，但幅度不同：相同的量化器为Meta的模型损失1.8分，而为Alibaba的损失0.7分。 模型对令牌的确定性预测了它与完整模型选择不同的可能性，但不能预测这种差异对评判质量的影响程度，因此依赖于确定性的接受规则无法区分重要的错误和不重要的错误。

# 衡量推理优化对输出质量影响的校准工具
来源：https://arxiv.org/abs/2609.18005
文献工具

## 文献与引用工具

文献浏览器切换

代码、数据、媒体

## 本文关联的代码、数据与媒体

演示

## 演示

相关论文

## 推荐与搜索工具

关于 arXivLabs

## arXivLabs：与社区协作者共同推进的实验性项目

arXivLabs 是一个框架，允许协作者直接在我们的网站上开发和分享新的 arXiv 功能。

所有使用 arXivLabs 的个人和组织均已认同并接受我们关于开放、社区、卓越与用户数据隐私的价值观。arXiv 坚守这些价值观，仅与遵循这些价值观的合作伙伴开展协作。

有一个能为 arXiv 社区带来价值的项目构想？**了解更多关于 arXivLabs 的信息** (https://info.arxiv.org/labs/index.html)。