论文页面 - Jev 风格的类型化决策模型中，标签优先于定义

来源：https://huggingface.co/papers/2610.02586

摘要

类型化决策模型（typed decision model）针对一个输入回答一个固定的问题，为调用方定义的多个选项各自返回一个概率。每个选项带有一个简短的标签（label）和一段书面定义（definition），开发者正是在定义中说明模型应遵循的规则。Jev 为路由（routing）、内容审核（moderation）和分流（triage）引入了这一接口，开源实现随之出现；而当语言模型通过给标签字符串打分来充当分类器时，同样的操作也会发生。我们研究了这些开源实现——其权重可以检查和修补——并追问：概率究竟遵循的是定义还是标签？我们将这种对标签的偏好称为选项标签偏差（option-label bias）。在四个开源类型化决策模型、三种从 Qwen2.5 骨干网络读取答案的方式、十一个分类任务，以及我们提出的合成路由测试集 PolicyBench（其中规则只出现在定义里）上，答案大体上取决于标签。删除所有定义不会改变准确率（laya-td 为 0.8559，对比 0.8487），尽管这些定义单独使用时可支持 0.7971；而将选项重命名为 A 和 B 会使准确率提升 +0.1511 [+0.1377, +0.1646]。有一个系统 von 不受影响，两个代码库只在一处表达式上不同：laya 将每个选项写成「{label}:{definition}」，而 von 只写定义。在两个方向上修改这一表达式、不改动任何权重，就能使 laya 的所有三个检查点完全不变（+0.0000 [+0.0000, +0.0000]），并在 von 中制造出该效应——当某个标签与其定义矛盾时，von 的准确率从 0.8511 跌至 0.2281。先前的工作将这一失败归因于这些模型用来替代文本解码器的受限决策头（constrained decision head）；我们的结果将原因定位在提示词的渲染（prompt rendering）上。我们提供了一个双次调用（two-call）测试，帮助从业者判断他们的模型属于哪种情况，并评估了四种缓解措施的价值。

查看 arXiv 页面 · 查看 PDF · 加入收藏

在你的 agent 中获取这篇论文：

hf papers read 2610.02586

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型：0

没有模型关联到这篇论文。

在模型的 README.md 中引用 arxiv.org/abs/2610.02586，即可从本页链接过去。

引用本文的数据集：0

没有数据集关联到这篇论文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.02586，即可从本页链接过去。

引用本文的 Space：0

没有 Space 关联到这篇论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.02586，即可从本页链接过去。

包含本文的合集：0

没有合集包含这篇论文。

将本文加入合集，即可从本页链接过去。