论文页面 - Jev 中的跨原语一致性

来源：https://huggingface.co/papers/2610.38623 发表于 10 月 28 日

·

提交者：https://huggingface.co/67L11

Xu (https://huggingface.co/67L11)于 11 月 3 日提交

摘要

通过一种残差校准器，对 Jev 的跨原语一致性进行基准评估并加以改进，该校准器能够减少不一致性并提高决策准确率。

Jev 通过类型化查询原语 (https://huggingface.co/papers?q=typed%20querying%20primitives) 实现基于大语言模型 (LLMs) 的高效决策，使同一语义状态能够以不同格式表达，例如二元查询和多项选择查询。然而，不同原语之间的决策一致性尚未得到系统评估。本研究提出了 PrimaCons (https://huggingface.co/papers?q=PrimaCons)，这是一个四轴基准，用于在保持查询语义不变的同时评估跨原语一致性 (https://huggingface.co/papers?q=cross-primitive%20consistency)。对三种规模的 Jev 进行评估后发现，所有四个轴上都存在一致性违例。我们的分析表明，这些违例呈现系统性模式，并且跨原语差异能够预测决策失败，其 ROC-AUC (https://huggingface.co/papers?q=ROC-AUC) 达到 0.91。为缓解这些不一致性，我们提出了跨原语残差校准器 (https://huggingface.co/papers?q=Cross-Primitive%20Residual%20Calibrator) (CPRC)，它在冻结的骨干网络 (https://huggingface.co/papers?q=frozen%20backbone) 上附加一个轻量级残差网络 (https://huggingface.co/papers?q=residual%20network)，并联合优化预测准确率和跨原语一致性 (https://huggingface.co/papers?q=cross-primitive%20consistency)。在留一域评估协议下，CPRC 将跨原语不一致性降低了 58.57%，并将准确率提高了 +2.97%，证明了其在域内和域外场景中的有效性。我们的研究结果确立了跨原语一致性 (https://huggingface.co/papers?q=cross-primitive%20consistency) 作为评估 Jev 的关键维度，并提供了一种提高其决策可靠性的实用方法。代码和基准可在 https://github.com/67L1/PrimaCons (https://huggingface.co/papers?q=PrimaCons)-CRPR 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2610.38623)查看 PDF (https://arxiv.org/pdf/2610.38623)GitHub0 (https://github.com/67L1/PrimaCons-CRPR)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.38623)

在你的智能体中获取这篇论文：

hf papers read 2610\.38623

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.38623，即可从此页面建立关联。

引用这篇论文的数据集0

没有数据集关联这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.38623，即可从此页面建立关联。

引用这篇论文的 Spaces0

没有 Space 关联这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.38623，即可从此页面建立关联。

收录这篇论文的合集0

没有合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面建立关联。