一致性先于多样性：异构语言模型协调中的验证优先互补性

arXiv cs.AI 论文
language-model-ensembles verification-first coordination decision-rule arxiv benchmark

摘要

本文提出了Agreement-Before-Diversity（ABD）——一种用于异构语言模型集成的无标签决策规则，给出了理论恒等式，并在LiveCodeBench和GPQA-Diamond上取得了实证提升。

arXiv:2608.04618v1 公告类型：新 摘要：异构语言模型集成扩展了候选响应的空间，但缺乏一个原则性的标准来判断新生成的答案何时应取代已被支持的答案。我们将候选答案的提升空间与替换权限解耦，使后者成为一个显式、可审计的对象。我们提出的方法Agreement-Before-Diversity（ABD）是一种冻结的、无标签的决策规则：如果两个额外的可信样本在固定等价关系下佐证了某个锚定答案，则保留该答案；否则，用异构合成结果将其替换。针对这一门控机制，我们证明了两个精确恒等式。第一个恒等式表明，相对于无条件合成的准确率差距由一致性覆盖率和锚定答案在受保护子集上的优势共同决定。第二个恒等式表明，相对于从不合成的差距反映了授权恢复与授权破坏之间的对比。这两个恒等式都不假设独立性或校准置信度，其期望推理成本约为调用次数的8减5倍覆盖率。在盲法、精确ID评估下，ABD在完整LiveCodeBench-v6上达到59.43%（Single9为52.57%，HAC为52.00%；n=175），在未改动的GPQA-Diamond划分上达到75.00%（两个对照均为72.78%；n=180）。此外，这些恒等式将所有总体差异定位到可枚举的受保护层：在LiveCodeBench的3个受保护案例中没有出现不一致项，覆盖率先验地将门控贡献限制在1.71个百分点；在GPQA-Diamond的132个案例中，不一致案例为13对8；在冻结锚定扰动下的71个案例中，不一致案例为12对0。多样性提供潜力；验证结构提供权威。
查看原文
查看缓存全文

缓存时间: 2026/08/06 07:42 

# 先一致后多样：异构语言模型协同中的验证优先互补性
Source: https://arxiv.org/abs/2608.04618
[查看 PDF](https://arxiv.org/pdf/2608.04618)

> 摘要：异构语言模型集成扩展了候选响应的空间，但缺乏一个原则性准则来判断新生成的答案何时应取代已被支持的答案。我们将候选答案的提升空间与替换授权解耦，使后者成为一个显式、可审计的对象。我们提出的方法 Agreement-Before-Diversity（ABD）是一种冻结的无标签决策规则：如果两个额外的可信样本在固定等价关系下佐证了锚定答案，则保留该锚定答案；否则，它将被异构合成所替换。针对这一门控机制，我们证明了两条精确恒等式。第一条表明，相对于无条件合成的准确率差距由一致性覆盖率与锚定者在受保护子集上的优势共同决定。第二条表明，相对于从不合成的差距，反映了授权恢复与授权破坏之间的对照。两条恒等式均不假设独立性或校准置信度，且期望推理成本（以调用次数计）约为 8 − 5×覆盖率。在盲评、精确 ID 评估下，ABD 在完整 LiveCodeBench-v6 上达到 59.43%（Single9 为 52.57%，HAC 为 52.00%；n = 175），在未接触过的 GPQA-Diamond 数据划分上达到 75.00%（两个对照组均为 72.78%；n = 180）。此外，这些恒等式将每个聚合差异定位到可枚举的受保护层：在 LiveCodeBench 的 3 个受保护案例中未出现不一致项，覆盖率先验地将门控的贡献限制在 1.71 分以内；在 GPQA-Diamond 的 132 个案例中，不一致案例数为 13 对 8；在冻结锚定扰动下，71 个中为 12 对 0。多样性提供潜力；验证结构提供权威。

## 提交历史

来自：Binjie Guo [查看邮件](https://arxiv.org/show-email/dc712e73/2608.04618) **\[v1\]** 2026年8月5日星期三 09:24:39 UTC（1,090 KB）

相似文章

哪些模型协同效果更好？面向 LLM 团队选择的异质性度量

arXiv cs.CL

该论文提出一种以异质性为驱动的框架，用于挑选互补的 LLM 团队：先通过分析误差去相关性与预测分歧来构建模型画像，再采用贪心算法优化“质量–互补性”目标，实验表明该方法在多个基准上优于仅按质量排序的 top-k 基线。

多样性注入的位置至关重要：面向多样化生成的统一框架

arXiv cs.CL

本文提出了一个用于大型语言模型测试时多样化生成的统一框架，根据多样性注入的位置（表面级 vs. 规范级）对方法进行分类。它提出了规范级方法，首先生成多样化的中间规范，然后基于这些规范生成最终响应。在五个开放任务和四个骨干模型上，规范级注入在保持质量的同时提升了输出多样性。