论文页面 - 当许多答案都有效时，投票会失败：LLM 中 Best-of-K 因果推理的符号验证

来源：https://huggingface.co/papers/2608.03506

摘要

自洽性假设采样推理轨迹中出现频率最高的答案最为可靠，但在因果推理中这可能失效：样本往往重复相同的混淆误差，而投票会分散到多个有效答案上，导致尽管存在有效的少数轨迹，无效答案仍可能获胜。我们提出了 CALVER（Causal Axiom-Level VERification，因果公理级验证），一种免训练的符号验证器，它根据 Pearl 的因果准则（包括 d-分离、后门调整和干预）对结构化轨迹进行评分，并在不参考参考答案的情况下选出得分最高的候选。在 CLEAR 上允许存在多个图有效答案的 find-one-valid 查询中，CALVER 达到了 42.1%，而在相同的固定池上，多数投票、奖励模型、LLM 评审和模型置信度仍保持在 30% 左右。将评审模型扩展到 72B 也没有缩小这一差距。在经审计的干净核心子集中，CALVER 选出的 21 个图有效答案中有 11 个不同于基准测试列出的答案，但仍满足所要求的谓词。这一优势随着采样预算的增加而扩大，并在十个已发表的贝叶斯网络、第二个模型系列以及模型必须从文本构建图的设置中重现。CALVER 还改进了基于精确真值的阈值化平均处理效应决策，在真值表检查器下泛化到逻辑推理，并能在 CPU 上以毫秒级时间为每个候选评分。CALVER 只需要一个因果结构，既可直接提供，也可从文本中构建；只要满足这一条件，就可以通过因果有效性进行选择聚合。

查看 arXiv 页面 (https://arxiv.org/abs/2608.03506) 查看 PDF (https://arxiv.org/pdf/2608.03506) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.03506)

在您的 agent 中获取此论文：

hf papers read 2608\.03506

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.03506，即可从此页面链接到该模型。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.03506，即可从此页面链接到该数据集。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.03506，即可从此页面链接到该 Space。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接到该收藏集。