论文页面 - 分区、提示、聚合：语言模型中的统计自洽性

来源：https://huggingface.co/papers/2607.15277

摘要

上下文学习通常被解释为一种条件推理形式，其中提示指定了上下文，模型的输出被视为相应条件分布的估计值。如果这种解释成立，那么大语言模型（LLM）的估计应满足基本的概率恒等式。特别是，全概率公式断言，先验加权的条件分布在总体上的任意有效分区上聚合后，会得到总体层面的边际分布。本研究探讨了LLM估计在多大程度上遵循这一自洽性原则。我们使用二叉树作为评估支架，递归地将总体划分为粒度越来越细的子总体。然后，我们通过上下文向LLM提供口头化的子总体描述提示，将得到的估计聚合回总体层面的估计，并在不同粒度的分区之间进行比较。将该方案应用于多个问题领域和最前沿的模型，我们发现了一致性基本属性的广泛违反。对人物提示（persona prompting）的深入研究揭示了一种我们称之为宏观谬误的模式：从更细粒度子总体响应重建出的估计，往往比直接的总体层面估计更符合人类参考数据。这种效应在树结构和估计任务的变化中持续存在，并且可以通过隐式提示部分恢复。这些发现共同表明，模型拥有相关的子总体知识，但未能可靠地将其传播到聚合估计中。这一差距将统计自洽性确立为评估LLM的一个未饱和、无参考的标准。

查看 arXiv 页面 (https://arxiv.org/abs/2607.15277)
查看 PDF (https://arxiv.org/pdf/2607.15277)
GitHub (https://github.com/patrikwolf/statistical_self_consistency)
添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2607.15277)

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.15277，以便从此页面链接该模型。

引用此论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.15277，以便从此页面链接该数据集。

引用此论文的 Spaces0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.15277，以便从此页面链接该 Space。

包含此论文的合集0

没有合集包含此论文

请将此论文添加到一个合集 (https://huggingface.co/new-collection) 中，以便从此页面链接该论文。