使用概率程序训练大型语言模型的归纳推理

# 使用概率程序训练大语言模型的归纳推理  
来源：https://arxiv.org/html/2606.09856  

Liyi Zhang  
计算机科学系  
普林斯顿大学  
zhang\.liyi@princeton\.edu  

&Akshay K\. Jagadish  
普林斯顿人工智能实验室  
普林斯顿大学  
akshay\.jagadish@princeton\.edu  

&Brenden M\. Lake  
心理学与计算机科学系  
普林斯顿大学  
brenden@princeton\.edu  

&Thomas L\. Griffiths  
心理学与计算机科学系  
普林斯顿大学  
tomg@princeton\.edu  

###### 摘要  

大语言模型（LLM）的后训练推理通常聚焦于数学和编程等演绎任务，这些任务中正确性可验证。然而，许多现实世界的推理问题是归纳性的：智能体必须从稀疏、模糊的观测中推断出不确定的信念。标准的微调方法在归纳推理上面临挑战，包括难以策划大规模、高质量的标注数据集，以及处理本质上是分布式的目标。在这项工作中，我们提出了一种名为“基于程序的后验训练”（PPT）的新方法来解决这些限制：我们利用LLM生成多样化的开放世界场景，并将其转化为概率程序，运行概率推理以生成分布式的目标响应，然后对这些概率软标签进行微调。通过这种方法，我们在10000个程序化生成的场景上微调LLM，并在预留的推理结构、人工标注判断和外部基准上进行评估。总体而言，PPT显著提高了预留归纳任务上的估计准确性，增强了与人类判断的对齐，并迁移到用于估计和校准的外部基准。此外，原始校准上的提升并未被事后温度缩放所涵盖，表明模型相比输出重缩放更深入地内化了不确定性。这些结果共同表明，概率程序介导的微调是一种有前景的方法，可用于后训练LLM以可靠地执行近似的归纳推理。

## 1 引言

大语言模型（LLM）在推理任务上取得了快速进展，特别是在数学和编程等领域（Wei等，2022 (https://arxiv.org/html/2606.09856#bib.bib6)；Chen等，2021 (https://arxiv.org/html/2606.09856#bib.bib2)）。这些领域主要涉及演绎问题：模型期望通过一系列逻辑、确定性的中间步骤推导出正确答案。然而，许多现实世界的推理问题是归纳性的而非演绎性的（Griffiths等，2008 (https://arxiv.org/html/2606.09856#bib.bib22)；Tenenbaum等，2011 (https://arxiv.org/html/2606.09856#bib.bib17)）。人们通常从有限的证据中推断更广泛的模式，并在相关潜在因素仅部分可观测的情况下做出预测（Griffiths等，2008 (https://arxiv.org/html/2606.09856#bib.bib22)）。科学推理、预测、诊断和日常决策需要从稀疏且嘈杂的数据中得出不确定的结论。这需要从噪声观测中推断潜在量，并做出校准的预测（Blei，2014 (https://arxiv.org/html/2606.09856#bib.bib20)；Bishop，2006 (https://arxiv.org/html/2606.09856#bib.bib21)）。训练LLM执行归纳推理具有挑战性，因为高质量标注数据难以获取，且底层问题往往本质上是概率性的，导致需要表示不确定性的答案。可以收集人类判断，但成本高昂，且难以扩展到需要归纳的多样化开放世界场景。直接要求更强的LLM标注此类场景具有可扩展性（Jagadish等 (https://arxiv.org/html/2606.09856#bib.bib33)；Jagadish等，2025 (https://arxiv.org/html/2606.09856#bib.bib32)），但可能继承它们的偏差和错误（Chhikara，2025 (https://arxiv.org/html/2606.09856#bib.bib8)）。此外，现实世界的概率推理任务通常缺乏已知的潜在变量或校准的后验目标。为了更好地训练LLM执行归纳推理，我们需要足够丰富的自然语言问题，使其类似于开放世界的归纳推理，但又具有基于良好定义概率模型的标签。在这里，我们通过开发一种方法来策划大规模的自然语言归纳推理数据，从而弥补这一差距。概率程序可以在开放世界自然语言与精确假设和监督之间建立桥梁。LLM可用于提出多样化的场景并将其转化为结构化的生成模型（Rmus等，2025 (https://arxiv.org/html/2606.09856#bib.bib3)），而概率推理提供了比直接LLM标签更扎实的训练目标。我们引入了一种用于微调LLM的归纳推理数据集的可扩展生成流程（图1 (https://arxiv.org/html/2606.09856#S1.F1)）。受模型合成架构（MSA）的启发（Wong等，2025 (https://arxiv.org/html/2606.09856#bib.bib1)），我们的方法通过顺序提示过程从多样化的开放世界问题中生成微调数据：(1) 从强大的闭源LLM合成场景；(2) 利用LLM生成概率程序来描述这些场景；(3) 运行概率推理（或前向模拟）以计算相关变量上的后验分布。然后，我们将这些后验分布作为微调的目标。通过这一流程，我们创建了超过10,000个独特的开放世界场景，包含超过50,000个查询，并基于所得数据微调LLM。随后，我们在预留的归纳任务上评估所得模型，与体育领域的人类判断进行比较，并在外部基准上测量准确性和校准。

参考图注
图 1：从数据生成到LLM微调的工作流程。三步顺序提示过程为合成的自然语言场景生成Pyro中的概率程序。运行这些程序以生成（场景、查询、后验答案）元组。这些元组用于微调LLM。右下角的图显示，所得流程程序在相同场景上与MSA生成的开源程序产生对齐的结果。

我们的方法允许我们在自然语言归纳推理问题上训练模型，这些问题的潜在结构和不确定性被显式表示。我们发现，这种方法提高了预留推断结构上的估计准确性，增加了与人类判断的一致性，改善了几个迁移基准上的表现，并带来了更好的原始校准，同时与事后温度缩放互补。这些结果表明，概率程序介导的数据策划是训练LLM近似归纳推理的一个有前景的方向。总之，我们做出以下贡献：

- • 我们研究了大语言模型是否可以通过微调来改进*归纳推理*——从稀疏的自然语言观测中推断不确定的潜在属性和预测——而不是确定性的演绎推理。
- • 我们创建了一个包含超过10,000个自然语言归纳推理场景的数据集，并具有基于概率的监督。为此，我们使用了MSA的可扩展扩展，生成开放世界场景，合成这些场景的概率程序，并运行概率推理以产生微调目标。
- • 我们在预留的推理结构和人类判断上微调LLM并评估，显示出在未见过的推断结构上估计准确性提升以及与人类判断更强的对齐。
- • 我们通过展示在概率标签跨度上的微调优于1) 直接调用更强的闭源LLM；2) 仅在同一分布的均值上微调，来证明这些原则性概率标签的有效性。
- • 我们评估了七个基准上的迁移和校准，展示了在OpenEstimate（Marzoev等，2026 (https://arxiv.org/html/2606.09856#bib.bib15)）和六个多项选择基准（Sakaguchi等，2021 (https://arxiv.org/html/2606.09856#bib.bib29)；Hendrycks等，2021 (https://arxiv.org/html/2606.09856#bib.bib30)；Lin等，2022 (https://arxiv.org/html/2606.09856#bib.bib31)；Zellers等，2019 (https://arxiv.org/html/2606.09856#bib.bib34)；Clark等，2018 (https://arxiv.org/html/2606.09856#bib.bib35)；Qiu等，2026 (https://arxiv.org/html/2606.09856#bib.bib14)）上的改进，以及校准的提升，该提升与温度缩放等事后方法互补（Guo等，2017 (https://arxiv.org/html/2606.09856#bib.bib24)）。

## 2 相关工作

LLM中的归纳推理。归纳推理长期以来被视为对结构化生成模型的概率推理（Griffiths等，2008 (https://arxiv.org/html/2606.09856#bib.bib22)；Lake等，2015 (https://arxiv.org/html/2606.09856#bib.bib11)），且越来越多的研究关注LLM是否能执行此类推理。Wong等（Wong等，2023 (https://arxiv.org/html/2606.09856#bib.bib16)）探索了理性意义构建，其中LLM将自然语言转换为遵循思维语言传统的概率程序（Tenenbaum等，2011 (https://arxiv.org/html/2606.09856#bib.bib17)；Goodman等，2014 (https://arxiv.org/html/2606.09856#bib.bib18)）。Wang等（Wang等，2024 (https://arxiv.org/html/2606.09856#bib.bib9)）将归纳推理表述为假设搜索，其中LLM提出自然语言假设并将其转换为确定性Python程序，然后针对示例进行验证。Yang等（Yang等，2024b (https://arxiv.org/html/2606.09856#bib.bib10)）评估了LLM作为基于自然语言事实和规则的归纳推理器。

概率程序与LLM。近期一些工作将LLM与推理时的概率程序相结合。Wu和Goodman（Wu和Goodman，2022 (https://arxiv.org/html/2606.09856#bib.bib12)）训练了用于概率程序的神经摊销推理网络。Wong等（Wong等，2025 (https://arxiv.org/html/2606.09856#bib.bib1)）提出的模型合成架构（MSA）通过使用LLM从自然语言场景合成用WebPPL编写的任务特定概率模型（Goodman和Stuhlmüller，2014 (https://arxiv.org/html/2606.09856#bib.bib28)）来解决开放世界归纳推理。给定稀疏观测x\\bm\{x\}，目标是通过推断潜在变量z\\bm\{z\}来回答查询y\\bm\{y\}。概率模型指定了分布

pθ\(z,x,y\)=pθ\(z\)pθ\(x∣z\)pθ\(y∣z,x\)， (1)

并且推理需要计算后验量，例如

pθ\(z∣x\) ∝ pθ\(z\)pθ\(x∣z\) (2)

pθ\(y∣x\) = ∫ pθ\(y∣z,x\) pθ\(z∣x\) dz。 (3)

给定一个场景，一系列提示引导LLM用概率程序表示它。LLM首先识别相关的潜在因素、观测和查询变量，然后编写一个WebPPL概率程序来编码它们的生成关系。运行该概率程序以获得关于z\\bm\{z\}和y\\bm\{y\}的后验估计。因此，LLM提供了开放世界知识，而概率程序形式化了精确含义，促进了连贯的后验推理。

使用概率模型微调LLM。一系列工作表明，自回归建模可以支持隐式贝叶斯推理（Xie等，2022 (https://arxiv.org/html/2606.09856#bib.bib4)；Zhang等，2025 (https://arxiv.org/html/2606.09856#bib.bib5)），这激发了使用概率模型作为LLM训练信号。近期工作已开始探索这一方向。Hu等（Hu等，2024 (https://arxiv.org/html/2606.09856#bib.bib13)）通过GFlowNets微调LLM，以从潜在思考链上的难解后验中进行采样。Hollman等（Hollmann等，2025 (https://arxiv.org/html/2606.09856#bib.bib19)）使用概率模型训练transformer填补表格数据中的缺失值。Qiu等（Qiu等，2026 (https://arxiv.org/html/2606.09856#bib.bib14)）微调LLM以模仿航班推荐任务中手工编码的贝叶斯助手，并展示了向结构相似推荐任务的迁移。他们的监督目标是在每轮中给出助手的点推荐。我们的方法对此进行了显著扩展：为每个开放世界场景合成不同的概率程序，使用完整后验作为软标签，并评估跨异构推理结构和外部基准的迁移。

LLM中的不确定性校准。LLM输出的校准已通过提示和事后调整两种方式进行了研究。Chhikara等（Chhikara，2025 (https://arxiv.org/html/2606.09856#bib.bib8)）记录了当前LLM中持续存在的过度自信和干扰效应。Tian等（Tian等，2023 (https://arxiv.org/html/2606.09856#bib.bib25)）建立了模型可以被提示生成校准良好的言语化信心；Shen等（Shen等，2024 (https://arxiv.org/html/2606.09856#bib.bib23)）提出了Thermometer，一种跨任务改善校准的事后方法。事后温度缩放（Guo等，2017 (https://arxiv.org/html/2606.09856#bib.bib24)）仍然是标准参考基线。这些方法监督或调整现有答案分布上的元置信度。我们采取不同方法：不是调整元置信度，而是用贝叶斯后验监督答案分布。由此产生的校准改进与温度缩放相容，这表明它改变了模型的原始不确定性表示，而不仅仅是对输出进行重缩放。

## 3 基于程序的后验训练

参考图注
(a) 场景与查询文本。
(b) LLM后验与程序推断后验（真实值）。
图 2：基于程序的后验训练的效果。(a) 示例预留场景与查询。(b) 基础LLM和基于概率程序数据微调的LLM（Llama3-8B-Instruct）在答案令牌概率上的后验。蓝色虚线是程序推理结果，视为真实值。场景前附加了一段文本（见附录A.1节 (https://arxiv.org/html/2606.09856#A1.SS1)），指示LLM将Q3和Q4估计为0-100尺度，数字越小表示Team 1更可能获胜。LLM后验与程序后验更相似。

我们的目标是构建具有概率化监督的自然语言归纳推理数据，然后用这些数据微调LLM。为此，我们提出了基于程序的后验训练（PPT）流程，如图1 (https://arxiv.org/html/2606.09856#S1.F1)所示。数据生成阶段分三步进行。首先，利用LLM生成多样化的自然语言场景和查询。其次，调用LLM将每个场景转换为Pyro（Bingham等）中的概率程序。