论文页面 - 推理大模型中的序贯实验设计摊销

来源: https://huggingface.co/papers/2610.20832

摘要

大语言模型通过以信息增益奖励训练推理来学习自适应的信息收集，从而提升实验设计效率并实现跨任务泛化。

尽管大语言模型（LLM）拥有丰富的预训练知识和强大的推理能力，它们在实验设计任务中仍然难以自适应地收集信息。我们研究了如何将序贯贝叶斯实验设计（https://huggingface.co/papers?q=sequential%20Bayesian%20experimental%20design)（BED）摊销到 LLM 中，具体做法是使用信息增益奖励（https://huggingface.co/papers?q=information-gain%20rewards）来显式训练指导动作选择的推理过程。我们的方法将实验生成模型（https://huggingface.co/papers?q=generative%20model）的设定独立于 LLM 自身的信念，从而允许我们在自选的模型下优化期望信息增益（https://huggingface.co/papers?q=expected%20information%20gain）。我们考察了摊销（https://huggingface.co/papers?q=amortization）过程中的各种设计选择，包括替代的生成模型构造方式、奖励估计、假设空间设定、多步目标（https://huggingface.co/papers?q=multi-step%20objectives），以及相对于训练时和推理时 BED 基线的计算成本。在二十问游戏（https://huggingface.co/papers?q=Twenty%20Questions）上，所得到的策略提升了信息获取能力和任务性能，以显著更低的计算成本超越了推理时和训练时的 BED 基线，并能泛化到未见过的类别。我们进一步展示了从二十问游戏训练到 Medi-Q（https://huggingface.co/papers?q=Medi-Q)（一个真实世界临床对话基准）的正迁移。这些结果表明，信息收集可以作为 LLM 中一种可泛化的推理技能来学习。

查看 arXiv 页面 (https://arxiv.org/abs/2610.20832)查看 PDF (https://arxiv.org/pdf/2610.20832)GitHub2 (https://github.com/anitakriz/ar-bed)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.20832)

在你的 agent 中获取这篇论文：

hf papers read 2610\.20832

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型关联本文。

在模型 README.md 中引用 arxiv.org/abs/2610.20832 即可从本页面链接到该模型。

引用本文的数据集 0

没有数据集关联本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.20832 即可从本页面链接到该数据集。

引用本文的 Space 0

没有 Space 关联本文。

在 Space README.md 中引用 arxiv.org/abs/2610.20832 即可从本页面链接到该 Space。

包含本文的合集 0

没有合集包含本文。

将本文加入合集 (https://huggingface.co/new-collection) 即可从本页面链接到该合集。