别让我主动索取：大语言模型在溯因推理的主动多轮信息获取中存在不足

# 别让我自己去问：LLM在溯因推理的主动多轮信息获取中表现出不足

来源：https://arxiv.org/html/2608.03388  
第一作者单位 / 地址行1  
单位 / 地址行2  
单位 / 地址行3  
email@domain  
&第二作者单位 / 地址行1  
单位 / 地址行2  
单位 / 地址行3  
email@domain  

Shahrukh Mohiuddin¹, Chalamalasetti Kranti¹†, Sherzod Hakimov¹, David Schlangen¹,²  
¹计算语言学，语言学系，德国波茨坦大学  
²德国人工智能研究中心（DFKI），德国柏林  
{shahrukh.mohiuddin, kranti.chalamalasetti, sherzod.hakimov, david.schlangen}@uni-potsdam.de  

###### 摘要

溯因推理要求形成能够解释已观察证据的假设，并在新证据出现时对其进行修正。虽然大语言模型（LLMs）在溯因推理任务上是否被正确解决方面经常受到评估，但关于它们如何获取证据、更新假设以及决定何时停止，我们所知甚少。我们引入了 *Alien Abduction* 游戏，一个用于在不同交互模式下研究这些行为的交互式探针。这些模式在证据是提前提供还是跨回合提供，以及查询是由模型选择还是由神谕提供示例方面有所不同。在多种模型中，提前提供证据比跨回合提供证据带来更高的成功率。在多轮设置中，一些模型在使用可用证据之前就做出承诺，而另一些模型则在未收敛的情况下耗尽了回合预算。当示例由神谕提供时，模型的成功率也高于自己选择查询时，尽管它们最终的假设与自己所选证据的一致性更高。这些发现表明，模型可能会形成符合自选证据的假设，但没有充分将其与替代假设区分开来，并且可能难以验证和细化其假设或确定何时停止。

## 别让我自己去问：LLM在溯因推理的主动多轮信息获取中表现出不足

Shahrukh Mohiuddin¹††感谢：两位作者贡献相同。，Chalamalasetti Kranti¹†，Sherzod Hakimov¹，David Schlangen¹,²  
¹计算语言学，语言学系，德国波茨坦大学  
²德国人工智能研究中心（DFKI），德国柏林  
{shahrukh.mohiuddin, kranti.chalamalasetti, sherzod.hakimov, david.schlangen}@uni-potsdam.de  

## 1 引言

一个事实引出另一个——于是我们继续。下一个与它吻合吗？太棒了！好！我们可以继续。这下一个小小的事实——不！啊，真奇怪！这里缺了点什么——链条中有一环不在了。我们检查。我们搜寻。而这个奇怪的小事实，这个可能微不足道但无法吻合的细节，我们把它放在这里！——阿加莎·克里斯蒂，《斯泰尔斯庄园奇案》¹¹¹https://www.gutenberg.org/cache/epub/863/pg863-images.html#chap04。

图1：*Alien Abduction* 概览。游戏管理员隐藏一个目标 Python 函数 f，并通过黑盒协议与 LLM 交互。在所示的活动输出模式下，模型提出测试输入，接收相应的输出，并最终以 Python 代码形式提交最终假设。提交的假设随后在保留测试用例上针对隐藏目标函数进行评估。

从特定观察中识别潜在规则的能力是智能的标志：它在认知科学中已被长期研究（Wason, 1960；Bruner, 2017），是人类智商测试的标准组成部分，也是科学发现的核心。在可追溯到皮尔士（Peirce, 1934）的人类探究描述中，这种发现不是单一的推理步骤，而是一个循环：从观察中形成候选解释（溯因），推导该解释的预测（演绎），并根据新证据对其进行修正（归纳）。（He et al., 2025；Yin et al., 2026）。LLM 现在在许多推理基准上表现强劲（Lewkowycz et al., 2022；Team, 2024；Zhang et al., 2024），但这些基准通常预先提供所有信息，并评估单一的、非交互式的答案，而且往往是在可能已出现在其训练语料库中的数据上进行评估（Ballocu et al., 2024；Oren et al., 2024；Cheng et al., 2025）。因此，它们无法告诉我们一个模型是否能够：决定要收集哪些证据，形成对证据的解释，并在承诺之前测试该解释。这种能力在实践中很重要，因为 LLM 越来越多地作为智能体被部署，必须通过交互而不是规格说明来处理不熟悉的环境、工具和 API。

有几条工作线解决了这个问题的部分内容。交互式程序合成基准允许智能体查询隐藏函数并细化候选程序（Wei et al., 2025；Lee et al., 2025）；归纳推理基准研究从提供的示例或主动查询中发现规则（Honovich et al., 2023；Sun et al., 2024；Yan et al., 2025；Chari and Pattanaik, 2026），而代码基准则根据明确的规格说明生成代码或对可见程序进行推理（Chen and others, 2021；Austin et al., 2021；Gu et al., 2024；Xu et al., 2025）。黑盒推理环境将隐藏规则发现扩展到更广泛的领域（He et al., 2025；Yin et al., 2026；Chen et al., 2025）。然而，这些设置并没有共同变化谁选择证据以及反馈所采取的形式。现有的主动和被动证据收集比较仅使用精确输出（Geng et al., 2025），留下了二元判定和不一致证据的作用不太清晰。此外，评估侧重于最终答案的正确性，而没有测试模型的中间假设是否与其收集到的证据保持一致。因此，自主探索、负面证据和假设基础化的影响仍未得到充分探索。

我们引入了 *Alien Abduction*，一个多轮游戏，其中模型必须仅从函数签名和有限的回合预算中重建一个隐藏的 Python 函数；提交的结果在沙箱中针对保留测试用例执行（图1）。四种交互游戏模式控制了证据由谁控制（主动与被动）及其形式（精确输出与针对所提出的输入-输出对的成员判定）；两种单轮模式用作非交互式基线。这种设计衡量了自主探索的效果，测试模型是寻求不一致的证据还是仅仅寻求确认性证据，并根据观察到的证据对提交结果进行一致性评分。目标涵盖五个领域：数字、数字对、字符串、列表和布尔逻辑。

我们的贡献是：(a) 一个黑盒函数归纳基准游戏，具有六种交互模式，变化证据控制（主动与被动）和证据类型（精确输出与成员判定）；(b) 一套 50 个自动生成并验证的目标函数，涵盖五个领域；(c) 一个沙箱评估协议，包含任务成功率、回合预算使用和回合级假设分析；(d) 一项覆盖商业和开源权重模型的实证研究。

## 2 相关工作

#### 代码生成与代码理解。
HumanEval（Chen and others, 2021）和 MBPP（Austin et al., 2021）评估模型是否能够从自然语言描述生成 Python 函数，并通过单元测试进行验证；后续工作探索了程序合成的架构和训练（Nijkamp et al., 2023；Zheng et al., 2023）。相比之下，CRUXEval（Gu et al., 2024）及其多语言扩展 CRUXEval-X（Xu et al., 2025）通过输入和输出预测来测试对可见程序的推理。在这两类任务中，任务都是完全指定的：行为被描述或代码被展示。而在 *Alien Abduction* 中，两者都不可用；行为必须在编写代码之前被推断出来。

#### 从示例中进行归纳推理。
Instruction Induction（Honovich et al., 2023）要求模型用自然语言从输入-输出示例中描述隐藏规则；ItD（Sun et al., 2024）通过在列表函数任务上利用演绎来提高归纳能力；MIR-Bench（Yan et al., 2025）将该设置扩展到数百个示例上的多示例模式识别。在所有这些工作中，证据集都是固定的。超越静态观察，Chari 和 Pattanaik（2026）研究了使用预定义查询选择策略（期望信息增益与确认式正向测试）的主动概念学习；查询策略仍然不是由模型选择的。

#### 交互式黑盒推理环境。
Geng et al.（2025）在 LLM 逆向工程程序、形式语言和方程时比较了被动观察与主动干预。在 RULEARN（He et al., 2025）中，智能体通过溯因、演绎和归纳的循环来学习隐藏规则；ORACLE（Yin et al., 2026）将黑盒交互扩展到代码、电路、物理系统、加密和游戏。AR-Bench 测试模型在信息不完整的情况下是否能提出有用的问题（Zhou et al., 2025），PHYSGYM 在受控的先验知识水平下评估实验设计（Chen et al., 2025）。这些基准表明，模型通常难以选择信息丰富的行动并在反馈后进行调整；然而，没有一个基准根据情节期间收集到的证据对最终假设的一致性进行评分，也没有对交互预算的低效使用进行惩罚。

#### 交互式程序合成。
与我们的设置最接近的是 CodeARC（Wei et al., 2025），它评估智能体查询隐藏目标函数并针对差分测试神谕细化候选 Python 实现的性能，而 SYNTRA（Lee et al., 2025）选择信息丰富的测试输入来消除竞争的程序假设；Surana et al.（2026）添加了人工反馈和验证。另一条补充路线使用黑盒访问进行解释而不是重建（Cífka and Liutkus, 2023；Singh et al., 2023）。*Alien Abduction* 将这些线索结合在一个受控的环境中：在相同的隐藏函数上改变证据控制和反馈形式，可以估计自主探索的效果；成员判定反馈测试模型是否寻求不一致的证据；内部一致性检查将推断错误规则与忽略自身证据分开。

## 3 方法

### 3.1 任务形式化

设 \(f: X \rightarrow Y\) 为隐藏目标函数，其图 \(F_f = \{(x, y) \in X \times Y \mid y = f(x)\}\)。玩家永远无法观察到 \(f\) 的源代码。相反，一个对 \(f\) 具有神谕访问权限的游戏管理员调解所有交互：它根据固定协议揭示关于 \(F_f\) 的证据，并验证提出的解决方案。由于 \(X\) 可能是多元的，输入 \(x\) 由一个或多个值组成。一个情节由函数签名（参数和返回类型）、交互模式和回合预算 \(T\) 参数化。在每个回合 \(t \leq T\) 中，玩家恰好执行一个动作：它要么按照模式允许的方式请求证据，要么通过 `SOLVE` 动作提交一个候选实现 \(\hat{f}\) 作为 Python 代码，从而结束情节。在每次动作的同时，玩家报告其当前假设、一个指示其是在探测、确认还是不确定的状态、选择该查询的理由以及置信度分数。这些字段被记录用于分析，但游戏管理员不处理它们，也不影响其响应。一个情节被判定为解决当且仅当 \(\hat{f}\) 在一组保留测试输入上与 \(f\) 一致；该集合是为每个实例构建的，并且从不向玩家透露，一致性通过在临时容器中执行 \(\hat{f}\) 来检查（第4.4节）。一个在其预算耗尽时没有提交的情节被视为失败。图1显示了 *Active-Output* 模式下的一个情节：给定签名 `(x: int) -> int`，玩家用诸如 `-3` 和 `0` 之类的输入探测黑盒，观察输出 `3` 和 `0`，并提交绝对值函数的实现。因此，挑战不是根据规格说明生成代码，而是从有限的证据中推断行为规则。每个情节因此实例化了引言中的推理循环：玩家根据其观察形成一个候选规则（溯因），推导出哪个探测可以测试它（演绎），并随着新证据的到来修正规则（归纳）。

### 3.2 游戏模式

| 游戏模式 | 控制 | 反馈 | 玩家动作 | 示例交互 |
|---|---|---|---|---|
| Active-Output (AO) | 主动 | 输出 | `TEST: ...` | `TEST: -8 → OUTPUT: 8` |
| Active-Verdict (AV) | 主动 | 成员判定 | `TEST: ...` | `TEST: 2, 2 → OUTPUT: True`<br>`TEST: 2, 1 → OUTPUT: False` |
| Passive-Output (PO) | 被动 | 输出 | `NEXT` | `NEXT → OUTPUT: (-2, 2)` |
| Passive-Verdict (PV) | 被动 | 成员判定 | `NEXT` | `NEXT → OUTPUT: ((-2, 2), True)`<br>`NEXT → OUTPUT: ((10, 9), False)` |
| Single-Turn-Output (STO) | 单轮 | 输出 | 仅 `SOLVE` | 提前展示 10 个示例 |
| Single-Turn-Verdict (STV) | 单轮 | 成员判定 | 仅 `SOLVE` | 提前展示 10 个标记对 |

表1：*Alien Abduction* 的六种交互模式，按证据控制（谁选择探测）和反馈形式（精确输出与二元成员判定）进行分解。在每种模式下，玩家都可以在任何回合使用 `SOLVE:` 后跟一个候选 Python 实现来结束情节；单轮模式在显示固定批次十个证据项后仅允许此动作。所有示例交互均假设隐藏函数为 ...