编码代理的贝叶斯控制

# 编码智能体的贝叶斯控制
来源：https://arxiv.org/html/2606.24453
Theodore Papamarkou1,2♢Vladislav Smirnov3♢Viktor Mazanov3♢Artem Vazhentsev3 Preslav Nakov3Timothy Baldwin3Artem Shelmanov3 1PolyShape2雅典国家技术大学3MBZUAI ♢共同贡献

###### 摘要

现代编码智能体将大语言模型生成器与各种工具配对，包括廉价诊断工具和昂贵验证工具。工具使用决策通常由编排器管理，这些编排器常常使用固定规则并忽略不确定性。我们将编排形式化为成本敏感的序贯假设检验：贝叶斯控制器维护关于候选解决方案正确性的信念，并动态决定是收集更多证据、优化候选方案、验证它还是停止。在六个生成器和九个编码基准测试中，贝叶斯控制在验证成本高且评判者信息量大但非完美时最为有效。除了控制之外，信念状态还能产生可解释的正确性分数，在不确定性量化方面优于基于标记概率和原始工具成功率的基线方法。

---

# 编码智能体的贝叶斯控制

Theodore Papamarkou1,2♢Vladislav Smirnov3♢Viktor Mazanov3♢Artem Vazhentsev3Preslav Nakov3Timothy Baldwin3Artem Shelmanov31PolyShape2雅典国家技术大学3MBZUAI♢共同贡献

## 1 引言

大语言模型生成复杂代码的能力日益增强，但其实际影响最充分地体现在通过编排生成、诊断、优化和验证过程的编码智能体上。一个现代编码智能体工具集通常将基于LLM的生成器与辅助工具（如语法检查器、公共测试集、基于LLM的评审器、优化提示以及一个高保真验证器（即预言机），该验证器近似或建立真实答案）结合在一起（Yang等人，2024；Wang等人，2025）。由于这些工具在成本和可靠性上各不相同，核心工程问题在于产生正确代码的同时，通过策略性地决定何时优化、舍弃或验证候选解决方案，高效分配有限资源。

![图示说明](https://arxiv.org/html/2606.24453#S1.F1)
图1：贝叶斯控制循环示意图。

许多现有的编排策略使用固定规则来解决这个问题，例如总是验证、最佳N次采样、单评判器门控或预定义的生成-评判-再生成-验证循环（Inala等人，2022；Li等人，2022；Chen等人，2023；Huang等人，2023）。尽管这些策略可能具有竞争力，但它们不会维护候选正确性的后验概率，也不会明确权衡评判器调用的价值与其成本。因此，它们无法根据先验任务难度、评判器可靠性、生成器修复概率或验证器成本来调整停止决策。

在本工作中，遵循Papamarkou等人（2026）的研究，我们将代码生成控制研究为一个贝叶斯决策问题。潜在状态是候选解决方案的正确性，即Y∈{0,1}。控制器维护一个信念b = P(Y=1 | 证据)，表示当前候选解决方案能通过验证器的概率。评判器调用被视为带噪声的观测，生成器调用被视为可能修复或破坏候选解决方案的随机转移，而验证器调用被视为昂贵的终止动作。目标是期望效用，即正确解决方案的奖励减去生成、评判、优化和验证的累积成本。这构成一个序贯假设检验问题，可以编码为部分可观测马尔可夫决策过程（Kaelbling等人，1998），其贝尔曼方程表达了信息的价值。图1展示了我们的贝叶斯控制循环。

我们通过两个源自贝尔曼方程的控制器来实现这一思想。第一个是单步贝叶斯贪婪控制器，它使用评判器的似然来决定是调用另一个评判器、验证、重新生成还是停止。第二个是有限时域贝叶斯动态规划控制器，它执行反向归纳，并使用从迭代优化轨迹中估计的经验生成器转移核\(\hat{P}(\text{fix} \mid \text{broken})\)和\(\hat{P}(\text{break} \mid \text{correct})\)。两个控制器均在冻结的LLM之上运行：基础生成器不进行训练，优化问题完全在控制层。

我们提出一系列实证问题：贝叶斯信念状态控制器何时能改善成本调整的代码生成？一个简单的启发式方法何时足够？何时验证如此便宜或成功的先验概率如此之高，以至于不需要任何编排？

我们在六个生成器和九个编码基准测试上评估了不同策略，并在不同的成本-奖励权衡下比较了它们的期望效用。结果表明，贝叶斯控制在先验概率低、评判者信息量大但非完美的场景下最为有用，而简单的公共测试门控或始终验证策略则在公共测试能高度预测隐藏测试成功、候选补丁很可能正确或验证成本低廉时更优。只有当测量的修复转移使得多步优化值得时，动态规划才会增加价值。我们的实证研究通过样本外验证、与更强优化基线的比较以及指出朴素贝叶斯变体失败之处的负面结果，支持了这些结论。

本文的贡献如下：（1）我们将代码生成控制形式化为关于候选正确性的成本敏感序贯假设检验问题。（2）我们从贝尔曼方程推导出两种贝叶斯信念状态控制器，即单步贪婪控制器和有限时域动态规划控制器。（3）跨多样化的生成器和基准测试的实验揭示了三种机制，分别决定了哪种编排策略占主导地位，并阐明了DP规划何时优于贪婪策略。（4）我们进一步表明，由假设检验框架诱导的后验信念可作为编码智能体的有效不确定性分数，用于检测低质量的智能体输出。

## 2 相关工作

**贝叶斯决策理论。** 我们的方法使用了序贯分析和信息的价值。Wald（1947）研究了在误差与采样成本之间权衡的序贯检验，而Howard（1966）则形式化了证据的经济价值。POMDP将这一逻辑推广到潜在状态不确定性下的控制（Kaelbling等人，1998）。Papamarkou等人（2026）最近的工作认为，agentic AI的控制层应维护任务相关潜在量的信念，并根据效用采取行动。本文在代码生成中实现了这一思想。潜在变量是候选正确性，观测是语法检查、公共测试和LLM评判，转移是优化步骤，终止动作是昂贵的验证器。

**面向LLM智能体的POMDP方法。** 近期工作开始将贝叶斯信息获取用于LLM智能体。Choudhury等人（2026）使用序贯贝叶斯实验设计来选择能最大化多轮信息收集中期望信息增益的问题。Suri等人（2025）将工具论证澄清建模为结构化不确定性，并使用POMDP来选择澄清性问题。这些论文在精神上与我们相近，因为它们都将交互视为成本高昂的信息获取。它们与我们设置的不同之处在于潜在状态、动作空间和实证目标。我们研究的是代码生成控制，其中智能体必须决定是否购买更多诊断证据、优化候选方案或付费进行验证，我们在编码基准测试上评估效用，而非在澄清成功或信息获取游戏中。

**编码智能体。** 有大量工作致力于编码智能体。生成的测试和重排序已被用于选择更好的候选方案（Chen等人，2023；Inala等人，2022；Zhang等人，2023）。迭代自我反馈和语言记忆方法在多轮中优化模型输出（Madaan等人，2023；Shinn等人，2023）。多智能体和树搜索系统（如AgentCoder和LATS）引入了更丰富的生成-测试-优化或规划循环（Huang等人，2023；Zhou等人，2024）。仓库级智能体（如SWE-agent和OpenHands）专注于接口、沙盒执行和自主工具使用，以处理现实的软件工程任务（Yang等人，2024；Wang等人，2025）。我们的实验设置遵循已建立的代码生成和程序修复基准测试，包括LiveCodeBench、SWE-Bench、EvalPlus、HumanEvalFix和CodeContests（Jain等人，2025；Jimenez等人，2024；Liu等人，2023；Muennighoff等人，2024；Li等人，2022）。

总体而言，这些方法和基准测试证明了外部反馈、迭代控制和智能体停止策略的价值，并为我们的评估提供了实验基础。我们方法的显著特点在于，它将智能体的不确定性量化为关于候选正确性的后验信念。该后验既为成本感知控制提供了决策状态，又提供了一种不确定性分数。因此，我们的框架与现有的智能体工具集互补：它们的工具使用和停止循环可以通过后验信念进行增强，而非被取代。此外，我们对成本和可靠性机制的表征指出了这些信念在何种情况下能改善固定工作流，以及何时更简单的策略就已足够。

## 3 任务与环境

我们考虑资源约束下的自动程序合成问题。本节形式化了任务环境、计算智能体的抽象以及驱动控制的决策理论目标。

设\(\mathcal{X}\)表示自然语言规范的空间，\(\mathcal{C}\)表示可执行程序的空间。一个任务实例由一个规范\(x \in \mathcal{X}\)和一个预言机验证函数\(\mathcal{O}: \mathcal{C} \times \mathcal{X} \to \{0,1\}\)组成，该函数当且仅当程序c满足x的要求时返回1。对\(\mathcal{O}\)的访问由*验证智能体*\(a_{\mathrm{ver}}\)（以下称为*预言机*）中介，其调用会带来显著的算力或金钱成本\(C_{\mathrm{ver}}\)。对于任何候选\(c_t\)，设\(Y_t = \mathcal{O}(c_t, x) \in \{0,1\}\)为其潜在正确性，指示候选是否能通过预言机验证（\(Y_t=1\)表示通过，\(Y_t=0\)表示未通过）。

为了主动改进候选程序，我们可以调用具有固定参数\(\theta\)的LLM \(G_\theta\)。我们将其称为*生成器智能体*\(a_{\mathrm{gen}}\)。在迭代t，给定规范x和当前候选\(c_t\)，生成器以成本\(C_{\mathrm{gen}}\)产生一个新的候选\(c_{t+1} \sim G_\theta(\cdot \mid x, c_t)\)。新候选补丁\(c_{t+1}\)可能改进程序，但也可能保持不变或使之更差。

我们假设可以访问k个*评判智能体* \(\{a_{\mathrm{crit}}^1, \ldots, a_{\mathrm{crit}}^k\}\)，它们检查\(c_t\)但不进行修改。评判者i返回一个成本有效的带噪声诊断观测\(z_t^{(i)} \in \{\mathrm{pass}, \mathrm{fail}\}\)，其似然为\(P_i(z \mid Y_t)\)，成本为\(C_{\mathrm{crit}}^i\)。

控制策略\(\pi\)编排整个程序生成过程，目标是产生一个满足x的程序。它与一组智能体\(\mathcal{A} = \{a_{\mathrm{gen}}, a_{\mathrm{ver}}, a_{\mathrm{crit}}^1, \ldots, a_{\mathrm{crit}}^k\}\)在离散时间步\(t=1,\ldots,T\)上交互。每一步，策略根据当前历史\(\mathcal{H}_t = (x, c_1, a_1, o_1, \ldots, a_{t-1}, o_{t-1}, c_t)\)选择一个智能体\(a_t \in \mathcal{A}\)，其中\(o_t\)表示所选智能体返回的观测。策略的质量由其期望效用衡量，定义为最终结果的价值减去累积的智能体成本。形式上，如果一个剧集在步骤T以候选\(c_T\)终止，则期望效用为\(U(\pi) = \mathbb{E}_\pi \left[ R \cdot Y_T - \sum_{t=1}^T C(a_t) \right]\)，其中R表示正确解决方案（\(Y_T=1\)）的奖励，\(C(a_t)\)是所选智能体的成本：\(C(a_{\mathrm{gen}}) = C_{\mathrm{gen}}\)，\(C(a_{\mathrm{crit}}^i) = C_{\mathrm{crit}}^i\)，且\(C(a_{\mathrm{ver}}) = C_{\mathrm{ver}}\)。

我们的目标是推导一个最大化该效用的策略，通过估计每个智能体的*动作价值*（或*Q值*），从而量化动作成本与其对任务解决的预期贡献之间的权衡。

## 4 贝叶斯决策理论控制

**贝叶斯控制的总体设计。** 我们通过POMDP抽象来采用贝叶斯决策理论。在时间步t，控制器持有一个候选程序\(c_t\)和关于其正确性的信念状态\(b_t = P(Y_t = 1 \mid \mathcal{H}_t)\)，并通过权衡信息、改进和验证的成本来选择动作。信念更新过程构成一个序贯假设检验，迭代地积累证据以决定原假设\(Y_t=0\)与备择假设\(Y_t=1\)。

如果\(a_t = a_{\mathrm{gen}}\)，信念通过一个转移核\(\mathcal{T}(b_t)\)进行更新，该核考虑了生成器在正确程序中引入错误或修复错误程序的可能性：

\[
\mathcal{T} = \begin{pmatrix} P(Y_{t+1}=0 \mid Y_t=0) & P(Y_{t+1}=1 \mid Y_t=0) \\ P(Y_{t+1}=0 \mid Y_t=1) & P(Y_{t+1}=1 \mid Y_t=1) \end{pmatrix},
\]

由经验修复概率\(p_{01} = P(Y_{t+1}=1 \mid Y_t=0)\)和破坏概率\(p_{10} = P(Y_{t+1}=0 \mid Y_t=1)\)参数化。