评估强化学习可解释性方法在协助修复智能体故障中的效能

# 通过可解释方法对智能体故障修复的帮助程度来评估其可解释性
来源：https://arxiv.org/html/2608.17524
Ram Rachum
所属机构：加州大学伯克利分校
所属机构：塔夫茨大学
邮箱：[ram\.rachum@berkeley\.edu](mailto:[email protected])
Bálint Gyevnár
所属机构：卡内基梅隆大学
邮箱：[bgyevnar@cmu\.edu](mailto:[email protected])
Reuth Mirsky
所属机构：塔夫茨大学
邮箱：[reuth\.mirsky@tufts\.edu](mailto:[email protected])
Cameron Allen
所属机构：加州大学伯克利分校
邮箱：[camallen@berkeley\.edu](mailto:[email protected])

###### 摘要

本初步论文概述了一个计划中的可解释强化学习评估基准。当前的评估依赖于基于功能的指标（如忠实性和简洁性）和基于人类感知的替代指标（如主观评分或预测准确性）。我们建议通过评估可解释方法生成的解释在多大程度上有助于诊断和修复故障强化学习智能体来评估可解释方法。我们提出了EvalXRL基准，其中大型语言模型编码智能体使用不同的可解释方法来诊断强化学习智能体中隐藏的故障，然后对其进行修复。我们提出的基准在环境×故障×可解释方法的组合上迭代，并使用强化学习智能体的奖励信号为每个可解释方法形成最终分数。编码智能体可以以交互方式使用该方法：调用可解释方法、处理其输出、形成关于故障原因的新假设，然后调整参数以测试这些假设，再次调用该方法。这种闭环结构可以描述为科学方法的简化版本。一些可解释方法提供了遵循此模式的自我评估；我们首次提出了在闭环使用中对多个可解释方法进行直接对比。

## 1 引言

可解释方法产生的解释需要满足几种不同的需求。开发者想知道他们的智能体为何失败；最终用户想知道智能体是否可信；监管者需要对影响公众的系统进行问责。所有这些利益相关者都想要解释，但每个人都想从中获得不同的东西，因此每个人对什么是好的解释有不同的标准（48）。

可解释方法的领域与其目标受众的构成一样多样化。方法在回答的问题类型、用于构建答案的信息类型以及答案的形式上各不相同。显著性图标记了导致单个动作的观测像素的哪些部分；HIGHLIGHTS返回策略最重要时刻的短视频片段；奖励分解报告了每个组件对标量值的贡献；VIPER则将整个策略提炼为可读的决策树。鉴于这种输出的“寒武纪大爆发”，可解释性社区将受益于能够接收这些异构产物并生成可比较分数同构数组的评估方法。希望这些分数能够回答“每种方法产生的解释有多有用？”和“哪些方法最有用？”的问题，同时记住我们之前描述的不同类型的可解释性用户可能需要不同的评估方案。

评估解释是一个困难的问题，因为解释被认为是有价值的，当它能帮助用户理解时；因此，每个可解释评估范式都可以解释为对“理解意味着什么？”这个认识论问题的答案（41；18）。表1调查了三种现有的可解释评估范式，每一种都隐含地回答了这个问题。

表1：现有的可解释评估范式，隐含地回答了“理解意味着什么？”。我们提出一个评估范式，其对应的答案是：“理解一个机制意味着当它出现故障时能够修复它。”这种对解释的功能性观点在认知科学中由来已久（43），近期对人工智能有了基于能力的表述（16）；作为一个评估范式，它与其他范式一样有局限性，但是可衡量的。因此，我们的主要焦点是我们列出的第一个动机：开发者需要知道他们的智能体为何失败。这通常被称为调试（26），我们将交替使用调试和诊断这两个术语。诊断故障是开发日益强大的强化学习智能体过程中艰苦但必要的阶段。在本文中，我们提出了一种评估哪些可解释方法能产生对诊断最有用的解释的方法。其框架遵循（20）的应用基础评估的精神，以开发者的下游任务作为指标。它呼应了近期关于下游验证、公平对抗可解释性评估（47；52）以及将干预结果视为真实情况（8）的呼吁。然而，据我们所知，这尚未作为基准执行，也尚未用于可解释强化学习。

这种方法有几个好处。首先，我们可以将强化学习智能体的奖励信号直接连接到我们评估的输出。换句话说，我们将可解释方法的成功定义为使用该方法信息修复后的强化学习智能体的性能。这种直接的联系可能是从我们的分数中消除代理驱动偏差的好策略。最令人兴奋的是，诊断和修复是交互过程，可解释方法可以被多次使用；我们将在下面的设计选择2中详细阐述。

我们提出EvalXRL，一个通过评估可解释方法在多大程度上帮助开发者修复在线强化学习智能体来评估可解释方法的基准。它将任务完成操作化如下：(1) 给开发者一个故意损坏的强化学习智能体和一种可解释方法；(2) 要求其修复；(3) 衡量修复后的智能体表现如何，由其奖励信号或一个未见过的评分函数报告。分数总是连续的，而不是二元的“你找到bug了吗？”判断；我们从不要求开发者阐述原因，只需让智能体表现更好。以下遵循三个设计选择：

1. 1. 故意损坏的强化学习智能体作为评估基材。我们构建具有已知、受控故障的智能体，其诊断需要对行为后果进行推理。在所有可解释方法中保持故障集固定，使我们能够在类似条件下衡量每种方法的诊断效用。
2. 2. 开发者可以多次使用该方法并调整其参数。诊断是一个闭环过程：开发者调用可解释方法，处理其输出，形成关于故障的新假设，然后调整参数以测试这些特定假设，重新调用该方法。这与一次性的或预先计划的多次使用（开环）形成对比，后者的参数固定而不参考中间结果。我们将闭环使用作为评估的一等属性：修复分数是在每次会话预算内任意多次调用可解释方法后计算的，而不是一次。一些可解释方法提供了闭环模式的自我评估（4；69；19；7）；我们首次提出了在闭环使用中对多个可解释方法进行直接对比。
3. 3. 我们使用大型语言模型编码智能体作为开发者。使用我们的提议程序与大型语言模型智能体一起运行，比使用人类受试者运行便宜和快速几个数量级，并避免了人类研究的复杂审批。在我们默认的配置中，开发者是一个前沿大型语言模型（例如，Claude Opus 4.8），包裹在一个极简的编码智能体框架中（例如，mini-swe-agent61），在一个具有完整程序控制权的沙盒化Docker环境中运行：它可以读取源代码、运行实验、修改参数、重新训练智能体并提交修复。我们测量每个单元格上N次运行的方差。我们在第5节讨论更精细框架的权衡。

衡量一种可解释方法在帮助大型语言模型智能体修复bug方面的有效性，可能无法准确地转移到帮助人类的用例中，我们在第5节概述了两者之间的校准。然而，我们认为除了作为人类的替代品之外，这种衡量本身可能也有用。12调查了已部署的可解释系统，发现主要的用户是调试模型的机器学习工程师，而不是外行；而大型语言模型编码智能体正在越来越多地进行工程师类型的工作，有明确证据表明机器学习系统的工程正在通过大型语言模型辅助进行自动化（35；42），通常被称为“氛围编码”。这表明大型语言模型编码智能体可能在以前由人类工程师完成的调试工作中扮演更重要的角色。如果“氛围调试”变得普遍，我们主张应该在受控环境中对其进行研究。

我们将EvalXRL作为一个基准设计和一组假设呈现，而不是一个已验证的排行榜。测试H1-H3的试点运行是接下来的直接步骤，并将是一篇后续论文的贡献。本文的其余部分描述了设计、假设以及我们希望社区反馈的开放性问题。

## 2 相关工作

与EvalXRL最接近的先前工作是（26），他们将可解释评估分为两个上下文：调试（开发者在部署前/后验证或调查智能体）和团队合作（部署期间人类和智能体协作）。他们的五个调试指标都是基于预测的：下一个动作、目标、子目标、反事实策略和耗时。任务完成在其布局中仅出现在团队合作一侧。他们的布局中不包含的一个单元格是将任务完成作为调试指标：不是预测智能体将做什么，而是修复故障智能体未能做到的事情，然后测量修复后的智能体。EvalXRL试图填补这个空白。

#### 跨方法的可解释比较。

近期工作通过客观准确性在同一任务上使用相同用户比较了多种可解释方法。（57）在Highway-env和Pac-Man上交叉比较了HIGHLIGHTS和奖励分解；（5）发现反事实结果解释和奖励分解在高速公路智能体上是互补的；（64）在Pac-Man上评估了四种机制；而（22）在分布变化下比较了反事实与关键状态轨迹。EvalXRL将这种比较风格从预测和识别任务扩展到修复任务。

#### 修复作为可解释AI的用例。

12发现调试模型的机器学习工程师是可解释AI的主要现实世界消费者。在监督式可解释AI中，（1）引入了调试测试来评估解释方法针对已知模型缺陷的效果；我们通过根据下游修复成功为可解释方法评分，将这一框架应用于强化学习。EvalXRL最接近的前身是（58），他们构建了具有受控缺陷的《青蛙过河》智能体，并进行了一项用户研究，参与者从可解释生成的视觉摘要中识别每个智能体的能力和局限性。（54）将此扩展到缺陷检测：观看来自太空侵略者深度强化学习智能体（其飞船位置像素被遮蔽）的反事实状态的非专家，将缺陷识别率从57%提高到90%。更早之前，（31）生成了自然语言策略解释以帮助操作员定位控制器故障，而（7）让非专家通过交互式解释迭代地修补《超级马里奥兄弟》智能体。（4）的ASQ-IT允许用户迭代地查询强化学习智能体的行为，用户研究表明交互式查询提高了用户识别故障行为的能力；这直接启发了EvalXRL的闭环设计选择（第1节）。这些研究都没有在受控的故障集上对可解释方法进行直接对比。（55）进行了最接近的任务完成研究，但使用的是手工设计的智能体而非学习到的强化学习策略。（63）的LEGIBLE证明了诊断-修复循环在强化学习内部已经是可行的，在高速-快速任务上无需重新训练即可将累积奖励提高多达273%，尽管作为一种单一方法，它无法提供直接对比。

#### 对话式和假设驱动的可解释AI。

解释本质上是对话性的而非一次性的论点已被多次提出。（48）回顾了认知科学的证据，表明解释是一个溯因推理循环和社会过程。（45）从398个解释对话中推导出一个基于对话的模型，其中后续问题和重新解释是一等操作。（37）对26位领域专家（医学和政策研究员）的访谈报告，除一人外，所有人都将无法与解释进行对话视为主要挫折。（49）主张向假设驱动的决策支持范式转变，他称之为评价性AI；（39）提供了一种证据权实现，报告称与基于推荐的基线相比，信任校准得到改善，但不同人群的准确性效果不一。（69）的LangXRL在强化学习中操作化了一个相关想法：用户编辑历史信息并观察智能体行为的反事实变化，与静态文本基线相比，在异常识别和下游可操作性方面获得更大收益。（19）通过AAR/AI扩展了结构化迭代论证，这是一种行动后审查协议，将强化学习智能体评估框架设定为波普尔式证伪。EvalXRL属于这一谱系，但颠倒了人类/机器角色：大型语言模型编码器，而不是人类，驱动闭环，这使得比较能够大规模运行并在下游修复任务上进行端到端评分。

#### 带工具的大型语言模型编码智能体。

一个并行的研究方向询问是否为大型语言模型编码智能体提供调试或机器学习工程工具可以提高修复性能。（73）的Debug-Gym通过暴露pdb将SWE-bench Lite分数提高了，而（40）允许大型语言模型自主驱动pdb/gdb/