RIMRULE: 通过MDL引导的规则学习改进工具使用语言代理

# 通过 MDL 引导的规则学习改进工具使用型语言智能体

来源：https://arxiv.org/html/2601.00086

向高1，姚玉光1，张琪2，董凯文1，阿维纳什·拜迪亚1，郭若诚1，希拉夫·哈森1，卡玛利卡·达斯1

1 Intuit AI Research  
2 天普大学  
\{xiang_gao, kamalika_das\}@intuit.com

###### 摘要

大型语言模型（LLM）在特定领域场景中难以可靠地使用工具，因为此时的 API 可能具有特殊性、文档不足或针对私有工作流定制。这凸显了对任务特定工具进行有效适配的必要性。我们提出 RimRule，一种基于动态规则注入的神经符号学 LLM 适配方法。紧凑、可解释的规则从失败轨迹中提炼出来，并在推理阶段注入提示词中，以提升任务性能。这些规则由 LLM 自身提出，并通过最小描述长度（MDL）目标进行整合，该目标倾向于通用性和简洁性。每条规则以自然语言和结构化符号形式存储，支持推理时的高效检索。在工具使用基准上的实验表明，该方法在不修改 LLM 权重的情况下，能同时提升对已见和未见工具的准确性。它优于基于提示的适配方法，并对微调形成补充。此外，从一个 LLM 学到的规则可复用于改进其他 LLM，包括长推理型 LLM，凸显了符号知识在不同架构间的可移植性。111*本文发表于《计算语言学会第64届年会论文集》（第1卷：长文），第34631–34646页，2026年7月2–7日（ACL 2026）。版权归作者所有，2026年。

RIMRULE：通过 MDL 引导的规则学习改进工具使用型语言智能体

向高1，姚玉光1，张琪2，董凯文1，阿维纳什·拜迪亚1，郭若诚1，希拉夫·哈森1，卡玛利卡·达斯1

1 Intuit AI Research  
2 天普大学  
\{xiang_gao, kamalika_das\}@intuit.com

## 1 引言

人类通过尝试、犯错并将经验压缩为可复用的启发式规则来进行适应 (Kolb, 1984 (https://arxiv.org/html/2601.00086#bib.bib172); Metcalfe, 2017 (https://arxiv.org/html/2601.00086#bib.bib174); Gigerenzer and Gaissmaier, 2011 (https://arxiv.org/html/2601.00086#bib.bib178))。这种对规律性的紧凑表示实现了认知经济——它们保留了影响性能的关键信息，同时舍弃了琐碎细节，使得知识更容易在不同任务间以及被他人在不同任务中复用 (Rosch, 1978 (https://arxiv.org/html/2601.00086#bib.bib173))。

参见附图说明

图 1：从经验中学习可复用且可解释的规则

大型语言模型（LLM）(Brown et al., 2020 (https://arxiv.org/html/2601.00086#bib.bib5); Bai et al., 2023 (https://arxiv.org/html/2601.00086#bib.bib198); Team and others, 2023 (https://arxiv.org/html/2601.00086#bib.bib94); Grattafiori et al., 2024 (https://arxiv.org/html/2601.00086#bib.bib97)) 同样需要适应，尤其是在部署到包含专用工具或文档不足的 API 的不熟悉领域时。然而，LLM 的适应方式与人类显著不同。目前，适应通常采取三种形式之一：(i) 用于少样本提示的检索示例 (Brown et al., 2020 (https://arxiv.org/html/2601.00086#bib.bib5); Liu et al., 2021 (https://arxiv.org/html/2601.00086#bib.bib123))，(ii) 全局调整的提示 (Pryzant et al., 2023 (https://arxiv.org/html/2601.00086#bib.bib96); Cui et al., 2025 (https://arxiv.org/html/2601.00086#bib.bib121))，或 (iii) 微调模型权重 (Hu et al., 2022 (https://arxiv.org/html/2601.00086#bib.bib116))。每种方法都很强大，但没有一种能像人类从经验中概括那样支持抽象、复用和可解释性。少样本提示复用了原始监督信号，但不进行抽象——而且 LLM 往往只从示例中提取浅层模式 (Wei et al., 2023 (https://arxiv.org/html/2601.00086#bib.bib131))；全局提示在交互式环境中是静态且脆弱的 (Verma et al., 2024 (https://arxiv.org/html/2601.00086#bib.bib199))；而调整模型权重成本高昂，每当环境变化时就需重新训练，并且阻碍了跨模型轻松共享已获取的知识 (Yang et al., 2024 (https://arxiv.org/html/2601.00086#bib.bib200))。

我们探索了适应 LLM 的第四种范式——一种模仿人类从失败中学习的方式，如图 1 (https://arxiv.org/html/2601.00086#S1.F1) 所示。我们不调整权重或检索示例，而是归纳出可解释的规则。在训练时，这些规则是针对观察到的失败而提出的。这些规则使用最小描述长度（MDL）原则 (Rissanen, 1978 (https://arxiv.org/html/2601.00086#bib.bib40); Grunwald, 2007 (https://arxiv.org/html/2601.00086#bib.bib14)) 进行整合，并以自然语言和符号表示的双重形式存储，从而实现原则性的压缩和可靠的检索。在推理时，相关规则被动态检索并注入提示词中，以提升 LLM 性能。这构成了一种独特的适应范式：与少样本提示不同，它强调抽象和压缩而非原始示例的回放；与微调不同，它产生可解释的产物。由于这些规则既能为人类所理解，也能被现代 LLM 解读，因此无需重新训练即可在不同 LLM 之间复用。我们在两个工具使用基准——ToolHop (Ye et al., 2025 (https://arxiv.org/html/2601.00086#bib.bib80)) 和 BFCL (Yan et al., 2024 (https://arxiv.org/html/2601.00086#bib.bib81))——上展示了这种方法，在这些任务中 LLM 必须推理工具描述并正确调用它们。基于工具错误消息的简单重试机制，甚至使用先进的长推理模型，往往也无法可靠地纠正系统性失败。我们的结果强调了几个关键观察。

- • 首先，推理时规则注入能持续提升性能，包括涉及训练中从未出现过的工具的查询。
- • 其次，学到的规则可以在 LLM 之间双向转移：从较弱模型中提炼出的规则能改进较强的长推理型 LLM，而从较强模型学到的规则也能惠及较小或能力较弱的模型。
- • 第三，我们的方法优于基于提示的适配方法，并且是对微调的补充，提供了一种独特且协同的泛化维度。

## 2 方法

我们介绍 RimRule222Reusable, Interpretable, and MDL-guided Rules（可复用、可解释、MDL 引导的规则），一个可扩展的框架，为基于 LLM 的智能体配备从失败轨迹中提炼出的推理时可解释规则。图 2 (https://arxiv.org/html/2601.00086#S2.F2) 展示了整体架构，表 1 (https://arxiv.org/html/2601.00086#alg1) 提供了伪代码。RimRule 并非顺序学习规则——这种方法对数据顺序敏感且难以扩展——而是将规则归纳分解为两个阶段。在第一阶段（第 2.1 节 (https://arxiv.org/html/2601.00086#S2.SS1)），候选规则从单个失败中独立生成，从而能够在大型交互日志中进行并行、顺序无关的提取。在第二阶段（第 2.2 节 (https://arxiv.org/html/2601.00086#S2.SS2)），这些候选规则在 MDL 目标下进行整合，该目标修剪冗余并选择一组紧凑、高实用性的规则库。这种设计避免了顺序规则学习的路径依赖性，同时自然地支持可扩展的规则发现和复用。

参见附图说明

图 2：我们的 MDL 引导规则学习框架。

### 2.1 局部规则生成

#### 2.1.1 经验收集

我们从在训练集中的每个样本上运行基于零样本 LLM 的智能体开始，并记录其执行轨迹。当生成的轨迹产生错误答案或由于工具调用错误而提前终止时，我们将其保留作为规则生成的经验。这些失败轨迹的集合构成了用于后续规则归纳的经验信号。每个训练实例表示为一个元组 (x,S,τ^−,τ^*)，其中 x∈X 是用户查询，S 是可用的工具集，τ^− 是智能体的错误执行轨迹，τ^* 是相应的真实轨迹。333在没有轨迹但有奖励函数或分数的情况下，可以通过提出多个候选规则并选择那些在实例上最大化观察奖励的规则来适应相同的机制；完整处理留待未来工作。

#### 2.1.2 通过 EBL 生成规则

给定失败轨迹 τ^− 及其对应当的真实轨迹 τ^*，规则生成器比较这两个执行过程，以识别根本原因*推理*失败，排除下游传播效应，并提出一条紧凑的规则 r∈R_0 来纠正类似错误。每条规则都带有一个错误类型标签 d(r)∈{dec, sel, arg}，分别对应分解、工具选择或参数构建。为了抽象出可复用的规则，我们遵循 *基于解释的学习*（EBL）：生成一个基于解释的说明，然后通过移除实例特定细节进行泛化 (Mitchell et al., 1986 (https://arxiv.org/html/2601.00086#bib.bib84); DeJong and Mooney, 1986 (https://arxiv.org/html/2601.00086#bib.bib54))。生成器实现为一个基于 LLM 的函数。444规则提示见附录。提议的规则通过一个*预测性检查*（要求注入后在同一查询上性能有所提升）和一个*语言检查*（强制采用简洁的*if–then*形式和限制长度）进行过滤。如果规则只带来部分改进，则重新调用生成器以提出额外规则，直到轨迹被纠正或找不到进一步的原子修复。

算法 1 RimRule

1: 训练失败数据 D={(x_i, S_i, τ_i^−, τ_i^*)}_i=1^n

2: 紧凑符号规则库 R

3: 阶段 1：规则生成

4: 对于所有 (x_i, S_i, τ_i^−, τ_i^*) ∈ D 并行执行 do

5:     r_i^NL ← LLM-Propose-Rule(·)

6:     如果通过检查则

7:         将 r_i^NL 添加到池 R_0

8:     结束如果

9: 结束循环

10: 符号翻译

11: 从 R_0 归纳词汇表 V

12: 将 R_0 翻译为符号规则 R

13: 阶段 2：MDL 整合

14: 重复

15:     对于所有 r∈R 执行 do

16:         评估 Prune(r) 和 Generalize(r)

17:         如果 ΔL_MDL<0 则

18:             应用最佳编辑

19:         结束如果

20:     结束循环

21: 直到无改进

22: 返回 R

#### 2.1.3 符号表示

同一规则的自然语言表达常常措辞各异，这阻碍了结构匹配和一致的描述长度计算。因此，我们将每条规则编译成一个具有固定字段和封闭词汇表的符号表示，从而实现原则性的 MDL 整合（第 2.2.2 节 (https://arxiv.org/html/2601.00086#S2.SS2.SSS2)）和高效检索（第 2.3 节 (https://arxiv.org/html/2601.00086#S2.SS3)）。符号模式包含五个语义字段：领域（Domain，广泛主题）、限定词（Qualifier，上下文）、动作（Action，规定的操作）、强度（Strength，优先级）和工具类别（ToolCategory，抽象工具类型）。每个字段从有限词汇表中取值。我们通过提示 LLM（参见附录 A.1 (https://arxiv.org/html/2601.00086#A1.SS1)）在自然语言规则批次上构建这些词汇表，并在随机排序中选择最紧凑的词汇表。一旦固定，每条规则通过分配有效的字段值被翻译成符号形式，从而产生一个确定且可审计的规则集。

### 2.2 规则整合

规则生成通常会产生大量重叠且过于具体的规则。因此需要进行整合，以选择一个紧凑且泛化能力强的子集。我们考虑了两种方法：基于提示的启发式方法，使用 LLM 合并规则；以及基于最小描述长度（MDL）原则的数据驱动替代方法。

#### 2.2.1 基于提示

一种简单的整合策略是提示 LLM 合并或重写候选规则，如 AutoRule (Wang and Xiong, 2025 (https://arxiv.org/html/2601.00086#bib.bib32)) 中所述。虽然这可以在文本层面减少冗余，但它是一种启发式方法，并未考虑规则如何影响智能体在实际失败案例中的行为。这促使我们采用一种能够明确权衡规则复杂度与经验有效性的整合目标。

#### 2.2.2 MDL 引导

我们采用*最小描述长度*（MDL）原则，该原则倾向于在保持简洁的同时压缩观察数据的模型 (Rissanen, 1978 (https://arxiv.org/html/2601.00086#bib.bib40); Grunwald, 2007 (https://arxiv.org/html/2601.00086#bib.bib14))。在我们的设置中，MDL 提供了一个原则性的目标，用于选择一个紧凑的规则集，该规则集能在不引入不必要复杂性的前提下纠正尽可能多的失败。

##### 目标。设 H⊆R^sym 表示一个候选规则库。我们最小化 MDL(H)=L(H)+L(D|H)，其中 L(H) 惩罚规则复杂度，L(D|H) 衡量规则纠正观察到的失败的效果。

##### 模型代价。我们基于长度定义规则库的先验，P(H)∝exp(−α∑_{r∈H}ℓ(r))，其中 ℓ(r) 表示规则 r 的符号令牌长度555符号令牌长度通过抽象掉偶然的自然语言措辞，提供了规则复杂度的规范度量。，α>0 控制正则化的强度。这对应于在预期总规则长度的约束下的最大熵先验 (Jaynes, 1957 (https://arxiv.org/html/2601.00086#bib.bib43))。取负对数似然得到模型编码长度 L(H)=−logP(H)=α∑_{r∈H}ℓ(r)+logZ(α)，其中 Z(α) 对于固定的候选池是常数，因此在优化过程中被省略。

##### 数据代价。给定失败案例 D={(x_i, S_i, τ_i^−, τ_i^*)}_i=1^n，定义 a_i(H)=1 如果注入 H 纠正了失败 i。设 k_H=∑_i a_i(H)。我们用伯努利似然建模纠正结果，并使用精细化的 MDL 插件编码 L(D|H)=−[k_H log p̂_H +(n−k_H) log(1−p̂_H)]，其中 p̂_H=k_H/n。这一项直接奖励纠正更多失败的规则集。

##### 贪婪整合。我们从完整的规则池开始最小化 MDL(H)，并应用严格降低目标的局部编辑。我们考虑两种操作：*修剪*一条规则，以及将特定工具的规则*泛化*为类别级别的规则。只有当模型代价的降低超过任何数据代价的增加时，编辑才被接受。这个贪婪过程在没有局部编辑能够改善 MDL 目标时终止。在实践中，整合与候选规则池的大小呈线性关系，因为每次迭代对每条规则评估一组固定的局部编辑。虽然这种贪婪过程不能保证全局最优解，并且可能遗漏有益的非局部编辑，但它遵循了规则学习和基于 MDL 修剪中的标准实践，其中局部编辑通常用于去除冗余和过于具体的规则，并且经过实证检验。