MemToC: 评估大型语言模型中记忆与工具冲突解决能力的基准测试

# 1 四种源正确性情形的示意图。所示答案值组合为假设情形，并未代表单一观察到的MemToC情景；对任一源的固定偏好无法在所有四种情形下均取得成功。来源：https://arxiv.org/html/2608.26295

MemToC：对大语言模型中记忆-工具冲突解决的基准测试  
Arseniy Varlamov¹, Rishat Zinnatullin², Elisei Rykov³, Alexander Panchenko³,⁴, Ilseyar Alimova³  
¹ 中央大学，莫斯科  
² 乌拉尔联邦大学，叶卡捷琳堡  
³ 斯科尔科沃科学技术学院，莫斯科  
⁴ AIRI，莫斯科  

**摘要**  
工具增强型大语言模型必须在工具返回值与其参数记忆发生冲突时，在两个可能出错的源之间进行仲裁，然而现有评估往往仅衡量源偏好，而未确立源的正确性。我们提出了MemToC，一个用于工具调用后仲裁的、包含可执行工具的受控基准测试。MemToC包含6,504个评估情景，构建自542个经质量控制的事实问题、独立引出的模型特定闭卷答案，以及已知正确性的受控工具返回值。这些组件构成了四种源正确性情形，同时工具错误和无工具条件作为单独的对照组。由此产生的指标能够区分恰当的源使用与不加区分的源偏好。

在五个7-9B的开源权重模型中，工具返回值显著主导了引出的闭卷答案。四个经过指令微调的模型在仅有6.5-17.1%的符合条件情形中，能够保留经验证正确的答案以对抗不正确的工具返回；在86.0-93.1%的情形中遵循正确的工具返回；并在78.4-86.0%的两者皆错的情形中重复工具返回值。当固定问题与情景内容，仅改变三个指令措辞变体时，模型间排序并未保持稳定。基于这些失败，我们比较了使用链级交叉拟合在ToolHop上进行的提示、SFT和DPO方法，确保共享底层事实的问题绝不跨越训练集与评估集。我们采用非对称成功标准：正确答案的保留率必须提升，同时不得出现正确工具遵循率的可检测下降。SFT和DPO在四个指令微调基座中的两个上均满足此标准，表明在我们的模型集中，结果更多地取决于基座模型而非优化目标。改进很少是纯粹的：在测试的20种方法-模型组合中，有19种减少了在工具错误或无法回答输入后的弃权行为。在MemToC之外的迁移效果积极但部分，且取决于模型与表述框架。因此，通过微调可以改进基于正确性条件的仲裁，但必须与正确工具使用、弃权及对问题表述的鲁棒性联合评估其收益。

图1：四种源正确性情形的示意图。所示答案值组合为假设情形，并未代表单一观察到的MemToC情景；对任一源的固定偏好无法在所有四种情形下均取得成功。

## 1 引言

大语言模型智能体日益依赖其输出被视为权威证据的工具，然而工具可能信息过时、配置错误或将查询解析到错误的实体。当工具返回值与模型的参数记忆不一致时，系统必须在两个可能出错的源之间进行仲裁，而评估这一点需要知道哪个源是正确的：一个仅记录遵循了哪个源的指标无法区分有益的遵从与有害的遵从（图1 (https://arxiv.org/html/2608.26295#S0.F1)）。现有工作缺乏对源正确性的显式控制。TMC（Cheng等人，2026 (https://arxiv.org/html/2608.26295#bib.bib2)）将冲突定义为仅记忆响应与工具条件响应之间的分歧。由于这些冲突是自然产生的而非构建的，因此既无法预先知道任一源的正确性，也无法预先知道恰当的仲裁决策。其他工作通过实体替换（Longpre等人，2021 (https://arxiv.org/html/2608.26295#bib.bib19)）或反事实增强（Neeman等人，2023 (https://arxiv.org/html/2608.26295#bib.bib20)）来构建冲突，而近期的基准测试按源正确性对文本证据进行了分层（Sun等人，2026 (https://arxiv.org/html/2608.26295#bib.bib30); Xie等人，2024 (https://arxiv.org/html/2608.26295#bib.bib7)）。然而，这些设置并未研究可执行的工具返回值，并且省略了工具错误和无工具对照组。智能体评估同样显示，模型即使可以访问可靠性诊断信息，也绝大多数会采用工具输出（Wang和Vemuri，2026 (https://arxiv.org/html/2608.26295#bib.bib3)）。相反，我们研究受控的工具调用后设置，其中工具选择和调用被固定，仅对观察到的工具返回值进行干预。

#### 我们的方法

我们从ToolHop（Ye等人，2025 (https://arxiv.org/html/2608.26295#bib.bib1)）数据集构建MemToC，该数据集提供了分解的多跳问题、可本地执行的工具调用和可验证的中间答案。基于这些数据，我们推导出一个经质量控制的基准集，包含独立的事实问题、简短可验证的答案以及合理的同类干扰项。针对每个模型和问题，我们首先引出一个闭卷答案，然后用正确的工具返回值、不正确的返回值、错误载荷或无返回值呈现相同问题。工具返回值的正确性通过注入基于外部验证答案和经人工验证的干扰项构建的正确或不正确返回值来控制，而大语言模型记忆的正确性则通过将其闭卷答案与验证答案进行比较来独立测量每个模型。因为我们提供返回值而非观察它，所以我们可以在模型回答之前就知道工具是否正确，而不是在之后不得不判断。结合单独测量的闭卷答案，这为每个情景固定了正确响应，这使得仲裁——而非源偏好——变得可测量。工具错误和无工具实例作为单独的对照组。此设计分别评估对不正确返回值的抵抗力和对正确返回值的恰当使用，而不是奖励对任一源的固定偏好。我们做出三项贡献。

1. 1. **基准测试**。我们介绍MemToC，一个用于工具-记忆仲裁的受控基准测试，包含542个经质量控制的事实问题，配有可执行调用、验证答案、模型特定闭卷答案以及受控的正确与不正确返回值。
2. 2. **评估**。我们在四种源正确性情形下评估五个开源权重7-9B模型，并辅以工具错误和无工具对照组、提取优先的答案匹配，以及固定问题文本的三个指令措辞变体。
3. 3. **缓解方法**。我们使用在ToolHop链上进行交叉拟合的方法，比较了提示、SFT和DPO，使得每个报告的微调预测都是在训练中保留的问题上获得的。

## 2 相关工作

#### 工具-记忆冲突

TMC（Cheng等人，2026 (https://arxiv.org/html/2608.26295#bib.bib2)）通过识别仅记忆响应与工具条件响应之间的分歧，引入了工具-记忆冲突，并表明现有的缓解策略仅能部分解决这些冲突。后续工作发现模型可能强烈遵从工具输出，且失败可能源于工具使用协议本身（Wang和Vemuri，2026 (https://arxiv.org/html/2608.26295#bib.bib3); Zhang等人，2026 (https://arxiv.org/html/2608.26295#bib.bib4)）。同期研究直接检查工具可靠性和故障模式（Tian等人，2026 (https://arxiv.org/html/2608.26295#bib.bib29); Zhang等人，2024 (https://arxiv.org/html/2608.26295#bib.bib11); Yan等人，2026 (https://arxiv.org/html/2608.26295#bib.bib13); Zhu等人，2026a (https://arxiv.org/html/2608.26295#bib.bib14); Soni，2026 (https://arxiv.org/html/2608.26295#bib.bib15)）。然而，这些研究未能独立确定模型闭卷答案和工具返回值的正确性，因此无法在源正确性情形下评估仲裁。

#### 控制源偏好

直接偏好优化（DPO）（Rafailov等人，2023 (https://arxiv.org/html/2608.26295#bib.bib32)）从偏好和拒绝的响应中学习，无需训练显式的奖励模型。Context-DPO（Bi等人，2025 (https://arxiv.org/html/2608.26295#bib.bib5)）将该目标应用于遵循上下文证据，而KnowPO（Zhang等人，2025 (https://arxiv.org/html/2608.26295#bib.bib8)）在构建的冲突上学习自适应源选择。这两种方法主要优化对上下文信息的依赖，而不是根据竞争源的正确性来条件化源选择。检索增强生成中的正确性感知方法使用门控、特定机制模型或冲突感知解码（Zhu等人，2026b (https://arxiv.org/html/2608.26295#bib.bib26); Wang等人，2026a (https://arxiv.org/html/2608.26295#bib.bib27); Jiang等人，2026 (https://arxiv.org/html/2608.26295#bib.bib28)）。其他方法在参数记忆与上下文证据之间引导模型（Zhao等人，2024 (https://arxiv.org/html/2608.26295#bib.bib6); Xin等人，2025 (https://arxiv.org/html/2608.26295#bib.bib16); Li等人，2026 (https://arxiv.org/html/2608.26295#bib.bib12)），在推理时整合证据（Wang等人，2025 (https://arxiv.org/html/2608.26295#bib.bib9)），或控制是否应调用工具（Wang等人，2026b (https://arxiv.org/html/2608.26295#bib.bib17); Chen等人，2026 (https://arxiv.org/html/2608.26295#bib.bib31); Zeng等人，2026 (https://arxiv.org/html/2608.26295#bib.bib18)）。这些方法均未评估工具返回后基于正确性的仲裁。参考标题图2：MemToC概览。(a) 对ToolHop子问题进行过滤，用类型一致的近干扰项和远干扰项进行增强，并进行质量控制，得到542个事实性项目。(b) 对于每个模型和提示表述，一次闭卷传递获得m，随后在受控返回值r下，一次工具条件传递产生y。将m和r与验证答案g进行比较，将响应分层为四种源正确性情形，将答案保留与正确和不正确工具遵循分开；控制条件单独评估。

## 3 MemToC基准测试

MemToC将源正确性与源偏好分离（图2 (https://arxiv.org/html/2608.26295#S2.F2)）：在评估任何模型之前，先构建并质量控制问题、验证答案、可执行调用和受控的不正确返回值。然后为每个模型和提示表述单独引出闭卷答案，使得情形归属特定于模型和表述，而基准测试产物保持固定。每个基准问题包括一个验证答案、一个可执行工具调用和至少一个精心整理的不正确返回值；将542个经质量控制的问题与四个工具条件和三个指令措辞变体相结合，产生6,504个固定的评估情景。

### 3.1 来源数据

MemToC构建于ToolHop（Ye等人，2025 (https://arxiv.org/html/2608.26295#bib.bib1)）之上，其995条链分解为3,912个子问题，每个子问题都有一个可执行工具调用和一个经过验证的中间答案。我们使用这些子问题，并丢弃每条链的终端答案，因为在995条链中的602条链中，该答案是通过先前步骤计算得出的，而非可独立查询的事实。保留的问题具有简短、可验证的答案，涵盖诸如人名、地点、组织和创意作品等命名实体，诸如日期、年份和时区等时间值，以及其他简短的文本值。

### 3.2 构建流程

图2 (https://arxiv.org/html/2608.26295#S2.F2)左侧总结了三个阶段的构建流程。所有人工审核和作者决策均由两名标注员独立进行。

#### 候选提取与过滤

我们将ToolHop的3,912个子问题展平并去重相同表述，得到1,948个唯一候选问题。我们保留605个事实问题，其答案可以独立检索，而非从先前的链步骤计算得出。相关和近重复的问题被分组用于折叠分配，之后通过结构和答案验证移除了30个非自包含、泄露答案或验证答案无效的问题。这产生了一个包含575个问题的构建池。

#### 干扰项构建

每个问题获得一个合理的*近*干扰项，并在可能的情况下获得一个*远*干扰项。近干扰项在类型、领域和合理性上与验证答案匹配，而远干扰项保留答案类型但在时期或国家上差异更大。对于426条记录，干扰项是使用Wikidata约束或确定性时间变换自动生成的。对于剩余的149条记录，当结构化元数据不足以识别合理替代项时，由两名标注员编写干扰项。此部分的规模是衡量结果，而非风格选择：对抽样记录的盲审显示，自动分支的残留拒绝率约为12%（目标为3%），集中在其Wikidata记录没有公民信息的近代以前和传奇人物上。自动生成和人工编写的干扰项随后都经过相同的盲审质量控制流程。

#### 质量控制

程序化检查要求每个干扰项非空、与验证答案和配对干扰项不同，并且不在Wikidata查询属性的替代有效值中。两名标注员随后审查所有575条记录的自包含性、答案泄露、验证答案有效性、干扰项类型和合理性。审查结果是503条通过，39条干扰项修复，33条排除，最终产生542个问题的基准测试集。质量控制后，542个基准问题中有443个提供了远干扰项。在人工编写干扰项的记录中，其覆盖率较低，并且在创意作品和其他简短文本值中缺失。因此，近-远比较仅限于一个非随机子集，且偏向于自动构建的干扰项。

### 3.3 评估流程

图2 (https://arxiv.org/html/2608.26295#S2.F2)(b)总结了三个阶段的评估流程。

#### 闭卷基线

对于每个模型和提示表述，我们首先在没有工具访问权限的情况下引出一个答案m。提示要求模型提供其最佳猜测而非弃权，确保m可以针对验证答案g进行评估。m的正确性决定了源正确性矩阵的行。

#### 工具条件运行

然后，我们呈现相同的问题以及受控的工具返回值r，并收集模型的最终响应y。问题文本、验证答案、可执行调用和返回值是固定的基准测试产物，而m和y是特定于模型的。每个项目都在参考提示和闭卷及使用工具指令的两个措辞变体下进行评估。返回条件包括正确返回值、近错误返回值、结构化错误载荷和无返回值。远错误返回值在拥有它的443个问题上单独评估。无操作工具作为一个单独的接口对照组，保留工具调用格式但不提供竞争性的事实值。

#### 正确性情形分配

m和r相对于g的正确性决定了每个模型-表述对分配到四种情形中的哪一种。当两个源都正确时，目标是返回g。当仅