BudgetBench：用于本地大型语言模型代理内存策略评估的预算分层协议与试点工具

# BudgetBench：用于评估本地大型语言模型智能体内存策略的预算分层协议与试点评估框架  
来源：https://arxiv.org/html/2609.13149  

###### 摘要  
对于本地大型语言模型智能体而言，活跃上下文是一种稀缺的运营资源：内存容量、预填充延迟、缓存增长以及服务目标均限制着每次调用所能承载的输入令牌数量。我们提出了BudgetBench，一个活跃预算评估协议与参考评估框架，该框架在比较内存策略时，将每次调用的输入令牌预算作为自变量。在固定模型、任务、采样器和解码参数的前提下，该框架对2K、4K、8K、16K和32K令牌的预算进行扫描，并记录质量、预算利用率、延迟，并将预算违反率作为一等重要结果指标。其核心贡献在于构建了这一可复用的测量层面：一个可替换的MemoryStrategy接口、明确的预算执行机制、确定性或版本化的评分器、提示审计元数据以及可复现性产物，所有内容均已发布于https://github.com/aviskaar/budgetbench。  

我们通过试点研究而非最终策略排名来验证该协议。通过以下实验：使用本地qwen2.5:1.5b模型（在SWE-bench Verified和LongBench v2上各89个项目）进行试点、使用精确分词的托管50项Qwen3 30B-A3B长上下文模型进行LongBench复现研究、以及使用官方GPT-4o评分器进行500项LongMemEval专家研究，该评估框架可靠地揭示了预算合规失败、非单调质量曲线以及单一预算评估所隐藏的操作点。然而，关于预算上下文与完整上下文的优劣比较仍未有定论：本地试点结果接近无差异，托管复现研究中点估计偏向完整上下文，且没有配对的置信区间能证实等效性。我们透明地报告了这些结果，包括以下发现：早期本地试点中分词器近似处理低估了某些服务模型的提示，因此其违反行数据是分词器近似诊断而非确凿的合规结果；所有计时数据均为操作诊断。这项可复用贡献体现在协议、评估框架及故障报告规范中，旨在将固定预算的内存策略评估扩展为社区基准。  

## 1 引言  
近期语言模型越来越多地宣称支持包含数万至数十万令牌的上下文窗口。这一趋势可能使显式的内存管理显得不必要：如果模型能够接受完整轨迹，那么在检索、摘要和截断之间的选择似乎就变得次要了。然而本地部署条件与此假设相矛盾。工作站、笔记本电脑或边缘设备在短上下文长度下可以流畅运行8B或14B模型，但在较长上下文时可能变得缓慢或受内存限制。即使长上下文能放入内存，应用程序也可能无法容忍相关的预填充延迟、内存压力或能耗成本。对于本地智能体，活跃上下文是一种运营资源。BudgetBench的动机源于一个实际问题：*给定固定的本地模型、固定的任务和固定的活跃上下文预算，智能体应使用哪种内存策略？*答案通常不能简化为最大上下文长度。截断策略可能成本低廉但会丢弃早期证据。摘要策略可能保留高级状态但引入额外的模型调用和摘要漂移。检索策略在严格预算下可能保留相关证据，但当查询不明确或检索语料库未以有用粒度分块时可能失败。类似MemGPT样式的层级内存系统以及生产系统如Mem0引入了额外的状态和提取策略，它们可能提高召回率但也增加了可复现性的复杂度（Packer等人, 2023；Chhikara等人, 2025）。  

现有基准测试涉及了相关问题。SWE-bench评估模型能否为真实的GitHub问题生成补丁（Jimenez等人, 2023）。LongBench和LongBench v2在多种语言任务上评估长上下文理解能力（Bai等人, 2023, 2024）。RULER和HELMET在合成和应用中心的不同长度尺度上对长上下文行为进行压力测试（Hsieh等人, 2024；Yen等人, 2024）。Lost-in-the-Middle表明，接受更长的输入并不意味着在整个序列中可靠地使用相关信息（Liu等人, 2024）。像τ-bench这样的智能体基准评估在真实领域中工具介导的交互（Yao等人, 2024）。这些基准很有价值，但它们并未标准化本地智能体开发者常规控制的自变量：分配给每次模型调用的活跃上下文预算。近期的方法论文将上下文预算置于核心地位，因此BudgetBench不应被解读为声称预算扫描本身是新的。ContextBudget将预算感知的上下文管理形式化为长期搜索智能体的序列决策问题（Wu等人, 2026b）。BudgetMem学习在预算分层的内存模块之间进行查询感知路由（Zhang等人, 2026a）。Engram报告称，精简的检索上下文在LongMemEval_S上可以使用更少的令牌达到比完整历史更好的效果（Wang, 2026）。这些论文提高了证据门槛：基准论文必须与完整上下文进行比较，报告操作指标，并使其评估框架可复用。本文声称的新颖性在于以下要素的结合：本地大型语言模型服务、固定的每次调用活跃预算、可替换的策略实现、版本化的任务评分器，以及可比较的质量-延迟-合规性日志。  

本文提出了一种预算分层协议和试点实现。该实现有意保持适度规模，包含MemoryStrategy接口、预算强制执行的评估框架、JSON Lines (JSONL) 指标日志，以及针对截断、摘要缓冲区压缩、检索增强上下文选择的参考实现，还有一个暴露的full_context直通基线以供后续比较。试点运行使用了一个小型本地模型和每个任务89个项目，以获得更密集的试点曲线，同时保持在单机上可复现。生成的数据不应被视为最终排名，而是对测量层面的经验验证：BudgetBench能够暴露在单一预算评估中不可见的质量曲线、合规失败和运行时权衡。  

#### 贡献  
本工作有五项贡献。首先，它将活跃上下文预算评估定义为一种不同于标准长上下文模型评估和特定方法预算研究的本地智能体协议。其次，它记录了一个实现，其策略接口设计允许在不修改任务逻辑的情况下引入新的内存策略。第三，它报告了一个每任务89个项目的本地试点，提供了质量、违反率、预算使用率和持续时间的完整五级表格。第四，它增加了一个经过过滤的小模型迁移检查，展示了同一协议如何兼容额外的本地文本和视觉能力模型标签，同时保持无信息运行可见。第五，它报告了一个完整的500题LongMemEval专家文件矩阵，包含5,122个上游GPT-4o判断标签和可审计的单元格产物。  

## 2 协议定义  
### 2.1 对象与符号  
令\(M\)表示通过聊天补全应用编程接口（API）暴露的固定语言模型。令\(T\)表示任务分布，其中包含项目\(x \sim T\)以及版本化评分器\(g(\hat{y}, x) \in [0, 1]\)，该评分器可以是确定性的或基于模型的。令\(B\)表示以令牌为单位的活跃上下文预算。令\(\mathcal{S}\)为一组内存策略。策略\(s \in \mathcal{S}\)将输入消息历史\(H = (m_1, ..., m_n)\)和预算\(B\)映射为预算约束的消息列表：\(s(H, B) = H'\)，使得\(\tau(H') \leq B\)，其中\(\tau\)是基准分词器或分词器近似。模型预测为\(\hat{y} = M(s(H, B))\)，观测质量为\(g(\hat{y}, x)\)。对于\(N\)个评估项目，基准报告经验质量曲线\(Q(s, B, T, M) = \frac{1}{N} \sum_{i=1}^{N} g(M(s(H_i, B)), x_i)\)，以及利用率和可靠性指标。预算扫描本身并非孤立的模型能力测试，而是在固定模型、任务、采样器和解码参数下对策略选择进行的受控消融研究。  

### 2.2 活跃预算与名义上下文窗口  
活跃预算是指策略在特定调用中允许呈现给模型的输入令牌数量。它不是模型的最大宣称上下文窗口，也不是任务的总令牌成本。这种区分很重要。一个模型可能支持32K窗口，而应用程序仅为智能体交互轮次分配4K令牌。相反，智能体在任务中可能花费许多总令牌，但每次调用仍保持在较小的活跃预算内。BudgetBench隔离了这个每次调用的约束，因为这是内存策略直接控制的量。  

### 2.3 固定预算的理由  
预算分层评估之所以有用，有三个原因。首先，它创建了可比较的操作点。报告某个策略在“短上下文”下表现良好并不精确；报告在2,048令牌下的质量则是精确的。其次，它揭示了策略的交叉点。检索可能在2K时占主导，而截断可能在16K时就足够了。第三，它揭示了非单调行为。更长的提示可能增加干扰项，将相关信息移出模型可靠使用的位置，或触发不同的生成行为。长上下文文献表明，更大的上下文窗口并不能保证可靠地使用证据（Liu等人, 2024；Hsieh等人, 2024）；BudgetBench将这一观察扩展到内存策略比较中。  

## 3 相关工作  
### 3.1 最接近的同期工作  
ContextBudget/BACM-RL是最接近的预算控制方法论文。它形式化了预算下的上下文管理，并评估了用于长期搜索智能体的学习压缩策略（Wu等人, 2026b）。BudgetMem也将成本视为可控轴，但在内存模块预算层级之间进行路由，而非暴露原始的每次调用令牌预算和第三方策略合约（Zhang等人, 2026a）。MemoryArena将重点转向多会话内存智能体-环境循环，其中记忆化与行动紧密耦合（He等人, 2026）。该基准更接近我们最终想要的长期智能体设置，但它没有为第三方策略插件暴露通用的固定令牌层级协议。LongMemEval-V2将内存评估推向环境经验和非常长的多模态轨迹，同样没有采用当前的每次调用预算扫描框架（Wu等人, 2026a）。EvoMemBench从自进化片段内和跨片段的角度评估智能体内存，将许多内存方法与长上下文基线进行比较，但它主要不是为本地部署设计的固定活跃预算框架（Wang等人, 2026）。Engram尤其重要，因为它包含了完整上下文基线、可复现的日志，以及证据表明精简的检索上下文在LongMemEval_S上可以实现比完整历史更高的准确率（Wang, 2026）。LightMem和野外提示压缩强化了操作视角：延迟、在线开销、硬件和平衡点必须被测量，而非假定（Zhang等人, 2026b；Kummer等人, 2026）。  

表1（https://arxiv.org/html/2609.13149#S3.T1）总结了BudgetBench在预算、策略、部署和指标维度上与最接近的方法和基准产物的区别。表1：与最接近的同期和背景产物的定位比较。其预期区别在于固定活跃预算、策略插件、本地部署重点、确定性评分器和操作指标的结合。  

### 3.2 长上下文基准  
LongBench引入了一个统一的双语基准，涵盖长上下文理解，包括单文档问答、多文档问答、摘要、少样本学习、合成任务和代码补全（Bai等人, 2023）。LongBench v2转向更具挑战性的多项选择设置，具有长上下文和面向推理的问题（Bai等人, 2024）。这些基准是BudgetBench有用的基底，因为它们暴露了长上下文证据选择，同时保留了自动评分。然而，它们的默认评估协议询问模型处理给定长输入的效果如何，而不是内存策略将输入适配到固定活跃预算的效果如何。RULER使用可配置的合成任务评估长上下文模型，包括检索、多跳追踪、聚合和问答（Hsieh等人, 2024）。其核心教训是，孤立的检索成功可能高估长上下文能力。HELMET类似地提倡在多样化长上下文类别上进行以应用为中心的评估，并发现合成任务不是下游性能的可靠预测器（Yen等人, 2024）。BudgetBench是互补的：它并不取代长上下文基准，而是在预期内存策略重要的任务族上施加了一个固定预算轴。  

### 3.3 智能体与软件工程基准  
SWE-bench将编码智能体评估建立在真实的仓库问题和补丁基础上（Jimenez等人, 2023）。SWE-bench Verified进一步将基准过滤为经过人类验证的500个实例子集。在完整的BudgetBench基准研究中，应使用官方容器化的SWE-bench评分。当前试点使用公开的任务数据，但用确定性的补丁相似性评分替代了官方专家，以便预算矩阵可以在单个工作站上快速运行。τ-bench评估在零售和航空领域中，涉及领域API、策略文档、模拟用户和基于状态的评分的工具-智能体-用户交互（Yao等人, 2024）。它是一个强有力的候选者，可用于未来的BudgetBench扩展，因为工具使用链正好对状态保留、策略回忆和证据选择施加了压力，而这正是内存策略旨在支持的。当前仓库包含一个τ-bench集成路径，但试点运行省略了它，因为本地的tau2-bench数据依赖未安装。  

### 3.4 内存、检索与压缩  
检索增强生成（RAG）结合了参数化模型知识和外部检索。