超越困惑度：面向LLM测试时训练中部署记忆声明的行为评估框架

# 超越困惑度：LLM测试时训练中部署记忆声明的行为评估框架
来源：https://arxiv.org/html/2607.00368

Xiangchen Song¹、Zhenhao Chen²、Lingjing Kong¹、Shaoan Xie¹、Xinshuai Dong¹、Guangyi Chen¹,²、Kun Zhang¹,²  
¹卡内基梅隆大学、²MBZUAI  
[email protected], [email protected]

###### 摘要

大型语言模型测试时训练（TTT）通常通过局部代理指标进行评估：模型在近期token、检索到的上下文、目标领域数据或可验证的任务尝试上进行更新，然后根据困惑度、未来token损失、长上下文性能或奖励进行评判。这些指标与流适应、领域适应、上下文压缩和奖励支持的测试时改进等声明相匹配。但作为更能力的证据则较弱——TTT结果越来越多地被用来激发部署助手记忆、个性化或稀疏部署后学习等能力，这些能力反而需要行为证据，例如后续回忆、释义鲁棒性、保持、局部性、冲突处理以及在原始支持上下文移除后在下游动作中的使用。我们引入了一个行为评估框架，将TTT记忆声明与支持它们的证据进行校准。它包含两个组成部分：一个声明校准的证据阶梯，将流/领域适应、桥梁内化和部署时行为学习分开；以及一个评估协议，配有匹配的显式记忆基线和互斥的失败类别。我们通过审计最近的TTT和记忆相关工作来验证该框架，并将其实例化为一个受控诊断任务：在稀疏的随机事实设置中，单步LoRA更新降低了跨三个Qwen3模型规模的支持和答案损失，而生成的自由形式回忆仍为零，暴露了代理改进与部署行为之间的可测量差距。该框架为作者和评估者提供了一个具体标准，将TTT记忆声明与实际报告的证据对齐。

## 1 引言

测试时训练（TTT）挑战了传统的“训练后部署”边界，允许模型在推理过程中状态或参数发生变化。在大型语言模型中，近期工作已在技术上具体化了这一想法：模型可以从检索到的邻居中更新[11](https://arxiv.org/html/2607.00368#bib.bib7)，通过快速权重学习在线隐藏状态更新[25](https://arxiv.org/html/2607.00368#bib.bib19)，为吞吐量和状态容量执行大块更新[35](https://arxiv.org/html/2607.00368#bib.bib25)，或将在线更新与下一个token预测对齐[9](https://arxiv.org/html/2607.00368#bib.bib5)。相关工作研究目标特定上下文更新[4](https://arxiv.org/html/2607.00368#bib.bib28)、元学习长上下文学习[28](https://arxiv.org/html/2607.00368#bib.bib20)、参数高效上下文记忆[7](https://arxiv.org/html/2607.00368#bib.bib4)、局部支持的参数化记忆[17](https://arxiv.org/html/2607.00368#bib.bib8)、输入困惑度最小化[13](https://arxiv.org/html/2607.00368#bib.bib10)、无标签不确定性信号[32](https://arxiv.org/html/2607.00368#bib.bib22)、无标签强化学习[40](https://arxiv.org/html/2607.00368#bib.bib38)以及自指导更新数据[41](https://arxiv.org/html/2607.00368#bib.bib39),[1](https://arxiv.org/html/2607.00368#bib.bib3)。在这些设置中，评估方案相对稳定。模型在测试时对最近观察到的token、检索到的示例、任务尝试或生成数据进行更新，然后通过更低的困惑度、更好的未来token预测、改进的长上下文准确性或更高奖励来报告性能。这些结果显示了序列内适应和紧凑利用近期上下文的真正进展，通常解决了基于Transformer系统的实际限制，如有限上下文窗口或静态参数。它们也解释了为什么TTT对LLM系统具有吸引力：在线更新可能允许模型适应新证据，而不是仅依赖于固定参数或当前提示。

本文的核心观察是，这些证据并不总是与它们所支持的声明校准。在现实世界的助手设置中，相关的问题通常不是更新是否改善了附近延续的预测。而是部署后的模型能否听到稀疏的用户偏好、获取项目特定事实、修正过时信念或学习一个程序，然后在原始支持上下文被移除后稍后使用该信息。我们将其形式化为LLM测试时训练的行为评估框架：关于记忆、个性化或稀疏部署后学习的声明，与超越困惑度的行为证据（后续回忆、释义鲁棒性、保持、局部性以及原始支持上下文移除后的冲突处理）校准，而不是仅与局部似然校准。困惑度是不完美的下游行为代理这一事实并不新鲜；类似的教训出现在模型编辑、检索和记忆评估中。LLM TTT的特殊问题是，推理时参数或状态更新使得局部似然增益特别容易被重新解释为学习、记忆或个性化的证据。我们将这种失败模式称为*证据迁移*：直接支持一个评估体制的证据被带入一个更强的部署叙事中，而没有经过该叙事所需的行为测试。关键区别在于*序列内适应*和*部署时行为学习*。在序列内适应中，模型观察一个token流，在一个支持块上更新其状态或参数，并针对同一流的未来token进行评估。在部署时行为学习中，一个已部署的模型接收稀疏但高价值的交互——事实、偏好、修正或程序——并且必须稍后以个性化和稳定的方式使用它们。局部损失降低可以强烈支持第一种设置，而只部分测试第二种。图1（https://arxiv.org/html/2607.00368#S1.F1）用稀疏的用户陈述偏好说明了这种区分，该偏好应影响后续响应。

参考图注

**图 1**：两种评估范式。上图：从稀疏用户交互中进行部署时行为学习，以用户陈述的饮食偏好为例，并评估该偏好是否改变后续面向用户的行为。下图：基于困惑度的证据，模型在过去的支持token块上更新，并在未来块上实现更低的损失。

这种区分之所以重要，是因为下游系统开始利用最近的TTT工作来实现类似记忆的能力。许多长上下文、无标签适应和奖励支持的TTT方法主要报告困惑度、似然、不确定性、吞吐量、长上下文准确性或任务奖励[25](https://arxiv.org/html/2607.00368#bib.bib19),[35](https://arxiv.org/html/2607.00368#bib.bib25),[9](https://arxiv.org/html/2607.00368#bib.bib5),[4](https://arxiv.org/html/2607.00368#bib.bib28),[28](https://arxiv.org/html/2607.00368#bib.bib20),[13](https://arxiv.org/html/2607.00368#bib.bib10),[32](https://arxiv.org/html/2607.00368#bib.bib22),[40](https://arxiv.org/html/2607.00368#bib.bib38)]。一个更近的前沿研究参数高效上下文记忆、自我适应和上下文中内化[7](https://arxiv.org/html/2607.00368#bib.bib4),[30](https://arxiv.org/html/2607.00368#bib.bib36),[17](https://arxiv.org/html/2607.00368#bib.bib8),[37](https://arxiv.org/html/2607.00368#bib.bib41)]。这些是迈向记忆系统的重要步骤，但部署时记忆增加了一个进一步的要求：稀疏的用户信息应在延迟后仍保持可用，并应针对检索或长上下文基线进行评估。许多现有的TTT论文合理地基于是代理评估，本身并不声称解决部署时记忆。问题出现在当这些结果后来被引用、总结或激发作为记忆、个性化或自我更新助手等更强声明的证据时。表1（https://arxiv.org/html/2607.00368#S1.T1）总结了常见的证据迁移模式以及支持更强部署叙事所需的行为测试。

**表 1**：证据迁移模式。对于一个声明有充分依据的证据可能被用来激发需要额外行为测试的更强部署叙事。

我们使用TTT作为推理时更新模型状态（特别是参数或快速权重）的方法的总称，并将LLM*测试时学习*（TTL）视为邻近的适应公式。我们使用*记忆*、*持续学习*和*部署时行为学习*来表示更强的声明，即部署后遇到的新信息可以被获取并稍后使用。当我们讨论*未来token增益*时，我们指在测试时更新后，对附近保留续接的改进。具体而言，本文做出四项贡献：
1. 我们识别并命名了*证据迁移*：一种失败模式，即基于困惑度、奖励或同流适应的TTT结果被用来支持关于记忆、个性化或部署后学习的更强声明。
2. 我们引入了一个声明校准的证据阶梯，从流适应的代理证据，到上下文中内化的证据，再到部署时记忆的行为证据，并将其与评估协议和匹配的显式记忆基线配对。
3. 我们通过这个阶梯审计最近的TTT和记忆相关工作，区分当前评估直接支持的内容以及更强的部署时声明需要哪些额外测试。
4. 我们通过一个受控的Qwen3/LoRA诊断来实例化和压力测试该框架，展示代理和答案似然增益可以与零生成回忆共存，并为事实、偏好、修正、程序和代理记忆声明提供声明特定的行为模板。

## 2 困惑度是不完美的代理

困惑度仍然有价值。它通常是最清晰的早期信号，表明测试时更新以非平凡方式改变了模型。问题不在于困惑度没有信息量，而在于它回答的问题比许多部署时声明所需的更窄。较低的损失可能来自对流适应有用但对部署后学习不足的机制。连续文本是一个密集证据体制。当支持和评估块来自同一段落时，它们共享主题、实体、词汇选择和局部话语结构。较低的将来token损失可能因此反映续接拟合、主题启动或附近规律性的记忆化，这正是动态评估[15](https://arxiv.org/html/2607.00368#bib.bib11),[22](https://arxiv.org/html/2607.00368#bib.bib34)旨在利用的。这是一个合法的流适应益处。然而，它不需要模型形成关于底层事实的稳定、可查询表示。密集的同流证据因此对于稀疏的部署时学习来说是较弱的证据。关联检索不同于语义获取。长上下文TTT也可以通过为当前输入构建高效的关联状态而成功。一些长上下文TTT结果与以下观点一致：TTT风格的状态充当当前上下文上的压缩关联记忆。例如，TTT-E2E[28](https://arxiv.org/html/2607.00368#bib.bib20)将TTT风格更新连接到键-值绑定机制，并报告全注意力在针堆检索上仍然强得多，部分原因是压缩的TTT风格状态可能丢弃精确检索所需的细节。这支持上下文压缩。但对于获取一个可重用的、应经受释义和延迟的事实、规则、偏好或程序，则是较弱的证据。教师强制比行为提取更容易。模型可以为支持事实的黄金续接分配更高的概率，而稍后不在关于该事实的自由形式查询中产生正确回答。这个差距在开放式解码下尤其重要：正确答案token概率的小幅增加可能仍不足以进行贪婪生成、束搜索或在释义下的鲁棒答案选择。较低的教师强制损失因此是证据表明更新在有用方向上移动了概率质量，但它不能保证学习到的信息在开放式生成期间可访问。一个系统可以改善语言模型损失，同时仍然无法在行为上检索新知识。累积流适应可能被误认为是稀疏交互学习。在标准连续文本TTT协议中，更新通常跨长输入流累积。当目标是适应该流时，这是合适的。但当同一结果被用作证据表明单个稀疏用户交互可以被内化并在稍后重用时，这就变得难以解释。流协议可能混淆对当前支持项目的即时适应与来自所有先前块的累积适应。部署时声明因此需要重置与流比较，或等效控制（当协议允许时）。局部LM指标不测试泛化、局部性或冲突。部署时学习需要的不仅仅是改进对附近文本的预测。更新应在释义、延迟、轻微分布偏移和冲突的后续证据下持续，同时保持无关行为不变。模型编辑文献提供了一个有用的警示性平行：ROME[19](https://arxiv.org/html/2607.00368#bib.bib13)和MEMIT[20](https://arxiv.org/html/2607.00368#bib.bib14)使有效性、泛化性和特异性明确，而后续评估发现短形式编辑测试可能遗漏特异性失败[12](https://arxiv.org/html/2607.00368#bib.bib32)、多跳失败[39](https://arxiv.org/html/2607.00368#bib.bib37)、长形式失败[23](https://arxiv.org/html/2607.00368#bib.bib15)、在规模下的渐进和灾难性遗忘[10](https://arxiv.org/html/2607.00368#bib.bib6)、编辑模型的更广泛评估不匹配[16](https://arxiv.org/html/2607.00368#bib.bib12)以及在实际部署中的失败[33](https://arxiv.org/html/2607.00368#bib.bib24)]。同样的教训适用于TTT记忆声明：一个局部有效的成功指标可能夸大感兴趣的实际能力，当该声明涉及延迟的、面向用户的行为时。

**要点**：支持重建、未来token损失、答案NLL以及（在使用时）候选项排序应保留在TTT报告中，因为它们是有信息的机制级信号。然而，对于部署时TTT，它们应被标记为*代理指标*，并与主要行为证据分开。

## 3 部署时记忆作为行为评估目标

这一限制并不会使现有的TTT评估对流适应、长上下文压缩、领域适应或奖励支持的测试时改进失效。问题是声明校准：这些评估本身并不建立记忆、个性化或自我更新助手叙事所暗示的更强部署时能力。体制区分很重要，因为记忆风格的部署不再是一个抽象的理想。它已经是直接行为评估的目标。LoCoMo[18](https://arxiv.org/html/2607.00368#bib.bib33)] evalu