MaSRead：复制潜在存储的内容寻址读取

# MaSRead：复制潜在存储的内容寻址读取

Carlos Baquero  
[email protected]  
FEUP & INESC TEC，波尔图大学，波尔图，葡萄牙

Luís Brito  
[email protected]  
ESTG，维亚纳堡理工学院，维亚纳堡，葡萄牙

###### 摘要

在潜在空间中推理的独立智能体可以共享计算状态，形式为键值缓存片段而非文本。这些片段通过无冲突复制数据类型合并，形成一个存储，该存储在任意投递顺序或重复下都能收敛。然而，编码时未知的后续查询无法可靠地读取合并后的缓存：共置的片段会相互干扰，因此共置并不等于可寻址性。MaSRead 将读取指向内容。它通过从片段词语派生的不透明键控标签集进行路由，并在隐藏其余部分的硬注意力掩码下解码每个选定片段。在词汇连通性下，图遍历可以到达多跳查询所需的片段。在链式、管道、对称、中心枢纽和自然语言存储中，MaSRead 能隔离地恢复已访问片段，在无关片段累积时仍保持有效，并能迁移到另一个模型家族。路由之后，物化解码的代价取决于片段长度而非整个存储大小；端到端的工作仍包括依赖存储的路由及每个已访问片段的一次读取。局限性是明确的：词汇路由可能遗漏无连接的证据，答案组合仍受限于冻结的读取器。因此，当所需片段通过内容与查询连接时，复制潜在存储对后续查询变得可选择地可读。

关键词：潜在通信，多智能体系统，键值缓存，内容寻址，无冲突复制数据类型

## 1 引言

一条不断发展的研究路线让语言模型智能体在潜在空间而非文本中进行推理和通信：每个智能体不是交换自然语言消息，而是将其输入编码到 Transformer 的键值（KV）缓存中，并将该潜在状态传递下去（Yu 等人，2026；Zou 等人，2025；Jin 等人，2026）。当许多智能体共同贡献时，它们的潜在状态会累积到一个共享存储中，即 KV 片段的复制集合，每个片段都是一个智能体对自身输入进行推理的提炼产物（图1）。一个监视长流日常事件的智能体无需转发整个流；它可以先对流进行推理，只贡献其发现的唯一异常的潜在表示，这样存储中容纳的是提炼后的推理而非原始文本。那种紧凑的、仅含异常的*直接潜在*贡献仍然是该范式的动机，而非我们主要实验的性质：那些实验的片段是对文本的查询无关编码。不过，我们确实实践了当前机制所支持的最接近实现。一个查询无关的写入者对其本地日志应用固定传感规则，并发出一个紧凑发现；该发现（而非原始日志）被编码为 KV 片段，并在复制之后才被读取。这一练习也使签名接口变得具体。紧凑记录包含受控描述词，如*异常*、*离群点*和*尖峰*；授权写入者将这些词映射到不透明的 HMAC 标签，而时间戳和数值测量只存在于 KV 载荷中，绝不进入签名。后续查询通过描述标签到达片段，并在掩码下恢复数值；仅时间戳的查询无法路由。在 20 份冻结日志、三种污染水平和四种查询措辞下，写入者在 18/20 份日志上提取出精确异常值，路由后的掩码读取在 216/240 个查询实例上恢复该值，最终组合在 208/240 上返回答案。原始日志和仅时间戳的控制永不路由。一个单独的单一日志探针展示了未蒸馏的查询无关缓存中的保留性和显著性（附录A）。

![图1](https://arxiv.org/html/2608.11218#S1.F1 "图1")

温度日志
20.3 20.1 8 7.6 20.0 ... \ldots

document
agent A
agent B
agent C
latent A
latent B
latent C
merged latent store
CRDT：集合合并，对顺序/重复鲁棒
查询 Q（编码时未知）
共置读取
干扰 ×
MaSRead
内容寻址 ✓
蒸馏（查询无关）

图 1：设定。独立智能体将其输入*查询无关*地编码为 KV 缓存片段，提炼推理而非转发文本（在示例图中，智能体 A 只贡献了它在长流中发现的异常）。这些片段在无冲突、集合并集合并下合并为一个复制存储。后来提出的查询（片段制作时未知）通过读取该存储来回答：朴素的共置读取会干扰，而内容寻址的掩码签名读取（MaSRead）路由到词汇连接的片段，隔离地读取它们，并组合出答案。

这样的存储只有在可读时才有用，而读取问题以一种普通检索所不具备的方式显得棘手。片段是*查询无关*编码的，在任何问题提出之前就已经完成，因此后来到达的查询必须从任何贡献智能体都没有为其塑造的潜在状态中得到答案。显而易见的做法是*共置*片段，将它们各自的缓存放置在一起并读取拼接结果（Jin 等人，2026）。我们证明这行不通。共置片段会相互干扰：针对一个片段的读取会被其他片段破坏，而且随着存储增长，破坏加剧（第3节）。共置不是可寻址性。我们用内容寻址修复读取。每个片段携带一个内容派生的*签名*，即从其词语派生的可枚举的不透明键控标签集，授权的查询客户端在相同域中产生标签。存储通过标签重叠进行路由，然后在硬注意力*掩码*下解码每个选定片段，该掩码只允许该片段的块通过，因此其他片段无法干扰。路由是词汇性的，我们的控制所隔离的正是掩码而非路由：在错误掩码下读取会返回错误片段的值，而不是清理后的答案，这正是使修复成为寻址而非去噪的原因。一个查询由存储上的短程序回答：在查询上播种，沿签名图走到其所需片段，在各自掩码下读取每个片段，并组合结果（第4节）。我们称之为*掩码签名读取*（MaSRead）。其下的存储是无冲突复制数据类型：片段以内容哈希标识，并通过集合并集合并，因此无论片段到达的顺序和重复次数如何，它都收敛，容忍重复传输（第2节）。

#### 我们学到的东西。核心结果不只是某一种读取实现有效。在片段进入存储之前，*载荷形成*必须决定保留什么本地发现；路由后的异常练习表明，不正确的写入者记录会被忠实地路由，且无法在下游修复。存储/读取路径随后有六个可分离的职责，满足较早的一个并不意味着满足下一个。*存储和收敛*在每个副本上保持相同的不可变片段，但并不能使任何单个片段可选择地可读。*路由*必须找到后来查询所需的片段；我们的不透明签名遍历只有在词汇路径将查询连接到片段时才能做到。*寻址*随后必须暴露选定片段而不暴露其邻居：错误掩码控制表明，硬掩码选择读取哪个片段，而不仅仅是对共置存储去噪。*恢复*询问选定缓存能否被解码为其所保存的内容，这是一个依赖模型的步骤，通过片段重述来衡量。*隔离*询问无关存储片段能否改变该恢复；掩码在经验上提供选择性访问，而将已定位的块物化使其片段级解码器输入在结构上独立于存储的其余部分。最后，*组合*询问读取器能否将恢复的片段转换为最终答案。它始终是一个独立的、受读取器限制的操作：成功的路由和恢复并不意味对恢复内容的成功推理。这种分解使得端到端分数可解释，也是本文主要的总体教训。失败可能意味着证据缺失、被路由遗漏、寻址错误、解码不正确、被其他片段污染，或已恢复但未被组合；补救措施各不相同。我们的控制对这些情形进行定位：共置在寻址上失败，尽管信息仍然可恢复；词汇遍历在无连接证据上失败；而一些答案错误即使在完全覆盖和近乎精确重述后仍然存在，将残余定位在组合中（第4节和5.5节；附录A和H）。在异常练习中，同样的核算将所有掩码值缺失归因于两条不正确的目标写入者记录，而 8/216 次正确的掩码恢复在后续组合中丢失。在路由成立的地方，隔离恢复在无关片段累积时仍然有效，包括自然语言存储（第5.2节和5.3节）。一旦片段被定位并物化，其解码成本取决于该片段而非整个存储大小，尽管路由和读取次数仍然依赖存储和查询。我们声称可寻址性、对污染的鲁棒性和读取成本，而非对文本检索的优越性。存储并重新读取文本的流水线是另一种范式：它们预设源文本被保留，而我们研究的设定并不提供这一点。因此我们视文本检索为正交方法而非基线，并在第7.1节中诚实地说明包括读取成本在内的权衡。内容寻址是读取复制潜在存储的一种方式，依据片段包含什么；按片段在规范顺序中的位置来寻址是一个互补方向，我们留给未来工作。我们的主张是狭义的，并且我们相信具有后果性：一旦智能体在潜在空间中推理，它们产生的存储可以用于它们从未见过的查询，当这些查询通过内容连接到它们所需片段时；并且一旦片段被定位，读取成本不随存储增长，前提是它被寻址而非仅仅共置。

### 1.1 贡献

- • **一个诊断。**我们证明，查询无关、CRDT 合并的键值片段存储无法通过对共置整体解码来读取：片段相互干扰，且随着存储增长失败加剧；错误掩码控制将缺失的操作识别为寻址而非去噪（第3节和第4节）。
- • **一个读取机制。**我们用*掩码签名读取*（MaSRead）修复读取：通过内容词汇签名路由到片段，在隔离其块的硬注意力掩码下解码，并沿签名图遍历以到达多跳查询所需的多个片段（第4节）。
- • **一个评估。**我们在四种存储结构中测量查询无关的读取，在污染达到查询所需片段数倍的情况下，在自然语言多跳问题上，并跨两个模型家族；我们将读取的准确性与智能体的潜在计算分离。一个固定规则传感练习还额外将紧凑写入者发现从不透明路由、掩码恢复到最终组合贯通。在词汇遍历有覆盖的地方，读取恢复所需片段，在无关内容累积时隔离其恢复，并以独立于存储大小的成本读取已定位的物化片段（第5节；附录A、B、C和G）。
- • **两个诚实的边界。**我们定位而非隐藏方法停止之处：存储可靠地提供事实，但将事实组合成答案受限于读取器（第5.5节），且当所需片段与查询没有共享词时，词汇路由会确定性地失败（附录H）。

## 2 复制潜在存储

### 2.1 复制潜在存储读取问题

写入者 ii 接收本地输入 x_ix\_\{i\}，并在最终查询已知之前产生一个不可变元素 e_i=(id_i,KV_i,T_i,m_i)e\_\{i\}=(\\mathrm\{id\}\_\{i\},\\mathrm\{KV\}\_\{i\},T\_\{i\},m\_\{i\})。这里 KV_i\\mathrm\{KV\}\_\{i\} 是它的缓存块，T_iT\_\{i\} 是原始不透明标签侧车，m_im\_\{i\} 固定解释该元素所需的模型、编码、布局和标签模式元数据。副本持有集合 S⊆{e_i}S\\subseteq\\\{e\_\{i\}\\\}，并通过集合并集合并接收的状态。后来的查询 qq 具有任务相关的所需集合 R(q)⊆SR(q)\\subseteq S：该集合仅用于评估，而非路由器。路由器返回有序的已访问集合 V(q,S)V(q,S)；片段读取器将每个已访问元素映射到恢复输出 r_fr\_\{f\}；组合器将 (q,(r_f)_f∈V)(q,\(r\_\{f\}\)\_\{f\\in V\}) 映射到最终答案。这种分解分离了单个准确率数字可能混淆的三个问题。*寻址*询问已定位的片段能否在不容纳其他片段的情况下被暴露。*路由*询问是否 R(q)⊆V(q,S)R(q)\\subseteq V(q,S)。*回答*询问组合器能否使用恢复的输出。MaSRead 提供第一个操作，用词汇遍历实现第二个操作，并将第三个委托给冻结读取器。表1记录了由此产生的契约。

表 1：复制潜在存储读取契约。结构性陈述涉及状态或解码器输入，而非模型准确率；经验条件在第5节中测量。

### 2.2 存储状态与收敛

我们现在使存储精确化，因为正是其结构使读取问题变得困难。每个智能体在一个共享的冻结模型下查询无关地编码其输入后，贡献一个*片段*：该编码的键值缓存和一个不可变的词汇寻址侧车，由内容标识符共同命名。侧车包含不透明伪随机标签而非词语；其构造在第4节中定义。由于模型、归一化模式和编码是固定且确定性的，元素及其名称仅是输入的函数：两个编码相同输入的智能体产生相同名称下的相同片段，两个编码不同输入的智能体产生不同片段，因此同一性是精确的而非语义的。标识符绑定缓存、侧车、模式和公钥标识符，因此两个不同的侧车不能占据相同的元素身份。存储的状态是它已接收的片段集合，它记录哪些片段存在，除此之外没有别的：不记录片段何时到达、与谁一起到达，也不记录到达次数。存储的副本通过交换和合并状态进行同步。