这篇关于智能体记忆存储为链接式Markdown维基的论文非常有趣。

如果你从事LLM维基相关研究，其中包含许多精彩的观点和见解。

维基对智能体很有用，因为每个页面承载密集文本，而页面之间的链接则保存结构信息。WFM（维基基础模型）被训练来同时利用这两者。

它将LLM维基转化为图结构，并通过基于查询的消息传递机制进行检索，因此每个页面的文本内容与链接结构共同影响最终结果。

该团队还构建了一种GPU到GPU的训练协议，训练速度提升达10.5倍，并在五个智能体记忆与多跳推理基准测试中报告了优异结果。

如果你的智能体长期记忆是一组相互链接的Markdown文件，WFM正是为此格式设计。

论文地址：https://arxiv.org/abs/2609.18182

对话论文：https://academy.dair.ai/papers/wfm-wiki-foundation-model-for-complex-agentic-reasoning-2609.18182…

WFM：面向复杂智能体推理的维基基础模型

来源：https://arxiv.org/html/2609.18182 DOI：XXXXXXX.XXXXXXX (https://doi.org/XXXXXXX.XXXXXXX) 会议：请确保输入您版权确认邮件中的正确会议标题；2018年6月3日–5日；纽约州伍德斯托克 ISBN：978-1-4503-XXXX-X/2018/06 CCS：信息系统 语言模型 CCS：计算方法论 语义网络 CCS：信息系统 信息检索查询处理 作者：Junnan Dong1†，Linhao Luo2†，Senlei Zhang1†，Gong Chen1，Taian Guo1，Yifei Yu1，Rong Tao3，Tao Guo4，Qian-wen Zhang1，Siyu An1*，Ruizhi Qiao1，Xing Sun1 单位：1腾讯优图实验室 2莫纳什大学 3香港浸会大学 4深圳大学

2018

插图说明 图1.从RAG、GraphRAG到LLM Wiki的范式转变概览草图。

摘要.

现实世界的智能体根本上需要持久性的非参数化知识以实现动态推理，即长期记忆与检索增强生成。尽管图结构在提供结构化证据方面已展现出可靠的优势，但其稀疏的图表示天然限制了复杂智能体工作流所需的机器可读性与语义密度。受此局限驱动，整个行业正在见证从传统稀疏图向LLM Wiki的范式转变——这是一种智能体原生的知识表示方式，将密集文档上下文与包含多层拓扑链接的Markdown文件相结合。然而，利用传统稀疏图嵌入对如此丰富的语义进行参数化编码，难以捕捉密集的文本上下文。此外，使用现有图编码器学习LLM Wiki可能会因分布式系统开销而不堪重负，阻碍在大规模商业场景中的部署。为此，我们提出一种新颖的范式——维基基础模型（Wiki Foundation Model，即WFM），专为可扩展的智能体原生表示与检索而设计。具体而言，(i)(i)我们形式化了一种Wiki图模式，该模式无缝衔接细粒度结构与密集上下文，在保持显式拓扑结构的同时兼顾连续语义；(ii)(ii)针对丰富的维基消息传递设计了查询条件化的注意力聚合方案，并引入显式注意力方差正则化；(iii)(iii)我们设计了一种基础设施层面的NCCL边界交换协议，将静态分区索引提升至离线预处理阶段，并利用固定形状的GPU间通信原语，绕过CPU序列化与内存拷贝开销。在五个长期智能体记忆与多跳推理基准测试中的广泛评估表明WFM表现卓越，同时在分布式集群上实现了10.5倍的训练加速。

关键词：

基础模型，LLM Wiki，智能体推理

1.引言

大语言模型（LLMs）在复杂推理方面取得了显著进展，但其易产生幻觉且记忆边界静态（Dong et al., 2024a；Kimi Team et al., 2026；Bai et al., 2023）的问题仍然是现实世界智能体（Yao et al., 2022；Jennings et al., 1998；An et al., 2026）面临的基本障碍。它们需要持久性的、非参数化的知识库来支持长周期规划与执行场景中的动态推理（Jin et al., 2025）。为此，长期智能体记忆（Xu et al., 2025；Kang et al., 2025；Fang et al., 2026）与检索增强生成（RAG）（Peng et al., 2024；Han et al., 2024；Dong et al., 2024b）的整合已成为必要支柱。虽然传统知识图谱（KGs）在组织结构化证据方面展现出可靠优势，GraphRAG已被广泛研究用于跨多个文档的复杂多跳推理任务，能将原始文本有效表示为简洁的（头实体，关系，尾实体）三元组（Dong et al., 2025；Guo et al., 2024；Jimenez Gutierrez et al., 2024；Dong et al., 2023a；Edge et al., 2024；Sarthi et al., 2024；An et al., 2026）。然而，其稀疏的关系表示本质上限制了机器可读性，并缺乏复杂智能体工作流所需的语义密度（Fan et al., 2024；Dong et al., 2026）。将丰富的上下文知识离散化为僵化的三元组，不可避免地剥离了细微的文本语义与宏观文档连续性，这使得智能体在长程任务中难以导航。

受这一根本局限驱动，整个行业正在见证从传统稀疏图向LLM Wiki的关键范式转变（Karpathy, 2026），这是一种智能体原生的知识表示方式。通过将密集的文档上下文段落与包含多层拓扑链接的结构化Markdown文档相结合，LLM Wiki无缝衔接了微观层面的实体连接性与宏观层面的连续文本保真度。因此，LLM Wiki格式已迅速成为最先进的智能体研究与大规模工业部署的领先知识基底。鉴于其丰富的语义信息，与现有的免训练框架不同，我们受到启发，使用定制的图基础模型（GFM）（Luo et al., 2025；Xiao et al., 2025）对结构化维基进行编码，该模型在海量数据上预训练图神经网络以获得有效的结构理解（Luo et al., 2026；Dong et al., 2023b）。通过GFM对LLM Wiki进行参数化，可将多层拓扑与密集上下文投射到连续的几何嵌入空间，从而实现可泛化的零样本迁移和端到端多跳推理，无需特定任务架构的启发式设计。

然而，在这种混合、数据密集的LLM Wiki上扩展表示学习带来了严峻挑战。首先，现有的GFM骨干网络针对稀疏离散三元组设计。当应用于高密度LLM Wiki时，其聚合机制会遭遇灾难性的均匀注意力崩溃。受Softmax方差快速衰减驱动，多头注意力权重会平坦化为近均匀分布，导致麻痹性的梯度锁死，使表示学习停滞。其次，我们面临一个具有挑战性的基础设施可扩展性瓶颈。在文本增强的图分区上训练连续编码器，需要分布式多GPU集群间频繁同步边界节点状态。现有实现依赖于CPU绑定的Gloo/Pickle原语，引入了严重的内存拷贝与序列化开销，造成不可接受的延迟悬崖，阻碍了大规模商业扩展。

为解决这些根本性交织的挑战，我们引入了Wiki基础模型（WFM），这是一种新颖的智能体原生基础范式，专为在高密度LLM Wiki上进行可扩展的联合表示学习而设计。WFM将图构建、表示学习与系统执行统一为一个垂直整合的框架，使数学公式直接与分布式硬件原语对齐，而非将它们视为解耦的流水线：(i)(i)我们形式化了一种双层Wiki图模式，该模式通过显式的跨层超边将离散的实体-关系拓扑与密集段落上下文无缝耦合，在不牺牲微观结构连接性的同时保持宏观层面的文本语义。(ii)(ii)我们设计了一种查询条件化的注意力聚合方案，该方案具有双空间消息传递机制以实现丰富的维基传播，并结合显式注意力方差正则化（(Lvar\mathcal{L}_{\text{var}})），通过强制执行严格的方差下界，从数学上消除梯度锁死并保持敏锐的多跳特征选择性。(iii)(iii))我们设计了一种基于NCCL的基础设施边界交换协议，将静态图分区布局提升至离线预处理阶段，并通过原始NCCL原语执行固定形状的GPU间通信，完全绕过CPU序列化与主机到设备的内存拷贝开销。

我们的主要贡献总结如下：

• •我们形式化了从稀疏图到LLM Wiki的范式转变，确立WFM为首个专为文本增强拓扑联合表示学习而设计的基础模型。
• •我们提出了一种先进的维基图，结合了稀疏实体图与LLM Wiki的优势。
• •我们为维基图设计了定制的图编码器及相应的基础设施。带有方差正则化的查询条件化注意力聚合方案确保了无梯度锁死的多跳推理，并在多GPU集群上实现了精确的10.5倍端到端训练加速（2.40秒→0.23秒/步）。
• •在五个智能体记忆与复杂推理基准测试中的广泛评估表明，WFM显著提升了推理准确性、记忆召回率和系统吞吐量的帕累托前沿。

插图说明 图2.WFM概述。实体-关系拓扑和段落节点在共享的Wiki图中编码，通过结构、对齐和注意力方差目标进行优化，并通过GPU驻留边界交换在图分区之间传播。

2.任务形式化

为形式化离散图拓扑与密集文本语义上的统一学习，我们首先定义图基础模型（GFM）范式与LLM Wiki知识表示的符号。

2.1.定义与符号

定义 1（图基础模型范式）。

令(\mathcal{G}=(\mathcal{V},\mathcal{E},\mathcal{R}))表示一个大规模图结构，其中(\mathcal{V})是节点集，(\mathcal{E})是边集，(\mathcal{R})表示关系类型集。一个图基础模型（GFM），参数为(\mathbf{\Theta}_{\text{GFM}})，将离散图结构投射到连续的d维嵌入空间(\mathbb{R}^{d})。与特定任务的图神经网络不同，GFM学习跨多种领域拓扑的可泛化拓扑表示，生成一个节点表示矩阵(\mathbf{H}\in\mathbb{R}^{|\mathcal{V}|\times d})，支持零样本领域迁移和连续下游推理。

定义 2（LLM Wiki 知识表示）。

一个LLM Wiki是一个混合的、文本增强的知识库，记为(\mathcal{W}=(\mathcal{E}_{w},\mathcal{R}_{w},\mathcal{D}))。其中，(\mathcal{E}_{w})表示细粒度的实体概念，(\mathcal{R}_{w})表示实体间的结构化连接，(\mathcal{D}={d_{i}}_{i=1}^{|\mathcal{D}|})是与实体相关联的密集、结构化文本文档集合。每个实体(e\in\mathcal{E}_{w})映射到一个或多个段落上下文(d\in\mathcal{D})，将稀疏的拓扑路径(p=(e_{1},r_{1},e_{2},\dots,e_{k}))与密集的段落语义(\mathbf{T}(d))编织在一起。

2.2.GFM 消息传递与特征传播

与仅在稀疏关系三元组((e_{i},r,e_{j}))上操作的传统GNN不同，LLM Wiki上的GFM必须在拓扑邻居和相关文本上下文之间进行特征传播。

形式上，在第(l)层，节点(v\in\mathcal{E}_{w})从其图邻域(\mathcal{N}(v))及其耦合的文档集(\mathcal{D}_{v}\subset\mathcal{D})获得的消息聚合(\mathbf{m}_{v}^{(l)})定义为：

[(1)\quad \mathbf{m}_{v}^{(l)}=\text{AGGREGATE}^{(l)}\left(\left{\mathbf{MESSAGE}^{(l)}\left(\mathbf{h}_{u}^{(l-1)},\mathbf{h}_{r},\mathbf{T}(d_{u})\right) ;\middle|;u\in\mathcal{N}(v)\cup\mathcal{D}_{v},r\in\mathcal{R}_{w}\right}\right)]

节点表示(\mathbf{h}_{v}^{(l)})随后通过将其先前状态与聚合的混合消息结合来更新：

[(2)\quad \mathbf{h}_{v}^{(l)}=\text{UPDATE}^{(l)}\left(\mathbf{h}_{v}^{(l-1)},\mathbf{m}_{v}^{(l)}\right)]

其中(\mathbf{h}_{v}^{(0)})通过联合文本-实体编码器初始化，该编码器将原始文本(\mathbf{T}(d_{v}))和实体属性映射到(\mathbb{R}^{d})。给定一个智能体查询(q)和一个LLM Wiki (\mathcal{W})，智能体多跳检索的任务是定位一个金标准支持文档子集(\mathcal{D}^{*}\subset\mathcal{D})，为推理提供足够证据。标准的GFM传播（公式1和2）在应用于密集的LLM Wiki时，会遭遇均匀注意力崩溃和GPU通信瓶颈。

3.方法：WFM

在本节中，我们将详细阐述WFM的架构。如图2 (https://arxiv.org/html/2609.18182#S1.F2) 所示，WFM将注意力聚合图基础模型（GFM）与以硬件为中心的分布式系统协同设计相结合，实现了对高密度LLM Wiki的稳定表示学习和高效传播。构建阶段将LLM Wiki转换为类型化的混合图；模型阶段在其实体和段落节点上传播信息；系统阶段则在图跨GPU分区时实现相同的传播。

3.1.Wiki图构建与双空间初始化

为了弥合…