WFM：复杂智能体推理的维基基础模型

# WFM：面向复杂智能体推理的维基基础模型
来源：https://arxiv.org/html/2609.18182  
DOI：XXXXXXX.XXXXXXX (https://doi.org/XXXXXXX.XXXXXXX)  
会议：请务必输入您权益确认邮件中的正确会议标题；2018年6月3日至5日；纽约州伍德斯托克  
ISBN：978-1-4503-XXXX-X/2018/06  
CCS：信息系统 语言模型  
CCS：计算方法学 语义网络  
CCS：信息系统 信息检索 查询处理  

Junnan Dong1†\{1\}\{\dagger\}, Linhao Luo2†\{2\}\{\dagger\}, Senlei Zhang1†\{1\}\{\dagger\}, Gong Chen1, Taian Guo1, Yifei Yu1, Rong Tao3, Tao Guo4, Qianwen Zhang1, Siyu An1*, Ruizhi Qiao1, Xing Sun1  
1腾讯优图实验室  
2莫纳什大学  
3香港浸会大学  
4深圳大学  

2018  

参考图注 图 1. 从 RAG、GraphRAG 到 LLM Wiki 的范式转变概览。  

###### 摘要。

现实世界的智能体本质上需要持久的非参数化知识进行动态推理，即长期记忆与检索增强生成。虽然图结构在提供结构化证据方面展现了可靠的优势，但其稀疏的图表示天然地限制了复杂智能体工作流所需的机器可读性与语义密度。受此局限性驱动，整个行业正见证从传统稀疏图到 **LLM Wiki** 的关键范式转变，这是一种智能体原生的知识表示，将稠密的文档上下文与包含多层拓扑链接的 Markdown 文件相结合。然而，使用传统稀疏图嵌入来参数化如此丰富的语义极具挑战性。此外，使用现有图编码器学习 LLM Wiki 可能会导致分布式系统开销过大，阻碍其在大规模商业场景中的部署。为此，我们提出了一种新颖的范式——**维基基础模型**，即 **WFM**，专为可扩展的、智能体原生的表示与检索而设计。具体而言，(i) 我们形式化了一种 **Wiki 图模式**，该模式无缝桥接细粒度结构与稠密上下文，在保持显式拓扑的同时维护连续语义；(ii) 设计了一种**查询条件下的注意力聚合方案**，用于丰富的维基消息传递与显式的注意力方差正则化；(iii) 我们设计了一种基础设施级的 **NCCL 边界交换协议**，该协议将静态分区索引提升至离线预处理阶段，并利用固定形状的 GPU 对 GPU 集合通信，绕过 CPU 序列化与内存拷贝开销。在五个长期智能体记忆与多跳推理基准测试上的广泛评估表明，WFM 表现出卓越的性能，同时在分布式集群上实现了 **10.5倍** 的训练加速。

###### 关键词：

基础模型，LLM Wiki，智能体推理

## 1. 引言

大型语言模型（LLMs）在复杂推理方面取得了显著进展，但其易产生幻觉和静态记忆边界的问题（Dong et al., 2024a (https://arxiv.org/html/2609.18182#bib.bib15); Kimi Team et al., 2026 (https://arxiv.org/html/2609.18182#bib.bib11); Bai et al., 2023 (https://arxiv.org/html/2609.18182#bib.bib10)）仍然是现实世界智能体（Yao et al., 2022 (https://arxiv.org/html/2609.18182#bib.bib12); Jennings et al., 1998 (https://arxiv.org/html/2609.18182#bib.bib5); An et al., 2026 (https://arxiv.org/html/2609.18182#bib.bib8)）面临的基本障碍。它们需要持久的非参数化知识库，以支持在长期规划与执行场景中的动态推理（Jin et al., 2025 (https://arxiv.org/html/2609.18182#bib.bib13)）。为此，长期智能体记忆（Xu et al., 2025 (https://arxiv.org/html/2609.18182#bib.bib37); Kang et al., 2025 (https://arxiv.org/html/2609.18182#bib.bib38); Fang et al., 2026 (https://arxiv.org/html/2609.18182#bib.bib39)）与检索增强生成（RAG）（Peng et al., 2024 (https://arxiv.org/html/2609.18182#bib.bib26); Han et al., 2024 (https://arxiv.org/html/2609.18182#bib.bib27); Dong et al., 2024b (https://arxiv.org/html/2609.18182#bib.bib1)）的结合已成为重要的技术支柱。虽然传统知识图（KGs）在组织结构化证据方面展示了可靠的优势，但图 RAG 已被广泛研究用于跨多个文档的复杂多跳推理任务，有效地将原始文本表示为简洁的（头，关系，尾）三元组（Dong et al., 2025 (https://arxiv.org/html/2609.18182#bib.bib2); Guo et al., 2024 (https://arxiv.org/html/2609.18182#bib.bib17); Jimenez Gutierrez et al., 2024 (https://arxiv.org/html/2609.18182#bib.bib19); Dong et al., 2023a (https://arxiv.org/html/2609.18182#bib.bib14); Edge et al., 2024 (https://arxiv.org/html/2609.18182#bib.bib16); Sarthi et al., 2024 (https://arxiv.org/html/2609.18182#bib.bib21); An et al., 2026 (https://arxiv.org/html/2609.18182#bib.bib8)）。然而，它们稀疏的关系表示天然限制了机器可读性，并缺乏复杂智能体工作流所需的语义密度（Fan et al., 2024 (https://arxiv.org/html/2609.18182#bib.bib9); Dong et al., 2026 (https://arxiv.org/html/2609.18182#bib.bib3)）。将丰富的上下文知识离散化为僵化的三元组，不可避免地剥离了细微的文本语义与宏观文档连续性，这使得智能体在长期任务中难以导航。

受这一根本局限性驱动，整个行业正见证从传统稀疏图到 **LLM Wiki**（Karpathy, 2026 (https://arxiv.org/html/2609.18182#bib.bib6)）这一智能体原生知识表示的关键范式转变。通过将稠密的文档上下文段落与包含多层拓扑链接的结构化 Markdown 文档相结合，LLM Wiki 无缝桥接了微观层面的实体连通性与宏观层面的连续文本保真度。因此，LLM Wiki 格式迅速成为前沿智能体研究与生产级工业部署的主要知识载体。鉴于其丰富的语义信息，我们倾向于使用一种专门设计的图基础模型（GFM）（Luo et al., 2025 (https://arxiv.org/html/2609.18182#bib.bib18); Xiao et al., 2025 (https://arxiv.org/html/2609.18182#bib.bib25)）来编码结构化的维基，该模型在海量数据上预训练图神经网络以获得有效的结构理解（Luo et al., 2026 (https://arxiv.org/html/2609.18182#bib.bib7); Dong et al., 2023b (https://arxiv.org/html/2609.18182#bib.bib4)）。通过 GFM 参数化 LLM Wiki，可以将多层拓扑和稠密上下文都投射到一个连续的几何嵌入空间中，从而实现通用的零样本迁移和端到端多跳推理，无需针对特定任务的架构启发式设计。

然而，在如此混合的、数据密集的 LLM Wiki 上扩展表示学习带来了严峻挑战。首先，现有的 GFM 骨干网络针对稀疏离散元组设计。当应用于高密度 LLM Wiki 时，其聚合机制会遭受灾难性的**均匀注意力崩塌**。在 Softmax 方差快速衰减的驱动下，多头注意力权重会扁平化为近似均匀分布，造成令人瘫痪的梯度锁，从而冻结表示学习。其次，我们面临着具有挑战性的基础设施可扩展性瓶颈。在基于文本增强的图分区上训练连续编码器，需要在分布式多 GPU 集群间频繁同步边界节点状态。现有实现依赖于基于 CPU 的 Gloo/Pickle 原语，引入了严重的内存拷贝和序列化开销，造成不可接受的延迟悬崖，阻碍了大规模商业扩展。

为了解决这些根本性交织的挑战，我们引入了 **维基基础模型（WFM）**，这是一种新颖的智能体原生基础范式，专为高密度 LLM Wiki 的可扩展联合表示学习而设计。WFM 将图构建、表示学习与系统执行视为一个垂直统一的框架，而不是解耦的流水线，使其数学公式与分布式硬件原语直接对齐：(i) 我们形式化了一个双层 **Wiki 图模式**，该模式通过显式的跨层超边，将离散的实体关系拓扑与稠密的段落上下文无缝耦合，在不牺牲微观结构连接性的情况下保留宏观文本语义。(ii) 我们设计了一种**查询条件下的注意力聚合方案**，其特点是采用双空间消息传递进行丰富的维基传播，并结合显式的注意力方差正则化（\(\mathcal{L}_{\text{var}}\)），该正则化施加了严格的方差下界，从数学上消除了梯度锁，并保持了清晰的多跳特征选择性。(iii) 我们设计了一种基础设施级的 **NCCL 原生边界交换协议**，该协议将静态图分区布局提升至离线预处理阶段，并通过原始 NCCL 原语执行固定形状的 GPU 对 GPU 通信，完全绕过了 CPU 序列化和主机到设备的内存拷贝开销。

我们的主要贡献总结如下：

- 我们形式化了从稀疏图到 LLM Wiki 的范式转变，建立了 **WFM** 作为首个专为文本增强拓扑上的联合表示学习而设计的基础模型。
- 提出了一种先进的维基图，结合了稀疏实体图和 LLM Wiki 的优势。
- 我们为维基图设计了专用的图编码器和相应的基础设施基础。具有方差正则化的查询条件注意力聚合方案确保了无梯度锁的多跳推理，在多 GPU 集群上实现了精确的 **10.5倍** 端到端训练加速（\(2.40\text{s} \rightarrow 0.23\text{s/step}\)）。
- 在五个智能体记忆与复杂推理基准测试上的广泛评估表明，**WFM** 显著推进了推理准确率、记忆召回率与系统吞吐量的帕累托前沿。

参考图注 图 2. WFM 概览。实体关系拓扑和段落节点在共享的维基图中编码，通过结构、对齐和注意力方差目标进行优化，并通过 GPU 常驻边界交换在图分区之间传播。

## 2. 任务形式化

为了形式化离散图拓扑与稠密文本语义的统一学习，我们首先定义图基础模型（GFM）范式和 LLM Wiki 知识表示的符号。

### 2.1. 定义与符号

#### 定义 1（图基础模型范式）

令 \(\mathcal{G}=(\mathcal{V}, \mathcal{E}, \mathcal{R})\) 表示一个大规模图结构，其中 \(\mathcal{V}\) 是节点集，\(\mathcal{E}\) 是边集，\(\mathcal{R}\) 代表关系类型集。一个图基础模型（GFM），由参数 \(\mathbf{\Theta}_{\text{GFM}}\) 参数化，将离散的图结构投射到一个连续的 \(d\) 维嵌入空间 \(\mathbb{R}^{d}\)。与针对特定任务的图神经网络不同，GFM 在多样化的领域拓扑上学习可泛化的拓扑表示，生成一个节点表示矩阵 \(\mathbf{H} \in \mathbb{R}^{|\mathcal{V}| \times d}\)，支持零样本领域迁移和连续的下游推理。

#### 定义 2（LLM Wiki 知识表示）

一个 **LLM Wiki** 是一个混合的、文本增强的知识库，表示为 \(\mathcal{W}=(\mathcal{E}_{w}, \mathcal{R}_{w}, \mathcal{D})\)。其中，\(\mathcal{E}_{w}\) 代表细粒度的实体概念，\(\mathcal{R}_{w}\) 表示实体之间的结构性互连，而 \(\mathcal{D} = \{d_{i}\}_{i=1}^{|\mathcal{D}|}\) 是与实体相关联的稠密、结构化文本文档集合。每个实体 \(e \in \mathcal{E}_{w}\) 映射到一个或多个段落上下文 \(d \in \mathcal{D}\)，将稀疏的拓扑路径 \(p = (e_{1}, r_{1}, e_{2}, \dots, e_{k})\) 与稠密的段落语义 \(\mathbf{T}(d)\) 编织在一起。

### 2.2. GFM 消息传递与特征传播

与仅在稀疏关系元组 \((e_{i}, r, e_{j})\) 上运行的传统 GNN 不同，应用于 LLM Wiki 的 GFM 必须在拓扑邻居和关联的文本上下文上执行特征传播。

形式上，在第 \(l\) 层，节点 \(v \in \mathcal{E}_{w}\) 从其图邻域 \(\mathcal{N}(v)\) 及其关联的文档集 \(\mathcal{D}_{v} \subset \mathcal{D}\) 接收的消息聚合 \(\mathbf{m}_{v}^{(l)}\) 定义为：

(1)
\[
\mathbf{m}_{v}^{(l)} = \text{AGGREGATE}^{(l)} \left( \left\{ \mathbf{MESSAGE}^{(l)} \left( \mathbf{h}_{u}^{(l-1)}, \mathbf{h}_{r}, \mathbf{T}(d_{u}) \right) \;\middle|\; u \in \mathcal{N}(v) \cup \mathcal{D}_{v}, r \in \mathcal{R}_{w} \right\} \right)
\]

节点表示 \(\mathbf{h}_{v}^{(l)}\) 随后通过将其先前状态与聚合的混合消息相结合进行更新：

(2)
\[
\mathbf{h}_{v}^{(l)} = \text{UPDATE}^{(l)} \left( \mathbf{h}_{v}^{(l-1)}, \mathbf{m}_{v}^{(l)} \right)
\]

其中 \(\mathbf{h}_{v}^{(0)}\) 通过一个联合文本-实体编码器初始化，将原始文本 \(\mathbf{T}(d_{v})\) 和实体属性映射到 \(\mathbb{R}^{d}\)。给定一个在 LLM Wiki \(\mathcal{W}\) 上的智能体查询 \(q\)，智能体多跳检索的任务是找到一个提供充分推理证据的黄金支持文档子集 \(\mathcal{D}^{*} \subset \mathcal{D}\)。标准的 GFM 传播（公式 1 和 2）在应用于稠密的 LLM Wiki 时，会遭受均匀注意力崩塌和 GPU 通信瓶颈。

## 3. 方法：WFM

本节我们将详细阐述 WFM 的架构。如图 2 (https://arxiv.org/html/2609.18182#S1.F2) 所示，WFM 将注意力聚合图基础模型（GFM）与以硬件为中心的分布式系统协同设计相结合，实现了在高密度 LLM Wiki 上的稳定表示学习与高效传播。构建阶段将 LLM Wiki 转换为类型化混合图；模型阶段在其实体和段落节点上传播信息；系统阶段在图分布在 GPU 上时实现相同的传播。

### 3.1. Wiki 图构建与双空间初始化

为了弥合离散关系三元组与稠密文档上下文之间的鸿沟，我们将一个 LLM Wiki 表示为一个混合拓扑 \(\mathcal{W}=(\mathcal{E}_{w}, \mathcal{R}_{w}, \mathcal{D})\)。其节点集是 \(\mathcal{E}_{w} \cup \mathcal{D}\) 的并集。第一类边族保留每个类型化实体关系 \((e_{i}, r, e_{j})\)，而第二类边连接实体与描述或提及该实体的段落。这些跨层链接使得段落从实体拓扑可达，而无需将其文本简化为额外的三元组。反之，实体可以从多个段落聚合上下文证据，同时保留其显式的关系类型。

我们为每个节点 \(v \in \mathcal{E}_{w} \cup \mathcal{D}\) 构建一个连续的双空间嵌入初始化：

- • 拓扑实体嵌入：每个实体 \(e \in \mathcal{E}_{w}\)