Context-Agent: 用于非线性对话的动态话题树

# Context-Agent: 用于非线性对话的动态话语树
来源: https://arxiv.org/html/2604.05552
胡俊安、郭舒丹、刘文琪、尹建华、韦银伟 山东大学，中国 junanhu@mail\.sdu\.edu\.cn, weiyinwei@hotmail\.com

###### 摘要

大语言模型在许多语言任务中表现出色，但在管理人类对话的非线性流程时仍面临根本性挑战。当前普遍采用的方法是将对话历史视为平坦的线性序列，这与自然话语的层级化和分支性结构不一致，导致上下文利用效率低下，以及在涉及主题转换或指令细化的长期交互中失去连贯性。为了解决这一限制，我们提出了 Context-Agent，这是一个将多轮对话历史建模为动态树结构的新型框架。这种方法反映了对话的内在非线性性，使模型能够维护和导航与不同主题相对应的多个对话分支。此外，为了便于稳健评估，我们引入了非线性任务多轮对话（NTM）基准，专门设计用于评估模型在长期非线性场景中的性能。我们的实验表明，Context-Agent 增强了任务完成率，并在各种大语言模型中提高了令牌效率，强调了结构化上下文管理对于复杂动态对话的价值。数据集和代码可在 GitHub (https://github.com/Steve2457/Context-Agent) 上获得。

Context-Agent: 用于非线性对话的动态话语树

胡俊安、郭舒丹、刘文琪、尹建华、韦银伟††感谢：通讯作者。山东大学，中国 junanhu@mail\.sdu\.edu\.cn, weiyinwei@hotmail\.com

## 1 引言

基于大语言模型的对话系统的进步对于下一代应用的有效性至关重要，包括 AI 代理和协作机器人，其中维护上下文感知通信的能力对于任务完成和用户参与是基础性的（Durante 等，2024；Yao 等，2024；Sun 等，2026）。随着大语言模型上下文窗口扩展技术的出现，多轮对话的能力得到了显著提升（Li 等，2025）。

参见图1：线性（上）对比非线性（下）对话流程的示意图。然而，大语言模型仍在努力应对自然人类对话固有的一个根本挑战：非线性对话流程的管理。这种现象发生在对话主题不按顺序推进，而是出现转换、主题跳跃或讨论线索交织的情况（Laban 等，2025）。这种非线性动态在现实交互中很常见，用户可能会重新讨论之前的话题、引入新主题，或基于不断演化的理解或背景来完善早期陈述（Mann 和 Thompson，1988）。当前将对话历史视为平坦线性序列的普遍方法从根本上与人类对话的内在结构不一致（Wang 等，2024；Li 等，2025）。这种线性范式无法捕捉对话的层级化和分支性特征，导致上下文利用效率低下，以及在长期交互中难以维持连贯性（Lian 等，2026；Ding 等，2024）。

有效解决非线性流程问题需要克服若干挑战。首先是准确识别和管理对话中的主题转换和指令细化。其次是从可能庞大和复杂的对话历史中高效选择上下文。随着对话延伸到多个轮次，信息的积累可能导致计算成本增加，以及用大量无关细节压倒模型的风险（Joren 等，2025；Jiang 等，2026），导致"大海捞针"问题（Liu 等，2024b；Vaswani 等，2017）。第三个挑战在于开发强大的评估指标和基准，这些基准能够准确评估模型在处理非线性对话中的性能，因为现有数据集往往缺乏现实交互中发现的复杂性和多样性。

为了解决这些挑战，受人类认知过程中对管理复杂对话的层级化组织的启发（Grosz 和 Sidner，1986），我们提出了 Context-Agent，这是一个将多轮对话历史建模为动态树的新型框架。这种方法允许以反映其内在非线性特性的方式表示对话，使模型能够维护与不同主题相对应的多个对话分支。此外，认识到现有数据集对此问题的不足，我们引入了非线性任务多轮对话（NTM）基准，专门设计用于评估模型在长期非线性对话场景中的性能。该基准具有多个主题转换和指令细化的对话，为评估上下文管理策略提供了更现实和具有挑战性的测试平台。

总而言之，本文的主要贡献如下：

- • 我们提出 Context-Agent，一个将对话历史建模为动态树的新型框架。这种方法捕捉非线性话语结构，通过树结构实现精确的上下文导航。
- • 我们引入非线性任务多轮对话（NTM）基准。它具有具有复杂主题转换和指令细化的长期对话，为非线性上下文管理提供了严格的测试平台。
- • 在各种大语言模型上的实验表明，Context-Agent 显著优于线性基准，提高了任务完成率，同时降低了令牌使用量。

## 2 相关工作

线性上下文扩展和压缩。虽然最近的工作探索了结构化和任务感知的参数高效微调（Xiao 等，2026），上下文扩展架构如 YaRN（Peng 等，2024）和 LongLoRA（Chen 等，2024）扩展了上下文窗口，但面临高计算成本和"迷失在中间"问题（Liu 等，2024b）。相反，压缩方法（Su 和 Zhou，2022；Park 等，2021）减少了令牌使用量，但通过扁平化对话结构降低性能，牺牲了复杂推理所需的细节。

结构化内存和检索。检索增强生成（RAG）将外部检索适配到内部对话历史，各种方法解决数据质量问题和减轻检索诱导的幻觉（Zhang 等，2026a；Ma 等，2024）。虽然平坦检索方法如 DH-RAG（Zhang 等，2025）过滤无关轮次，但它们经常检索缺乏局部连贯性的碎片化片段。最近的进展已转向结构化内存。值得注意的是，MemTree（Rezazadeh 等，2024）和 RAPTOR（Sarthi 等，2024）将信息组织成层级树结构。

| 方法 | 结构 | 构建基础 | 检索单元 | 局部连贯性 | 更新效率 |
|------|------|---------|---------|-----------|---------|
| 线性和压缩方法 | 完整上下文 | 线性序列 | 令牌级联 | 整个历史 | 高 | 非常低（O(N²)） |
| MemGPT | 操作系统类层级 | 事件触发/函数 | 分页内存 | 高（自编辑） | 中等 |
| 检索增强生成（RAG） | 标准 RAG | 平坦索引 | 语义相似度 | 独立块 | 低（不连贯） | 高 |
| DH-RAG | 链 | 语义聚类 | 查询链 | 高（动态） | 中等（增量） |
| 树结构内存 | RAPTOR | 静态树 | 自下而上聚类 | 抽象摘要 | 高 | 低（离线重建） |
| MemTree | 动态树 | 在线聚类 | 折叠节点 | 中等（不连贯） | 高（O(log N)） |
| Context-Agent（我们的方法） | 动态树 | 话语意图 | 连贯路径 | 非常高（路径感知） | 高（事件触发） |

表1：上下文管理范式的比较。我们将我们的方法与线性方法、标准 RAG、高级 RAG 和基于树的内存进行比较。表1 描述了我们的框架与现有范式之间的区别。当前结构化方法（如 MemTree）的一个根本限制在于它们依赖语义相似度进行聚合，根据文本重叠而非话语流对内容进行分组。这往往将具有词汇特征共同但意图不同的不同对话线索混淆。相反，Context-Agent 明确建模话语结构（Grosz 和 Sidner，1986）。通过基于导航意图（例如指令细化、主题转换）构建树，并检索连贯路径而非孤立节点，我们的方法保留了复杂长期任务所需的逻辑连贯性。

## 3 方法

我们的框架将多轮对话建模为主题树的森林。每棵树代表一个不同的主题，由节点（对话单元）和分支组成。对话的演化通过状态转换管理。

### 3.1 形式问题定义

传统对话系统将历史建模为线性序列 Ht = {(q₁, r₁), ..., (qt, rt)}，通过函数 g(Ht, qt+1) 从查询 qt+1 生成响应 rt+1。这种平坦表示导致上下文冗余和结构信息丧失。

为了解决这一限制，我们引入并形式化了非线性上下文对话管理问题。这个问题的中心前提是从将整个历史 Ht 视为无差别输入转变为将其表示为动态演化、层级结构化的对话森林 Ft。

我们将交互流建模为动态树以与注意状态理论相一致（Grosz 和 Sidner，1986）。该理论认为人类认知焦点按层级操作，管理焦点栈而不是连通图。显式图结构冒着违反局部连贯性的风险，通过合并不同分支引入噪声。相比之下，我们的树框架在分叉路径（例如不同的旅行计划）之间强制逻辑隔离。这种设计反映了人类认知分离，确保模型保持清晰、无干扰的思维过程。

在每个轮次 t+1，给定：

- • 表示为森林的结构化对话历史 Ht = Ft。
- • 当前状态 St = (Ht, Tact, Bact, ncur)，包括历史、活跃主题树、活跃分支和当前节点。
- • 新的用户查询 qt+1。

目标是学习一个策略 π，包括两个关键函数：上下文选择函数 fselect 和响应生成函数 fgen：

Ct+1 = fselect(qt+1, St)
rt+1 = fgen(qt+1, Ct+1)

其中 Ct+1 代表一个高度相关的上下文子集，从结构化历史 Ht 中动态选择和构建。最终目标是最大化任务完成率，同时最小化选择的上下文 Ct+1 的令牌占用，从而在不损害对话连贯性或任务导向性能的情况下实现高效的上下文利用。

参见图2：Context-Agent 框架概览。它说明了表示为主题树森林的多轮对话的动态演化，分支表示子对话路径。每个节点中的数字表示对话中的轮次号。实线代表活跃路径，虚线表示非活跃路径。

### 3.2 核心组件

##### 节点

对话的最小单位是节点 n，它代表用户和模型之间对话的一轮内容。每个节点定义为一个元组：

n = (c, v, p, β, si)

其中 c 是当前对话轮次的内容，v ∈ ℝd 是其 d 维文本嵌入，p 是父节点的标识符（根节点为空），β 是分支标识符，si 是节点内容的摘要。在每一轮之后，总结函数 Snode 将内容 ci 转换为摘要 si = Snode(ci)，用于后续的主题归属和分支管理。

##### 主题树

一个独立主题由主题树 T 表示。它是一个有向无环图 T = (N, E)。其中 N = {n₁, n₂, ..., nk} 是该主题下所有节点的集合，E = {(ni, nj) | p(nj) = ni} 是节点之间的有向边集合，代表对话的继承关系。新主题的第一个对话轮次被设置为根节点（其父节点为空）的主题树。

##### 分支

在同一主题树 T 中，分支 B 是一条相对独立的对话路径，从分支点开始但仍保持在同一主题下。它定义为一个有序节点序列 B = ⟨n₁, n₂, ..., nk⟩，其中任意两个相邻节点 (ni, ni+1) 满足 p(ni+1) = ni。同一分支中的所有节点共享相同的分支标识符 β。

##### 对话历史

多轮对话的完整历史 H 表示为包含多个主题树的森林 F，即 H = F = {T₁, T₂, ..., Tm}。

### 3.3 状态转换

对话在轮次 t 时的状态定义为 St = (Ht, Tact, Bact, ncur)，包括历史、活跃主题树、活跃分支和当前节点。对话通过由新用户查询驱动的状态转换而演化。收到新查询时，系统分析该查询以确定主题和管理分支，相应更新状态。此过程涉及以下步骤：

- • 步骤0：初始化 将第一个主题树 T₁ 初始化为活跃树 Tact。定义一个聚合函数 S 来总结