HawkesLLM：智能体文本模拟中的语义不确定性传播

# HawkesLLM：代理文本模拟中的语义不确定性传播

来源：https://arxiv.org/html/2605.23043

######  摘要

代理文本模拟系统按顺序生成文本，每个生成的条目都可能成为后续步骤的上下文。这使得不确定性具有路径依赖性：早期的歧义会影响后续输出。本文通过HawkesLLM研究这一问题，该框架将时间影响建模与文本生成相分离。我们将级联表示为一个网络，其节点是文本生成代理。一个多元霍克斯过程对这些节点随时间激活的方式，以及哪些早期节点输出应影响后续提示进行建模。然后，语言模型根据该时间模型选择的紧凑记忆写入每个新事件。我们在一项基于GDELT新闻级联案例研究的预留测试集上评估该框架。诊断指标追踪生成事件与局部预留参考的语义对齐，并区分局部漂移和全局漂移。在此设置下，HawkesLLM在紧凑的提示记忆预算下改善了后期阶段的语义对齐。

## 1 引言

许多文本模拟工作流程都是多步骤过程。系统写入一个条目，将其保留在记忆中，然后在记忆的基础上写入后续内容。在这里，*代理性*指的是这种对生成记忆的迭代使用：每个输出都可能成为下一个提示的一部分。在此类系统中，不确定性属于整个轨迹，而不仅仅是某个单一响应。歧义、漂移和错配都可能向前传递，因为后续提示依赖于先前生成的内容。关于语言代理系统中不确定性和自由形式生成中语义不确定性的近期工作，为这一观点提供了支持（Zhao等人，2025（https://arxiv.org/html/2605.23043#bib.bib13）；Han等人，2024（https://arxiv.org/html/2605.23043#bib.bib14）；Liu等人，2024a（https://arxiv.org/html/2605.23043#bib.bib15）；Farquhar等人，2024（https://arxiv.org/html/2605.23043#bib.bib16）；Lin等人，2023（https://arxiv.org/html/2605.23043#bib.bib17））。如果生成的输出成为未来的上下文，那么不确定性应该在整个序列中进行追踪，而不仅仅是在最终阶段。

我们将此问题研究为*语义不确定性传播*：随着生成历史的增长，生成事件如何保持（或未能保持）在局部预留参考邻域附近。这些参考来自同一事件流，充当语义锚点。它们使我们能够问：模拟是否随时间保持在同一个局部区域？我们为此提出HawkesLLM。模拟是在文本生成节点上进行的级联。一个霍克斯过程对节点何时激活以及哪些早期节点输出应对下一个提示起作用进行建模。然后语言模型根据此选定的记忆写入下一个事件。我们使用*记忆选择*来指代对特定节点前驱文本及其权重的选择。这一设计也受到以下证据的驱动：长上下文语言模型并不总是能够可靠地利用所提供的所有上下文（Liu等人，2024b（https://arxiv.org/html/2605.23043#bib.bib23））。

我们在一个GDELT新闻级联案例研究中演示该框架。新闻领域在此很有用，因为它具有带时间戳的事件流，可以映射到一小类节点。来自同一主题窗口的预留文章作为生成事件的不完美局部语义参考。我们做出三项贡献。首先，我们形式化了迭代文本模拟中的语义不确定性传播问题。其次，我们开发了HawkesLLM作为一种霍克斯引导的转移机制，对事件时间和节点进行采样，并构建紧凑的节点级提示记忆。第三，我们在预留的新闻级联案例研究中对其进行评估，结果表明在紧凑的提示记忆预算下，HawkesLLM改善了后期阶段的语义对齐。

## 2 相关工作

有一类工作探讨应如何在多步骤代理系统中处理不确定性（Zhao等人，2025（https://arxiv.org/html/2605.23043#bib.bib13）；Han等人，2024（https://arxiv.org/html/2605.23043#bib.bib14）；Liu等人，2024a（https://arxiv.org/html/2605.23043#bib.bib15））。在该设置中，不确定性通常成为一种控制信号：代理可以调用工具、请求帮助或校准其答案。在这里，研究对象是生成的文本路径。早期的生成内容成为后期生成内容所读取的状态的一部分，因此我们追踪语义不确定性如何沿着已实现的级联移动。

语义不确定性和黑盒置信度方法通常将可能的答案与同一个自由形式生成问题进行比较（Farquhar等人，2024（https://arxiv.org/html/2605.23043#bib.bib16）；Lin等人，2023（https://arxiv.org/html/2605.23043#bib.bib17））。漂移工作则关注在多次重复生成后会发生什么（Spataru等人，2024（https://arxiv.org/html/2605.23043#bib.bib18）；Mohamed等人，2025（https://arxiv.org/html/2605.23043#bib.bib19））。我们将路径本身作为评估对象：每个生成的事件都与局部预留报道进行比较，而漂移指标则分离了与提示记忆的短程一致性以及远离种子的长程移动。

图级联模型为我们提供了一个固定的图、种子事件，以及在该图上展开的级联（Kempe等人，2015（https://arxiv.org/html/2605.23043#bib.bib24）；Kleinberg，2007（https://arxiv.org/html/2605.23043#bib.bib25））。在我们的设置中，每次激活也会产生文本。我们使用霍克斯过程作为时间层，因为它将过去的激活转化为节点之间具有方向性的衰减影响分数（Hawkes，1971（https://arxiv.org/html/2605.23043#bib.bib1）；Ogata，1981（https://arxiv.org/html/2605.23043#bib.bib2）；Rizoiu等人，2017（https://arxiv.org/html/2605.23043#bib.bib20））。神经时间点过程和最近的时间-语言混合模型可以建模更丰富的动态性或预测下一个事件（Mei和Eisner，2017（https://arxiv.org/html/2605.23043#bib.bib21）；Zuo等人，2020（https://arxiv.org/html/2605.23043#bib.bib22）；Li等人，2025（https://arxiv.org/html/2605.23043#bib.bib9）；Liu和He，2025（https://arxiv.org/html/2605.23043#bib.bib10）；Zhou等人，2025（https://arxiv.org/html/2605.23043#bib.bib12））。更简单的参数化霍克斯模型在此很有用，因为其拟合的节点间影响可以暴露为LLM提示的可检查记忆信号。从这个意义上说，HawkesLLM介于基于LLM的社会或代理模拟（Park等人，2023（https://arxiv.org/html/2605.23043#bib.bib7）；Sun等人，2024（https://arxiv.org/html/2605.23043#bib.bib6）；Murdock等人，2023（https://arxiv.org/html/2605.23043#bib.bib5）；Zhang等人，2025（https://arxiv.org/html/2605.23043#bib.bib11））和检索增强生成（Lewis等人，2020（https://arxiv.org/html/2605.23043#bib.bib8））之间：状态是一系列生成的事件文本，而检索到的记忆由时间级联动态驱动。

## 3 方法

HawkesLLM包含两层。第一层是一个文本模拟循环：节点被调度，选择紧凑记忆，LLM写入下一事件。第二层是一个霍克斯过程，提供调度和记忆权重。第3.1节（https://arxiv.org/html/2605.23043#S3.SS1）定义了通用循环。第3.2节（https://arxiv.org/html/2605.23043#S3.SS2）介绍了用于节点间时间影响的多元霍克斯模型。第3.3节（https://arxiv.org/html/2605.23043#S3.SS3）随后将该模型接入循环。

### 3.1 代理文本模拟框架

我们在一个固定有向图上对文本传播进行建模（Kempe等人，2015（https://arxiv.org/html/2605.23043#bib.bib24）；Kleinberg，2007（https://arxiv.org/html/2605.23043#bib.bib25））。一个节点是模拟中的一个文本生成代理，一个事件是某个节点在某时间戳上的激活，以及该激活时生成的文本。

设 $G_0 = (N, E)$ 表示未加权的有向影响图。这里 $N = \{1, \ldots, N\}$ 是节点集，$E \subseteq N \times N$ 是允许的有向影响集合。我们假设 $E = N \times N$，即任何节点都能影响任何其他节点（包括自身）。任何节点都可以在某个生成步骤被激活，并且任何先前激活的节点在 $E$ 允许的情况下都可以贡献记忆。第3.2节（https://arxiv.org/html/2605.23043#S3.SS2）描述了如何从数据中学习有效边权重。

生成从一个种子事件 $e_0 = (\tau_0, n_0, x_0)$ 开始，其中 $\tau_0$ 是种子时间戳，$n_0 \in N$ 是种子节点，$x_0$ 是种子文本。实现的级联是从该种子出发，在 $G_0$ 上增长的事件历史。在后续的每一步，当前节点会接收到一组来自早期节点的输出作为提示记忆，并生成新的文本。

我们用 $t$ 表示当前生成步骤，$m$ 表示先前事件。步骤 $t$ 之前生成的历史为 $H_t = \{e_m = (\tau_m, n_m, x_m): 0 \le m < t\}$。

**记忆选择：** 设 $k \ge 1$ 为最大记忆大小。在步骤 $t$，记忆选择函数会从 $H_t$ 中为每个节点 $j \in N$ 至多选取一个事件。设 $r_t(j)$ 表示从节点 $j$ 选取的事件的索引（如果存在），否则 $r_t(j) = -1$。被选中的事件构成一个紧凑的记忆：

$$
M_t \subseteq \{(j, r_t(j), w_{j,t}): j \in N, \; r_t(j) > 0\}.
$$

这里 $w_{j,t}$ 是分配给节点 $j$ 的权重，且 $|M_t| \le k$。当 $M_t \neq \emptyset$ 时，选中的权重满足 $\sum_{(j, r_t(j), w_{j,t}) \in M_t} w_{j,t} = 1$。

记忆选择意味着选择哪些节点代表及其权重进入下一个提示。然后文本转移是显式的。设 $a_i$ 表示节点 $i$ 的固定指令字符串。给定 $\tau_t$、$n_t$ 和 $M_t$，提示为：

$$
p_t = \operatorname{Prompt}\!\big((\tau_t, n_t),\; a_{n_t},\; \{(w_{j,t}, j, x_{r_t(j)}): (j, r_t(j), w_{j,t}) \in M_t\}\big).
$$

这里 $\operatorname{Prompt}(\cdot)$ 表示确定性的格式化操作。在我们的实现中，提示会指明目标节点，给出简短的节点风格指令，并列出选定的前驱文本及其节点标签和归一化的霍克斯权重。权重以文本注释形式写入，从而在提示中引导模型，而非作为数值控制。附录A（https://arxiv.org/html/2605.23043#A1）给出一个实例化的提示示例。当 $M_t = \emptyset$ 时，提示仅包含当前事件信息和节点指令。

设 $g_{\mathrm{LLM}}$ 表示文本生成器。下一个文本生成为 $x_t \sim g_{\mathrm{LLM}}(\cdot \mid p_t)$，或者在解码种子固定时确定性生成为 $x_t = g_{\mathrm{LLM}}(p_t)$。语义传播更新将完成的事件追加到历史中：

$$
e_t = (\tau_t, n_t, x_t), \qquad H_{t+1} = H_t \cup \{e_t\}.
$$

只有文本 $x_t$ 由语言模型在第 $t$ 步产生。时间戳、节点和记忆 $M_t$ 共同决定了条件化提示。图1（https://arxiv.org/html/2605.23043#S3.F1）总结了这一循环。

**图例说明**

图1：HawkesLLM中的顺序代理不确定性循环。生成历史 $H_t$ 是代理状态；霍克斯过程选择加权的提示记忆 $M_t$；LLM生成 $x_t$；完成的事件 $e_t$ 追加到历史中。语义对齐和局部/全局漂移追踪轨迹级别的不确定性。

### 3.2 多元霍克斯点过程

我们使用多元霍克斯点过程作为时间影响模型（Hawkes，1971（https://arxiv.org/html/2605.23043#bib.bib1）；Ogata，1981（https://arxiv.org/html/2605.23043#bib.bib2）；Rizoiu等人，2017（https://arxiv.org/html/2605.23043#bib.bib20））。它估计每个节点何时可能被激活，以及来自一个节点的过去活动在多大程度上提高了另一个节点未来的激活率。

对于模型拟合，设 $D = \{(\tau_m, n_m)\}_{m=1}^M$ 是在时间范围 $[0, T]$ 内观测到的节点-时间事件流。这里 $M$ 是观测到的事件数量。事件 $m$ 在时间 $\tau_m \in [0, T]$ 发生，并属于节点 $n_m \in N$。在本小节中，$i$ 索引被评估速率的节点，$j$ 索引具有先前事件的节点。

在连续时间 $s$ 上，设 $\lambda_i(s)$ 表示节点 $i$ 的条件事件率。设 $\mu_i$ 为其背景速率。对于每条边 $(j, i) \in E$，设 $\phi_{j,i}(u)$ 表示时滞 $u > 0$ 时的激发核函数。它描述了来自节点 $j$ 的一个过去事件在多大程度上提高了节点 $i$ 未来的速率。事件流建模为：

$$
\lambda_i(s) = \mu_i + \sum_{j: (j, i) \in E} \sum_{\tau_m < s, \; n_m = j} \phi_{j,i}(s - \tau_m).
$$

我们采用指数核函数，参数为 $\alpha > 0$ 和 $\beta > 0$，其中 $\beta$ 是衰减率：

$$
\phi_{j,i}(u) = \alpha_{j,i} e^{-\beta u}.
$$

较大的 $\beta$ 使影响衰减更快。对于指数核函数，集成的激发矩阵 $\mathbf{G}$ 的元素为 $G_{j,i} = \int_0^\infty \phi_{j,i}(u) du = \alpha_{j,i}/\beta$，对 $(j, i) \in E$ 成立，否则 $G_{j,i} = 0$。稳定性通过谱半径 $\rho(\mathbf{G})$ 来评估。加权影响图为 $\mathcal{G} = (N, E, \mathbf{G})$。未加权图 $G_0$ 决定了哪些影响是允许的，而 $G_{j,i}$ 给出了从节点 $j$ 到节点 $i$ 的拟合累积激发强度。

稍后，在构建提示记忆时，HawkesLLM 通过将时间衰减应用于来自每个节点的早期生成事件，将此拟合影响转化为节点级分数。

对于固定的衰减值 $\beta$，我们估计 $(\boldsymbol{\mu}, \boldsymbol{\alpha})$。这里 $\boldsymbol{\mu} = (\mu_i)_{i \in N}$，且 $\boldsymbol{\alpha} = (\alpha_{j,i})_{(j, i) \in E}$。设 $\lambda_i(s; \boldsymbol{\mu}, \boldsymbol{\alpha}, \beta)$ 表示相应的条件强度。对数似然项为：

$$
\ell_{\beta}(\boldsymbol{\mu}, \boldsymbol{\alpha}; D) = \sum_{m=1}^M \log \lambda_{n_m}(\tau_m; \boldsymbol{\mu}, \boldsymbol{\alpha}, \beta) - \sum_{i \in N} \int_0^T \lambda_i(s; \boldsymbol{\mu}, \boldsymbol{\alpha}, \beta) ds.
$$

拟合参数求解：

$$
(\hat{\boldsymbol{\mu}}, \hat{\boldsymbol{\alpha}}) \in \arg \max_{\boldsymbol{\mu} \ge 0, \boldsymbol{\alpha} \ge 0} \left\{ \ell_{\beta}(\boldsymbol{\mu}, \boldsymbol{\alpha}; D) - \eta \Omega(\boldsymbol{\alpha}) \right\}.
$$

项 $\Omega(\boldsymbol{\alpha})$ 是对激发强度的收缩惩罚，$\eta \ge 0$ 控制惩罚强度。我们通过受稳定性约束的似然来选取固定的衰减值，并在预留的模拟中使用最佳的稳定指数拟合。附录B（https://arxiv.org/html/2605.23043#A2）报告了拟合细节。

### 3.3 基于霍克斯的语义传播

现在我们将霍克斯模型与文本生成循环结合起来。设 $e_0 = (\tau_0, n_0, x_0)$ 为种子事件。算法随后产生 $L$ 个非种子事件 $e_1, \ldots, e_L$。在步骤 $t$ 之前，历史记录 $H_t = \{e_m = (\tau_m, n_m, x_m): 0 \le m < t\}$ 包含所有先前的事件。循环的每一次迭代都扩展该历史记录——一个连续的、路径依赖的轨迹。为了构建提示，算法首先从当前开始的 $H_t$ 中通过霍克斯过程选择记忆 $M_t \subseteq \{(j, r_t(j), w_{j,t})\}$。

**记忆选择** 决定哪些事件及其权重包含在下一个提示中。设 $k \ge 1$ 为最大记忆大小。在步骤 $t$，我们通过从 $H_t$ 中选择节点级代表来构造 $M_t$。我们从时间 $\tau_t$ 处评估条件强度。对于每个节点 $j$，设 $w_{j,t}^{\text{raw}}$ 为来自节点 $j$ 的所有过去事件在时间 $\tau_t$ 处对目标节点 $n_t$ 贡献的激发总和，使用拟合的霍克斯参数：

$$
w_{j,t}^{\text{raw}} = \sum_{\tau_m < \tau_t, \; n_m = j} \phi_{j, n_t}(\tau_t - \tau_m).
$$

如果 $j$ 没有过去事件，则 $w_{j,t}^{\text{raw}} = 0$。然后，我们提取每个节点 $j$ 最近事件的时间：$s_{j,t} = \max \{\tau_m: \tau_m < \tau_t, \; n_m = j\}$，如果存在的话。我们根据 $s_{j,t}$ 对节点进行排序（最近者优先），并选择前 $\min(k, K_{\text{active}})$ 个具有正 $w_{j,t}^{\text{raw}}$ 的节点，其中 $K_{\text{active}}$ 是活跃节点数。对于选定的节点 $j$，我们设 $r_t(j)$ 为来自 $H_t$ 中该节点最近事件的索引，并定义归一化权重 $w_{j,t} = w_{j,t}^{\text{raw}} / \sum_{j' \in S} w_{j',t}^{\text{raw}}$，其中 $S$ 是选定节点的集合。被选中的元组 $(j, r_t(j), w_{j,t})$ 构成 $M_t$。

随着 $H_t$ 的增长和节点被激活，来自不同节点的事件可能具有高度不同的原始激发分数。归一化确保所选事件在提示中具有平衡的表示。当 $M_t = \emptyset$ 时，提示仅包含当前事件信息和节点指令。算法1（https://arxiv.org/html/2605.23043#S3.T1）详细说明了这一过程。

**算法 1**  HawkesLLM 生成循环

**输入**: 种子事件 $e_0 = (\tau_0, n_0, x_0)$，最大记忆大小 $k$，生成步数 $L$，拟合的霍克斯参数 $\hat{\mu}, \hat{\alpha}, \beta$，提示函数 $\operatorname{Prompt}$，文本生成器 $g_{\mathrm{LLM}}$
**初始化**: 历史记录 $H_1 = \{e_0\}$
**对于** $t = 1$ 到 $L$ **执行**:
   1. 采样下一个事件时间 $\tau_t$ 和节点 $n_t$（从拟合的霍克斯过程）
   2. 对于每个节点 $j \in N$:
       计算 $w_{j,t}^{\text{raw}} = \sum_{\tau_m < \tau_t, \; n_m = j} \hat{\phi}_{j, n_t}(\tau_t - \tau_m)$，其中 $\hat{\phi}_{j,i}(u) = \hat{\alpha}_{j,i} e^{-\beta u}$
   3. 设 $S$ 为具有正 $w_{j,t}^{\text{raw}}$ 的前 $k$ 个最近活跃节点集（按最近事件时间排序）
   4. **如果** $S \neq \emptyset$:
       归一化 $w_{j,t} = w_{j,t}^{\text{raw}} / \sum_{j' \in S} w_{j',t}^{\text{raw}}$
       设 $r_t(j)$ 为来自节点 $j$ 的最近事件索引
       设 $M_t = \{(j, r_t(j), w_{j,t}): j \in S\}$
      **否则**:
       设 $M_t = \emptyset$
   5. 构建提示 $p_t = \operatorname{Prompt}((\tau_t, n_t), a_{n_t}, \{(w_{j,t}, j, x_{r_t(j)}): (j, r_t(j), w_{j,t}) \in M_t\})$
   6. 生成 $x_t = g_{\mathrm{LLM}}(p_t)$
   7. 设 $e_t = (\tau_t, n_t, x_t)$
   8. 更新历史 $H_{t+1} = H_t \cup \{e_t\}$
**结束对于**
**输出**: 事件序列 $e_0, e_1, \ldots, e_L$