BERTilda: 通过相似性与流的时间图进行可解释的主题生命周期跟踪与分裂/合并检测

# BERTilda：基于相似性与时序流图的可解释主题生命周期追踪及分裂/合并检测
来源：https://arxiv.org/html/2608.18101
11institutetext:葡萄牙波尔图大学理学院
11email:arfiguei@fc\.up\.pt22institutetext:葡萄牙波尔图INESCTEC研究中心
###### 摘要

纵向文本流不仅呈现主题的诞生与消亡，还包含主题*分裂*为子主题或*合并*为更宏观叙事的离散结构重组。许多动态主题模型强调平滑漂移，而快照主题模型（按时间窗口独立拟合）则对时间对应关系描述不足。我们提出*BERTilda*——一个可解释框架，该框架在每个窗口独立发现主题（基于嵌入的主题模型），并构建跨相邻窗口主题的*时序主题图*。连接关系由两个互补信号支撑：（i）主题表征间的语义相似性；（ii）*双向覆盖率*信号——通过跨窗口推文-主题归因估算文档流出（主题去向）与流入（主题来源）。基于图的规则标注主题的延续、分裂、合并、消失及未明确转换。我们在政治语料库（包括美国国会推文和历史演讲数据集）上评估BERTilda，报告主题质量与时序稳定性诊断指标，并在由三位独立标注者标注的金标准子集上验证生命周期标签。在标注子集中，BERTilda的多数一致性率高达87%，在比较方法中获得最宏观平均一致性，尤其在消失检测方面显著优于仅相似性基线与仅前向基线。

## 1引言

主题建模是探索大型文本集合的标准工具，但许多现实语料库本质上是纵向的。在社交媒体政治传播和机构演讲中，主题不仅逐渐漂移：主题会诞生和消亡，还会分裂为竞争性子叙事，或在先前独立的讨论紧密耦合时合并。明确识别此类结构事件有助于总结注意力随时间推移的转移与重组方式。

方法上，分裂/合并检测极具挑战，因为“主题”概念依赖于建模范式。经典概率主题模型如LDA\[6 (https://arxiv.org/html/2608.18101#bib.bib2)\]及其众多动态扩展（如DTM\[5 (https://arxiv.org/html/2608.18101#bib.bib6)\]、Topics over Time\[33 (https://arxiv.org/html/2608.18101#bib.bib7)\]和连续时间变体\[32 (https://arxiv.org/html/2608.18101#bib.bib13)\]）将主题定义为词分布，通常假设相对平滑的演化。神经动态模型（如DETM\[11 (https://arxiv.org/html/2608.18101#bib.bib18)\]）则演化潜在表征。这些方法提供了有价值的时间正则化，但无法自然产生离散、可审计的分裂/合并事件。反之，快照主题模型（包括适用于短文本的嵌入方法如Top2Vec\[3 (https://arxiv.org/html/2608.18101#bib.bib17)\]、BERTopic\[13 (https://arxiv.org/html/2608.18101#bib.bib1)\]及嵌入空间主题模型\[12 (https://arxiv.org/html/2608.18101#bib.bib27)\]）避免施加连续性约束，但使跨窗口主题对应关系模糊。

我们提出BERTilda（“BERT-基于时序识别、生命周期检测与分析”），将时序主题建模视为显式图上的对齐与事件标注问题。主题在每个窗口内通过快照主题模型独立发现（我们实例化使用BERTopic\[13 (https://arxiv.org/html/2608.18101#bib.bib1)\]，但框架与模型无关）。随后使用两种信号链接相邻窗口的主题：其一是共享嵌入空间中主题表征的语义相似性；其二是*双向覆盖率*——一种可解释的流信号，通过跨窗口文档-主题归因估算（i）源主题的文档*流出*和（ii）目标主题的文档*流入*。综合这两种信号，我们应用透明规则标注主题的延续、分裂、合并、消失及未明确转换，进而构建时序主题图。

实证方面，我们在包含第119届美国国会544名议员发布的357,896条推文的语料库，以及先前动态主题建模研究使用的历史政治演讲语料库上评估BERTilda。我们报告主题质量与时序稳定性诊断指标，并在由三位独立标注者标注的金标准子集上验证生命周期标签。

本文贡献三点：（i）提出双向覆盖率作为可解释的流信号，补充基于嵌入的相似性以实现时序主题对齐；（ii）提出基于图的标注方案，在不假设平滑演化的前提下实现主题生命周期与分裂/合并事件的操作化；（iii）提出结合定量诊断与政治语料库人工验证的评估协议。

本文其余部分结构如下：第2节 (https://arxiv.org/html/2608.18101#S2)回顾主题模型、时序演化、分裂/合并检测及评估相关工作；第3节 (https://arxiv.org/html/2608.18101#S3)呈现BERTilda方法；第4节 (https://arxiv.org/html/2608.18101#S4)描述数据集、基线及评估协议；第5节 (https://arxiv.org/html/2608.18101#S5)报告结果；第6节 (https://arxiv.org/html/2608.18101#S6)进行讨论并指出局限性。

## 2相关工作

### 2\.1短文本与噪声文本的主题建模

早期主题模型将文档表示为词汇表上潜在组件的混合。经典案例包括概率潜在语义分析\[15 (https://arxiv.org/html/2608.18101#bib.bib21)\]和LDA\[6 (https://arxiv.org/html/2608.18101#bib.bib2)\]。非负矩阵分解（NMF）提供了替代的矩阵分解视角\[20 (https://arxiv.org/html/2608.18101#bib.bib22),21 (https://arxiv.org/html/2608.18101#bib.bib23)\]，而贝叶斯非参数方法（如层次狄利克雷过程）解决了模型选择问题\[30 (https://arxiv.org/html/2608.18101#bib.bib8)\]。

推文等短文本对词袋模型构成稀疏性挑战，这推动了基于上下文嵌入的语义表征研究。基于嵌入的主题模型通过在嵌入空间聚类诱导主题（如Top2Vec\[3 (https://arxiv.org/html/2608.18101#bib.bib17)\]），或结合嵌入与稀疏词汇表征以获得可解释描述符（如BERTopic\[13 (https://arxiv.org/html/2608.18101#bib.bib1)\]，该方法也应用于国会推特话语分析\[22 (https://arxiv.org/html/2608.18101#bib.bib41)\]）。相关研究方向包括在嵌入空间直接建模主题\[12 (https://arxiv.org/html/2608.18101#bib.bib27)\]或使用上下文化主题模型\[4 (https://arxiv.org/html/2608.18101#bib.bib28)\]。

### 2\.2动态与在线主题模型

动态主题模型纳入时间依赖性，通常鼓励主题表征的渐进演化。DTM\[5 (https://arxiv.org/html/2608.18101#bib.bib6)\]使用主题参数的状态空间动态；Topics over Time\[33 (https://arxiv.org/html/2608.18101#bib.bib7)\]建模连续时间戳分布；连续时间变体则推广至不规则时间\[32 (https://arxiv.org/html/2608.18101#bib.bib13)\]。贝叶斯非参数模型如Timeline针对诞生与消亡过程建模\[1 (https://arxiv.org/html/2608.18101#bib.bib14)\]。

对于流式场景，在线变体在不重新处理完整历史的情况下更新主题\[14 (https://arxiv.org/html/2608.18101#bib.bib24),2 (https://arxiv.org/html/2608.18101#bib.bib25)\]，综述文献总结了社交媒体流中的主题检测与追踪\[18 (https://arxiv.org/html/2608.18101#bib.bib26)\]。近期神经动态模型演化潜在表征（如DETM\[11 (https://arxiv.org/html/2608.18101#bib.bib18)\]），并引入可支持分支/合并行为的结构依赖性\[23 (https://arxiv.org/html/2608.18101#bib.bib15),10 (https://arxiv.org/html/2608.18101#bib.bib29)\]。对比学习与无链演化追踪方法进一步放宽了一对一的时序身份约束\[34 (https://arxiv.org/html/2608.18101#bib.bib30)\]。尽管这些方法能捕捉时序规律，但离散的分裂/合并事件通常仍需隐式处理或事后解释。

### 2\.3聚类演化、分裂/合并事件与可解释性

除概率建模范式外，聚类演化也通过相似性图与平衡快照拟合及时序平滑性的目标函数进行研究（如演化聚类\[7 (https://arxiv.org/html/2608.18101#bib.bib9)\]）。可视化分析与冲积图式表征凸显了分支与收敛模式\[28 (https://arxiv.org/html/2608.18101#bib.bib4)\]。实践中，分裂/合并检测常通过对快照聚类进行后处理（基于图的规则或匹配流程）实现。

BERTilda遵循这一对齐视角，但增加了显式、可解释的*流*约束：仅相似性在密集语义空间中可能产生模糊的多对多匹配，而文档级覆盖率有助于区分实质性转换与弱主题邻近性。

### 2\.4主题质量与时序行为的评估

自动主题评估仍具挑战。一致性度量与人类判断的相关性不完美\[8 (https://arxiv.org/html/2608.18101#bib.bib31),17 (https://arxiv.org/html/2608.18101#bib.bib33)\]，且不同一致性公式在跨模型和领域时行为不一致\[24 (https://arxiv.org/html/2608.18101#bib.bib32),25 (https://arxiv.org/html/2608.18101#bib.bib34)\]。近期研究提出使用掩码语言模型的上下文化一致性度量\[27 (https://arxiv.org/html/2608.18101#bib.bib35)\]，以及由大语言模型支持的面向目的评估\[29 (https://arxiv.org/html/2608.18101#bib.bib36)\]。

对于动态主题模型，评估需处理时序行为。近期研究提出主题质量随时间变化度量与时序一致性诊断指标\[19 (https://arxiv.org/html/2608.18101#bib.bib12)\]，综述文献讨论了稳定性与鲁棒性考量\[9 (https://arxiv.org/html/2608.18101#bib.bib37),16 (https://arxiv.org/html/2608.18101#bib.bib38)\]。本研究中，我们将窗口内主题质量指标与时序诊断（漂移/波动）及离散生命周期标签的人工验证相结合。

## 3方法

### 3\.1概述

BERTilda包含三个阶段。首先，将带时间戳的语料库分割为（可能重叠的）窗口，并对每个窗口拟合快照主题模型。其次，通过构建二部图连接满足语义相似性与双向覆盖率阈值的主题，实现跨相邻窗口的主题对齐。第三，应用基于相似性与覆盖率的透明规则，分类生命周期事件（延续、分裂、合并、消失或未明确）。

### 3\.2窗口划分与快照主题

设D=\{d1,...,dN\}\\mathcal\{D\}=\\\{d\_\{1\},\\ldots,d\_\{N\}\\\}为带时间戳的文档集。定义窗口序列t=1,...,Tt=1,\\ldots,T，其起始时间sts\_\{t\}与结束时间ete\_\{t\}为：

st\+1\\displaystyle s\_\{t\+1\}=st\+Δstep,et=st\+Δwindow,\\displaystyle=s\_\{t\}\+\\Delta\_\{\\text\{step\}\},\\qquad e\_\{t\}=s\_\{t\}\+\\Delta\_\{\\text\{window\}\},Dt\\displaystyle\\mathcal\{D\}\_\{t\}=\\{d∈D:st≤time\(d\)<et\\}.\\displaystyle=\\\{d\\in\\mathcal\{D\}:s\_\{t\}\\leq\\text\{time\}\(d\)<e\_\{t\}\\\}。每个窗口内，快照主题模型生成主题集Kt=\{1,...,Kt\}\\mathcal\{K\}\_\{t\}=\\\{1,\\ldots,K\_\{t\}\\\}及分配函数zt\(d\)∈Ktz\_\{t\}\(d\)\\in\\mathcal\{K\}\_\{t\}（对所有d∈Dtd\\in\\mathcal\{D\}\_\{t\}）。记Dt,k=\{d∈Dt:zt\(d\)=k\\}\\mathcal\{D\}\_\{t,k\}=\\\{d\\in\\mathcal\{D\}\_\{t\}:z\_\{t\}\(d\)=k\\\}，nt,k=\|Dt,k\|n\_\{t,k\}=|\\mathcal\{D\}\_\{t,k\}|。

### 3\.3主题表征与相似性

文档d通过固定编码器（跨窗口共享）嵌入为φ\(d\)∈Rm\\phi\(d\)\\in\\mathbb\{R\}^\{m\}。每个主题表征为分配给该主题的文档嵌入质心：ψ\(t,k\)∈Rm\\psi\(t,k\)\\in\\mathbb\{R\}^\{m\}。此基于质心的表征确保主题嵌入跨窗口直接可比，因其均源自共享文档嵌入空间。

定义相邻窗口主题相似性为余弦相似度：

sim\(\(t,k\),\(t\+1,j\)\)=cos⁡\(ψ\(t,k\),ψ\(t\+1,j\)\).\\mathrm\{sim\}\(\(t,k\),\(t\{\+\}1,j\)\)=\\cos\\big\(\\psi\(t,k\),\\psi\(t\{\+\}1,j\)\\big\)。

### 3\.4基于跨窗口归因的双向覆盖率

仅相似性不足以消解密集语义空间中的多对多关系。BERTilda因此通过跨窗口文档归因估算可解释的*流*信号。

##### 前向归因（流出）。

对每个文档d∈Dt, kd\\in\\mathcal\{D\}\_\{t,k\}，选择下一窗口中最相似的主题：

j∗\(d\)=arg⁡maxj∈Kt\+1⁡cos⁡\(φ\(d\),ψ\(t\+1,j\)\),j^\{\*\}\(d\)=\\arg\\max\_\{j\\in\\mathcal\{K\}\_\{t\+1\}\}\\cos\(\\phi\(d\),\\psi\(t\{\+\}1,j\)\)。仅当最大相似性超过τdoc\\tau\_\{\\text\{doc\}\}时接受归因。定义Ftfwd\(k→j\)F^\{\\text\{fwd\}\}\_\{t\}\(k\\to j\)为Dt,k\\mathcal\{D\}\_\{t,k\}中归因到窗口t\+1t\{\+\}1主题j的文档数。流出覆盖率为：

covout\(k→j\)=Ftfwd\(k→j\)nt,k。\\mathrm\{cov\}\_\{\\text\{out\}\}\(k\\to j\)=\\frac\{F^\{\\text\{fwd\}\}\_\{t\}\(k\\to j\)\}\{n\_\{t,k\}\}。

##### 后向归因（流入）。

对称地，对每个d∈Dt\+1, jd\\in\\mathcal\{D\}\_\{t\+1,j\}，选择前一窗口中最相似的主题：

k∗\(d\)=arg⁡maxk∈Kt⁡cos⁡\(φ\(d\),ψ\(t,k\)\),k^\{\*\}\(d\)=\\arg\\max\_\{k\\in\\mathcal\{K\}\_\{t\}\}\\cos\(\\phi\(d\),\\psi\(t,k\)\)。同样要求最大相似性超过τdoc\\tau\_\{\\text\{doc\}\}。记Ftbwd\(k→j\)F^\{\\text\{bwd\}\}\_\{t\}\(k\\to j\)为Dt\+1, jd\\in\\mathcal\{D\}\_\{t\+1,j\}中归因回主题k的文档数。流入覆盖率为：

covin\(k→j\)=Ftbwd\(k→j\)nt\+1,j。\\mathrm\{cov\}\_\{\\text\{in\}\}\(k\\to j\)=\\frac\{F^\{\\text\{bwd\}\}\_\{t\}\(k\\to j\)\}\{n\_\{t\+1,j\}\}。
直观上，流出回答“主题\(t,k\)\(t,k\)去了何处？”，流入回答“主题\(t\+1,j\)\(t\{\+\}1,j\)来自何处？”。这种双向性对合并尤为重要：仅流出可能被大型源主题主导，而流入按目标主题规模归一化。

### 3\.5事件规则与时序主题图

对每对相邻窗口\(t,t\+1\)\(t,t\{\+\}1\)，计算主题质心间的余弦相似度与跨窗口归因的双向覆盖率。随后构建从窗口t主题指向窗口t\+1t\{\+\}1主题的二部有向图。候选关系\(k→j\)\(k\\to j\)满足以下三项最低要求时保留为边：

sim\(\(t,k\),\(t\+1,j\)\)≥τtopic,covout\(k→j\)≥τcovout,covin\(k→j\)≥τcovin。\\mathrm\{sim\}\(\(t,k\),\(t\{\+\}1,j\)\)\\geq\\tau\_\{\\text\{topic\}\},\\qquad\\mathrm\{cov\}\_\{\\text\{out\}\}\(k\\to j\)\\geq\\tau\_\{\\text\{cov\}\}^\{\\text\{out\}\},\\qquad\\mathrm\{cov\}\_\{\\text\{in\}\}\(k\\to j\)\\geq\\tau\_\{\\text\{cov\}\}^\{\\text\{in\}\}