Lacuna Inc. 参与 SemEval-2026 任务4：基于结构门控状态空间模型的叙事相似性解耦

# Lacuna Inc. 在 SemEval-2026 任务 4 中：用于解耦叙事相似性的结构门控状态空间模型
来源：https://arxiv.org/html/2607.03482
Aleksey Kudelya，Rafif Alshawi，Alexander Shirnin 高等经济学院 通讯作者：ashirnin@hse\.ru (https://arxiv.org/html/2607.03482v1/mailto:[email protected])

###### 摘要

在本文中，我们提出了不变-变分解耦状态空间模型（IVD-SSM），这是我们提交给 SemEval-2026 任务 4（叙事故事相似性与叙事表示学习）的模型。评估叙事相似性是一项深刻的计算挑战，要求模型能够越过具体的、表面的元素（如特定名称、角色、物体或场景），从而提取并比较抽象的因果模式和情节推进模式。为了对这些扩展的因果链进行建模，同时避免标准 Transformer 的二次瓶颈，我们采用了混合状态空间模型（Jamba-1.5-Mini）。在此骨干模型基础上，我们引入了结构门控对齐（SGA）头，这是一种新颖的、可微分的算法架构。SGA 头在两个尺度上运行：一个大幅步长的宏观路径映射故事的粗略结构骨架，然后该骨架作为门控机制过滤全分辨率的微观路径，主动抑制语义噪声和表面的关键词重叠。在成对比较判断（Track A）和密集表示学习（Track B）上的评估表明，我们的方法通过明确解耦结构不变项与词汇变项，为深层叙事理解提供了一个稳健且原则性的框架。

Lacuna Inc. 在 SemEval-2026 任务 4 中：用于解耦叙事相似性的结构门控状态空间模型

Aleksey Kudelya，Rafif Alshawi，Alexander Shirnin
高等经济学院
通讯作者：ashirnin@hse\.ru (https://arxiv.org/html/2607.03482v1/mailto:[email protected])

## 1 引言

叙事相似性是一项复杂的认知任务，需要区分情节的"深层结构"与其表层实现。正如 SemEval 2026 任务 4 的组织者所定义的，叙事相似性依赖于"抽象的因果和推进模式"，同时明确"忽略具体细节"，如名称、场景或特定物体。对于计算模型而言，这带来了重大挑战：标准 Transformer 架构往往偏向于词汇和语义重叠，因此容易受到"虚假相关性"的影响——即那些共享特定类型词汇（例如"僵尸"、"宇宙飞船"）但在因果链上根本不同的故事对。

在这项工作中，我们提出了 IVD-SSM（不变-变分解耦状态空间模型），一种旨在直接符合叙事相似性理论定义的新型架构。该系统必须设计来反映任务的核心二分法：模型必须从变项特征（诸如特定角色名称、场景或类型套路等表面的、可互换的细节）中分离出不变特征（定义情节的底层因果链和结构推进）。我们发现标准基线模型的主要失败模式是将这种不变的情节结构与变项的语义噪声混为一谈。为了解决这个问题，我们采用了基本冻结的 Jamba-1.5-Mini 骨干模型，并辅以轻量级 QLoRA 适配器，利用其混合 Mamba-Transformer 架构来捕获长程因果依赖关系，并引入了一种机制来明确解耦这两种信号。

## 2 任务描述与相关工作

### 2.1 任务描述

SemEval 2026 任务 4 围绕叙事理解提出了两个挑战（Hatzel et al., 2026 (https://arxiv.org/html/2607.03482#bib.bib1)）。Track A（比较性叙事相似性）是一个成对二元分类任务，要求系统判断两个候选故事中哪一个在结构上与锚定故事更接近。Track B（叙事表示学习）要求系统为单个故事生成密集的向量嵌入，使得表示之间的余弦距离在数学上反映人类的相似性判断。

### 2.2 相关工作

先前对叙事相似性的计算方法范围从浅层的词汇和主题匹配（Chaturvedi et al., 2018 (https://arxiv.org/html/2607.03482#bib.bib7); Chun, 2024 (https://arxiv.org/html/2607.03482#bib.bib6)）到利用事件链和角色网络的更深层结构表示（Chambers and Jurafsky, 2008 (https://arxiv.org/html/2607.03482#bib.bib11); Lee and Jung, 2020 (https://arxiv.org/html/2607.03482#bib.bib8); Lafhel et al., 2024 (https://arxiv.org/html/2607.03482#bib.bib10); Hatzel and Biemann, 2024 (https://arxiv.org/html/2607.03482#bib.bib9)）。然而，正如 SemEval-2026 任务 4 组织者所指出的，评估真正的叙事相似性需要追踪抽象的因果模式，而不是表面重叠（Hatzel et al., 2026 (https://arxiv.org/html/2607.03482#bib.bib1)）。直接通过大型语言模型（LLMs）对这些非结构化的长篇叙事进行建模，历史上一直受到序列长度限制的制约。标准 Transformer 架构（Vaswani et al., 2017 (https://arxiv.org/html/2607.03482#bib.bib22)）由于其自注意力机制固有的二次内存和计算复杂度 O(N^2)，施加了严格的输入边界。虽然诸如 Longformer（Beltagy et al., 2020 (https://arxiv.org/html/2607.03482#bib.bib23)）和 BigBird（Zaheer et al., 2020 (https://arxiv.org/html/2607.03482#bib.bib24)）等稀疏注意力适应方法人为地扩展了这个上下文窗口，但它们在推理期间仍然计算量大，并且依赖于可能破坏长程因果依赖关系的注意力近似。为了克服这些瓶颈，我们转向状态空间模型（SSMs）。选择性 SSM 的最新进展，特别是 Mamba 架构（Gu and Dao, 2023 (https://arxiv.org/html/2607.03482#bib.bib25)），通过将序列历史压缩为动态更新的固定大小隐藏状态，提供了线性时间 O(N) 的自注意力替代方案。由于 SSM 天生就能在扩展序列上跟踪状态变量，而无需键值缓存的大量内存开销，我们选择的骨干模型——混合 Mamba-Transformer 模型 Jamba-1.5-Mini（Lieber et al., 2024 (https://arxiv.org/html/2607.03482#bib.bib26)）——在捕获情节的"行动过程"方面具有独特优势，使其在理论和计算上都适合于文档级叙事分析。

## 3 系统概述

我们的系统，不变-变分解耦状态空间模型（IVD-SSM），旨在处理长篇叙事并明确区分结构情节对齐和表面词汇重叠。该流水线由一个大型序列模型骨干和一个新颖的双尺度对齐头组成，如图 1 (https://arxiv.org/html/2607.03482#S3.F1) 所示。

参照图注 图 1：不变-变分解耦状态空间模型（IVD-SSM）架构。Jamba-1.5-Mini 骨干模型（大部分冻结，带有轻量级 QLoRA 适配器）处理候选故事和锚定故事，并将它们投影到双路径对齐头中。大步长的宏观路径（M_macro）捕获粗略的、不变的情节结构，并通过上采样和 Sigmoid 激活生成一个软结构掩码。该掩码作为一个结构门控，通过逐元素乘法（⊙）应用于高分辨率的微观路径（M_micro）。这种机制显式地过滤掉变项语义噪声和对抗性词汇干扰项，生成一个最终的过滤对齐矩阵，该矩阵被池化为一个最终的相似性得分。

### 3.1 骨干编码器

为了编码叙事，我们使用了 Jamba-1.5-Mini 模型。与仅依赖全局自注意力（其复杂度是二次方的，且在长文档连贯性方面存在困难）的标准 Transformer 不同，Jamba 采用了混合 Mamba-Transformer 架构。Mamba（状态空间模型）层适合叙事处理，因为它们将序列历史压缩为动态更新的隐藏状态，自然地捕获了定义故事不变结构的顺序"行动过程"和长程因果链。

为了在避免灾难性遗忘其预训练世界知识的同时，使这个 120 亿参数模型适应我们的计算限制，我们以 4 位 NormalFloat（NF4）量化加载骨干模型。我们应用参数高效微调（QLoRA），针对投影和嵌入模块（embed_tokens, x_proj, in_proj, out_proj），冻结网络的其余部分。骨干模型输出一个上下文感知的 token 嵌入序列 H ∈ ℝ^(L × d_hidden)，其中 L 是序列长度。

### 3.2 结构门控对齐头

IVD-SSM 的核心贡献是结构门控对齐头（SGA 头），它用受 Smith-Waterman 算法启发的可微分双尺度序列对齐机制取代了标准线性分类器。给定一个锚定故事和一个候选故事，SGA 头使用一个带有 GELU 激活函数的两层多层感知机（MLP）将两者投影到维度 d_proj=256 的共享嵌入空间中。令 A ∈ ℝ^(L_a × d_proj) 和 C ∈ ℝ^(L_c × d_proj) 分别表示锚定故事和候选故事的投影序列。对齐通过两条不同的路径进行计算：

**宏观路径（不变结构）**：为了捕获情节的抽象形状，我们使用步长 k=4 对序列进行大幅下采样，得到 A_macro 和 C_macro。我们计算一个缩放余弦相似度矩阵 M_macro ∈ ℝ^((L_a/4) × (L_c/4))。由于激进的降采样，该矩阵对特定的 token 级实体（变项细节）不敏感，只记录广泛的结构里程碑（例如，引入、冲突、解决）。步长 k=4 是基于维基百科电影简介的典型长度（约 400 tokens）选择的，产生约 100 个结构片段，大致对应于单个故事事件的粒度。虽然 Mamba 骨干模型以 O(N) 线性时间运行，但我们注意到 SGA 头计算了一个完整跨序列对齐矩阵，大小为 O(L_a × L_c)。对于该共享任务中的中等长度简介，这个二次项是可以管理的；我们在局限性部分（https://arxiv.org/html/2607.03482#Sx1）讨论了扩展影响。

**微观路径（变项细节）**：同时，我们使用未步进的序列 A 和 C 计算一个全分辨率的余弦相似度矩阵 M_micro ∈ ℝ^(L_a × L_c)。该矩阵捕获细粒度的、实体级别的匹配（例如，角色名称、特定物体）。

**门控机制**：为了防止模型被词汇干扰项（具有不同宏观路径情节的故事中高微观路径重叠）分散注意力，我们使用结构矩阵来门控细节矩阵。我们使用双线性插值将 M_macro 上采样到 M_micro 的维度。然后我们应用一个温度缩放 Sigmoid 激活（τ=0.1）来创建一个锐利的结构聚光灯掩码 G：

G = σ( Interpolate(M_macro, size=(L_a, L_c)) / τ )

最终的对齐矩阵通过逐元素乘法计算：

M_filtered = M_micro ⊙ G

最后，为了从 M_final 计算标量相似性得分，我们应用行最大池化，然后沿序列长度进行平均池化，并根据一个可学习的温度参数进行缩放。这有效地衡量了两个故事之间最佳局部对齐的平均强度，只考虑落在结构有效区域内的细节。

### 3.3 对比训练（Track A）

对于 Track A，任务被构建为在给定锚定故事 a 的情况下，对两个候选故事 c1 和 c2 进行比较选择。我们使用对比目标训练 SGA 头。模型计算相似性得分 s1 = SGA(a, c1) 和 s2 = SGA(a, c2)。我们使用交叉熵损失优化网络，损失作用于这两个得分的 Softmax，迫使模型最大化结构相似候选者与干扰项之间的间隔。训练在原始三元组上加上提供的 1,900 个合成三元组（以增加结构多样性）上进行。

### 3.4 嵌入提取（Track B）

对于 Track B，目标从成对分类转向表示学习。我们重新利用训练好的 IVD-SSM 模型的投影层来生成密集的、独立的嵌入。对于给定的叙事序列，我们提取骨干模型的输出，应用训练好的 d_proj=256 的 MLP 投影，并沿序列维度 L 进行平均池化。关键的是，由于 Track B 评估依赖于余弦距离，我们对得到的池化向量应用严格的 L2 归一化：

v_norm = v / ‖v‖₂

这确保了标准的点积检索操作能够正确反映在 Track A 训练期间 SGA 头学到的结构相似性几何。

## 4 实验

### 4.1 实验设置

由于人工标注数据有限（200 个开发集三元组和 400 个测试集三元组），我们完全由任务组织者提供的 1,900 个合成故事三元组构建我们的训练语料库（Hatzel et al., 2026 (https://arxiv.org/html/2607.03482#bib.bib1)）。在这些 LLM 生成的变体上进行训练，迫使我们的模型在高度多样化的语义干扰项中学习结构不变性。我们仅将 200 个人工标注的开发集三元组严格用于验证和检查点选择，确保我们的模型从合成分布泛化到人类直觉判断。由于 Track A 和 Track B 共享相同的故事分布，在该数据集上训练的单个 IVD-SSM 模型被同时用于两个轨道。

IVD-SSM 架构使用 PyTorch 和 Hugging Face transformers 库实现。Jamba-1.5-Mini 骨干模型以 4 位 NormalFloat（NF4）量化加载，以适应标准内存限制，并且 LoRA 适配器（r=16, α=32）被注入到注意力和投影矩阵中。结构门控对齐（SGA）头和适配器使用 AdamW 优化器进行优化。我们采用余弦退火学习率调度器，将学习率从峰值 5×10^(-4) 衰减到 1×10^(-5)。为了容纳连接后的叙事摘要的巨大序列长度，我们使用了梯度检查点，并通过梯度累积以有效批次大小 16 进行训练。模型在单个 NVIDIA A100（40GB）GPU 上训练了 4 个 epoch，收敛大约需要两个小时。

### 4.2 评估指标与基线

表 1：我们的 IVD-SSM 模型与官方任务基线在 SemEval-2026 任务 4 测试集上的准确率比较。Track A 评估成对分类，Track B 评估生成嵌入的余弦距离。我们使用官方二元分类准确率指标评估两个轨道。