EvtGraph：多模态时间序列中稀疏时序图学习的事件自适应压缩

# EvtGraph：多模态时间序列中稀疏时序图学习的事件自适应压缩
来源：https://arxiv.org/html/2608.04368
王梓谦 肖廷雄 程宇潇 索津丽
清华大学自动化系，北京，中国
\{wangziqi24, xtx22, cyx22, jlsuo\}@mail\.tsinghua\.edu\.cn

###### 摘要

多模态时间数据天然具有不规则性和信息密度不均匀性，然而大多数模型依赖于均匀离散化，导致表示效率低下。我们提出EvtGraph，一个在显式预算约束下将计算与时间显著性对齐的统一框架。EvtGraph通过事件自适应压缩（EAMC）将序列重新参数化为事件级令牌，通过节点预算（NBC）选择紧凑子集，并执行时间约束的稀疏图推理（T2SG）。这将密集序列转化为对显著事件的结构化计算，在降低复杂度的同时保留关键转变。我们表明，该设计为在固定预算下分配表示能力提供了一种实用机制，产生了持续的性能–效率权衡，其中较小的预算在实践中往往已足够。在多模态临床（MIMIC-IV + CXR）和跨领域基准上的实验表明，EvtGraph在显著提升效率的同时，优于基于Transformer和循环网络的基线。这些结果表明，预算约束的事件中心表示为从高冗余时间数据中学习提供了一种通用范式。

## 1 引言

多模态时间数据在现实应用中无处不在，涵盖从带有生理信号和医疗记录的临床监测，到整合视觉、听觉和文本流的视频理解。建模此类数据的基本挑战不仅在于异构采样率或长程依赖，更在于更深层的结构错配：现代架构在时间上均匀分配计算，而现实世界的时间信号在信息密度上天然不均匀。信息性模式稀疏、不规则，并集中在短时间内，而序列的很大一部分是冗余的。这种错配导致了系统性低效。均匀离散化方案，如固定窗口或基于块的表示，将过多表示能力分配给低信息区域，同时割裂了语义连贯的时间结构。当将其提升到用于多模态推理的图表示时，这种低效进一步表现为*节点爆炸*问题：节点数量随各模态的序列长度线性增长，而密集连接导致二次复杂度，使得标准图神经网络难以处理长序列。

现有方法部分缓解了这一问题，但仍受其潜在假设的限制。多尺度或基于金字塔的模型（Liu et al., 2022 (https://arxiv.org/html/2608.04368#bib.bib20); Wu et al., 2023 (https://arxiv.org/html/2608.04368#bib.bib24)）保留预定义的时间网格，因此无法使分辨率与信息密度对齐。稀疏注意力和基于相关性的图方法（Zaheer et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib11); Zhang et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib28)）降低了计算成本，但仍基于固定分词（tokenization）操作，表示本身并未改变。令牌剪枝和池化策略（Bolya et al., 2023 (https://arxiv.org/html/2608.04368#bib.bib70)）事后适应计算，往往牺牲时间一致性或可解释性。因此，稀疏性通常被视为一种效率启发式，而非表示学习的内在属性。

在本工作中，我们从*事件中心*（event-centric）视角重新审视多模态时间建模。我们将*事件*定义为*容量受限的表示单元*，而非预定义片段，它将在局部时间区域内集中任务相关信息。在这种视角下，时间建模可以被形式化为学习一组紧凑的此类单元，根据信息密度最优地分配表示能力。这一视角自然引出一个统一框架EvtGraph，它在*预算约束信息分配*的共同原则下整合三个组件。首先，事件自适应压缩模块将密集时间特征重新参数化为一组信息集中的事件令牌，使显著区域获得更高的有效分辨率。其次，节点预算控制器通过选择固定数量的令牌来施加全局容量约束，从而将计算成本与表示能力显式关联。最后，在这些令牌上构建时间约束的稀疏图，施加结构化先验，将依赖关系限制为时间上可允许的局部交互。在该公式下，紧凑性、自适应性和稀疏性成为单一设计原则的结果，而非独立的启发式。特别地，稀疏性共同来源于（i）信息驱动的表示压缩和（ii）显式预算约束，从而无需事后剪枝。

我们的贡献总结如下：

- • 我们识别了多模态时间建模中信息密度与计算分配之间的根本错配，并将事件中心表示学习形式化为容量约束问题。
- • 我们提出EvtGraph，一个结合事件自适应压缩、预算约束表示学习和结构化时序图推理的统一框架。
- • 我们表明，施加显式节点预算可产生有利的效率–精度权衡，在多模态临床预测（MIMIC-IV）和跨领域基准（TimeMMD）上取得强性能。
- • 我们提供了详细分析，表明学习到的表示集中于高信息时间区域，并在预算约束下表现出有意义的结构性质。

综上，我们的框架建立了自适应表示学习与可扩展结构化推理之间的原则性联系。通过将计算视为受限资源并使其与信息密度对齐，EvtGraph为建模高冗余多模态时间数据提供了一种通用方法。

## 2 相关工作

**事件中心和不规则多模态时间建模。** 现实世界的时间数据通常是异步的，信息密度不均匀。连续时间模型如 Neural ODE、Latent ODE 和 Neural CDE 在连续时间内建模不规则动态（Chen et al., 2018 (https://arxiv.org/html/2608.04368#bib.bib60); Rubanova et al., 2019 (https://arxiv.org/html/2608.04368#bib.bib61); Kidger et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib63)），而基于集合的方法（SeFT, mTAND）通过置换不变或软对齐的表示处理未对齐观测（Horn et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib64); Shukla and Marlin, 2021 (https://arxiv.org/html/2608.04368#bib.bib65)）。多模态架构如 Perceiver IO 和大型视觉–语言模型实现了灵活的跨模态融合（Jaegle et al., 2021 (https://arxiv.org/html/2608.04368#bib.bib66); Alayrac et al., 2022 (https://arxiv.org/html/2608.04368#bib.bib8)）。然而，大多数方法仍基于预定义时间单元操作，这在高度异步采样下变得低效。相比之下，我们的方法将时间轴重新参数化为事件级令牌，从而能够对显著事件进行多模态推理，而非对均匀采样的时间步推理。

**高效序列建模与自适应计算。** 大量工作通过稀疏注意力、低秩近似或硬件感知实现来提升可扩展性（Kitaev et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib68); Zaheer et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib11); Dao et al., 2022 (https://arxiv.org/html/2608.04368#bib.bib15)）。结构化状态空间模型（如 S4、Mamba）进一步通过循环公式实现线性时间序列建模（Gu et al., 2022 (https://arxiv.org/html/2608.04368#bib.bib77); Gu and Dao, 2023 (https://arxiv.org/html/2608.04368#bib.bib78)）。虽然这些方法对长序列有效，但仍基于连续或均匀离散化的时间操作。动态令牌减少方法（TokenLearner、DynamicViT、ToMe）使计算适应输入内容（Ryoo et al., 2021 (https://arxiv.org/html/2608.04368#bib.bib51); Rao et al., 2021 (https://arxiv.org/html/2608.04368#bib.bib52); Bolya et al., 2023 (https://arxiv.org/html/2608.04368#bib.bib70)），但依赖于固定的初始分词。我们的方法不同之处在于联合学习事件自适应分词和预算约束选择，将密集序列转化为紧凑的事件级表示。

**信息瓶颈与预算化表示。** 信息瓶颈原理将表示学习刻画为压缩与任务相关信息之间的权衡（Tishby et al., 2000 (https://arxiv.org/html/2608.04368#bib.bib79)）。我们的节点预算控制器可视为一种显式瓶颈，对事件令牌施加固定容量，将预测效用与计算成本联系起来。与事后剪枝或基于正则化的方法不同，预算直接在表示层面施加，从而能够在严格约束下进行高效学习。

**图压缩与时间约束推理。** 基于图的方法为时间依赖提供结构化建模，包括图池化技术（DiffPool、SAGPool）和时间图网络（TGAT、TGN）（Ying et al., 2018 (https://arxiv.org/html/2608.04368#bib.bib35); Xu et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib41)）。稀疏Transformer同样通过启发式稀疏模式降低注意力复杂度（Beltagy et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib12)）。然而，大多数方法要么压缩现有密集图，要么应用通用稀疏化。相比之下，T2SG直接在压缩事件令牌上构建稀疏图，其中边受时间排序和有界滞后约束。与需要完整图构建的事后剪枝方法不同，我们的方法将节点预算作为基础约束，从一开始就产生效率。

**时间一致性与无泄漏建模。** 时间顺序对于预测和临床预测至关重要，因为未来泄漏可能导致过于乐观的结果（Granger, 1969 (https://arxiv.org/html/2608.04368#bib.bib75); Runge, 2020 (https://arxiv.org/html/2608.04368#bib.bib81)）。我们不进行因果发现，而是强制时间可允许的消息传递，确保依赖关系尊重排序约束。这使我们的方法成为时间一致多模态推理的预算感知、事件中心框架。

参见图注
图1：EvtGraph概览。(a) 事件自适应时间重新参数化通过软权重将多模态流映射为事件令牌，将表示集中在显著区域，同时合并冗余区域。(b) 选中的令牌被组织为预算感知的时间约束图，其中边尊重因果顺序和局部性，从而实现高效的下游预测。

## 3 方法

### 3.1 框架概览

我们提出EvtGraph，一个在显式计算预算下进行多模态时间学习的框架。关键思想是将表示学习视为*容量分配问题*，其中有限的表示资源根据信息密度在时间上分布。与在固定表示之上自适应计算的方法不同，EvtGraph在全局容量约束下直接形式化表示学习。给定多模态输入X=\{xt(m)\}t=1:T,m=1:M\mathbf{X}=\{x_{t}^{(m)}\}_{t=1:T,\,m=1:M}，我们首先将其编码到共享潜空间，得到时间特征H={ht}t=1T\mathbf{H}=\{\mathbf{h}_{t}\}_{t=1}^{T}。然后EvtGraph执行渐进变换：H→Z→Z′→G,\mathbf{H}\;\rightarrow\;\mathbf{Z}\;\rightarrow\;\mathbf{Z}^{\prime}\;\rightarrow\;\mathcal{G},其中密集时间特征首先被*重新参数化*为事件令牌，然后在*全局预算约束下压缩*，最后组织为*时间约束的稀疏图*以进行结构化推理。在此过程中，分词、选择和连接性被联合确定，而非独立指定。整个流程以端到端方式训练，使得事件选择、预算分配和图结构针对下游任务联合优化。为处理异构模态，所有输入被对齐到共享时间轴：密集信号被重采样，稀疏模态被投影到最近时间戳。缺失值通过掩蔽而非插补处理，以保持时间一致性。该流程实现了图1 (https://arxiv.org/html/2608.04368#S2.F1)(b)中所示的渐进变换。

### 3.2 问题形式化

我们考虑多模态时间数据X=\{xt(m)\}t=1:T,m=1:M\mathbf{X}=\{x_{t}^{(m)}\}_{t=1:T,\,m=1:M}，以及编码特征H={ht}t=1T\mathbf{H}=\{\mathbf{h}_{t}\}_{t=1}^{T}。时间建模中的一个基本挑战是信息非均匀分布与计算均匀分配之间的错配。在现实世界信号中，信息性事件稀疏且不规则，而序列的很大一部分是冗余的。为解决此问题，我们寻求紧凑表示Z={zs}s=1S\mathbf{Z}=\{\mathbf{z}_{s}\}_{s=1}^{S}，其中S≪TS\ll T，每个令牌跨时间聚合信息：zs=∑t=1Tws,tht,ws,t≥0,∑tws,t=1.\mathbf{z}_{s}=\sum_{t=1}^{T}w_{s,t}\mathbf{h}_{t},\quad w_{s,t}\geq 0,\quad\sum_{t}w_{s,t}=1.(1) 我们不将式(1)视为简单的加权聚合，而是将每个zs\mathbf{z}_{s}解释为*容量受限的表示单元*，它在局部时间区域内集中任务相关信息。这产生一个预算化表示空间，其中每个令牌充当时间信息的有限容量载体。从这一视角看，模型隐式地施加了信息保留与表示紧凑性之间的权衡，类似于率失真或信息瓶颈原理，而无需显式优化互信息。每个令牌被分配重要性分数αs=gψ(zs)\alpha_{s}=g_{\psi}(\mathbf{z}_{s})，并且最多保留BB个令牌，因此预算BB直接控制有效表示容量和压缩–性能权衡。在这些选中令牌上，我们定义时间约束图：E=\{(i,j)∣0.... (cut off)

(Note: The original input ends mid-sentence. The translation should preserve the incomplete state; but since the user provided only this, we have translated up to the available content. The last line "E=\{(i,j)∣0...." is incomplete in the original, so we leave as is? Actually in the original user message, it ends with "The time-series branch usesF=20F=20dynamic clinical v" which belongs to Appendix D. Wait, the provided content includes sections up to 3.2 and then jumps to Appendix D? Let's check the user message:

The user message includes:
- Title, authors, abstract
- 1 Introduction
- 2 Related Work
- 3 Method up to 3.2 Problem Formulation, with equations, then "E=\{(i,j)∣0..." and then "## Appendix DExperimental Setup" etc.

Actually the user message after the equation says:
```
E=\{(i,j)∣0... (cut off)

(Note: The original input ends mid-sentence. The translation should preserve the incomplete state; but since the user provided only this, we have translated up to the available content. The last line "The time-series branch usesF=20F=20dynamic clinical v" belongs to Appendix D. Wait, the provided content includes sections up to 3.2 and then jumps to Appendix D? Let's check the user message:

The user message after the equation says:
```
E=\{(i,j)∣0... \mathbb{R}_{\>0} ## Appendix DExperimental Setup ### D\.1MIMIC\-IV \+ CXR Preprocessing and Protocol We construct a multimodal cohort by aligning EHR data from MIMIC\-IVJohnsonet al\.[2023 (https://arxiv.org/html/2608.04368#bib.bib55)\]and chest X\-ray data from MIMIC\-CXRJohnsonet al\.[2019 (https://arxiv.org/html/2608.04368#bib.bib56)\]\. For each patient encounter, we define a fixed observation window of 7 days after admission, corresponding to 168 hours\. All dynamic variables are discretized at a 2\-hour resolution, yieldingT=84T=84time steps\. The time\-series branch usesF=20F=20dynamic clinical v
```

So the content includes a fragment "E=\{(i,j)∣0... \mathbb{R}_{\>0}" then Appendix D. But there is no full sentence for the edge definition. We need to translate the given fragmented content exactly? The instruction: "Translate the given markdown article content from English to Simplified Chinese." "Respond ONLY with translated markdown/text." We must translate all provided text, including the incomplete part. But we should not add or infer missing content. So we should translate as is, preserving any incomplete parts. However, the source shows "E=\{(i,j)∣0... \mathbb{R}_{\>0}" which is clearly an accidental concatenation of an incomplete sentence and the start of Appendix D. We should translate the text we have. The "0... \mathbb{R}_{\>0}" is likely part of math: maybe "E={(i,j) | 0 < j-i <= Δ}" or something. But we cannot invent. We'll translate the surrounding text and preserve the LaTeX-ish fragment as is? The user expects a professional translation. Perhaps we should translate the readable prose and leave math fragments as they are. We'll do that.

Thus, for the latter part, we translate the Appendix D header and content up to the incomplete sentence.

Let's proceed with the translation of the full provided content, preserving all structure.

We need to be careful with escaping. The original has backslashes in LaTeX. In markdown, we keep them. Also links with URLs. We'll translate.

Let's craft the final answer.# EvtGraph：多模态时间序列中稀疏时序图学习的事件自适应压缩
来源：https://arxiv.org/html/2608.04368
Ziqian Wang Tingxiong Xiao Yuxiao Cheng Jinli Suo
清华大学自动化系，北京，中国
\{wangziqi24, xtx22, cyx22, jlsuo\}@mail\.tsinghua\.edu\.cn

###### 摘要

多模态时间数据天然具有不规则性和信息密度不均匀性，然而大多数模型依赖于均匀离散化，导致表示效率低下。我们提出EvtGraph，一个在显式预算约束下将计算与时间显著性对齐的统一框架。EvtGraph通过事件自适应压缩（EAMC）将序列重新参数化为事件级令牌，通过节点预算（NBC）选择紧凑子集，并执行时间约束的稀疏图推理（T2SG）。这将密集序列转化为对显著事件的结构化计算，在降低复杂度的同时保留关键转变。我们表明，该设计为在固定预算下分配表示能力提供了一种实用机制，产生了持续的性能–效率权衡，其中较小的预算在实践中往往已足够。在多模态临床（MIMIC-IV + CXR）和跨领域基准上的实验表明，EvtGraph在显著提升效率的同时，优于基于Transformer和循环网络的基线。这些结果表明，预算约束的事件中心表示为从高冗余时间数据中学习提供了一种通用范式。

## 1 引言

多模态时间数据在现实应用中无处不在，涵盖从带有生理信号和医疗记录的临床监测，到整合视觉、听觉和文本流的视频理解。建模此类数据的基本挑战不仅在于异构采样率或长程依赖，更在于更深层的结构错配：现代架构在时间上均匀分配计算，而现实世界的时间信号在信息密度上天然不均匀。信息性模式稀疏、不规则，并集中在短时间间隔内，而序列的很大一部分是冗余的。这种错配导致了系统性低效。均匀离散化方案，如固定窗口或基于块的表示，将过多表示能力分配给低信息区域，同时割裂了语义连贯的时间结构。当将其提升到用于多模态推理的图表示时，这种低效进一步表现为*节点爆炸*问题：节点数量随各模态的序列长度线性增长，而密集连接导致二次复杂度，使得标准图神经网络难以处理长序列。

现有方法部分缓解了这一问题，但仍受其潜在假设的限制。多尺度或基于金字塔的模型（Liu et al., 2022 (https://arxiv.org/html/2608.04368#bib.bib20); Wu et al., 2023 (https://arxiv.org/html/2608.04368#bib.bib24)）保留预定义的时间网格，因此无法使分辨率与信息密度对齐。稀疏注意力和基于相关性的图方法（Zaheer et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib11); Zhang et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib28)）降低了计算成本，但仍基于固定的分词（tokenization）操作，表示本身并未改变。令牌剪枝和池化策略（Bolya et al., 2023 (https://arxiv.org/html/2608.04368#bib.bib70)）事后调整计算，往往牺牲时间一致性或可解释性。因此，稀疏性通常被视为一种效率启发式，而非表示学习的内在属性。

在本工作中，我们从*事件中心*（event-centric）视角重新审视多模态时间建模。我们将*事件*定义为*容量受限的表示单元*，而非预定义片段，它将在局部时间区域内集中任务相关信息。在这种视角下，时间建模可以被形式化为学习一组紧凑的此类单元，根据信息密度最优地分配表示能力。这一视角自然引出一个统一框架EvtGraph，它在*预算约束信息分配*的共同原则下整合三个组件。首先，事件自适应压缩模块将密集时间特征重新参数化为一组信息集中的事件令牌，使显著区域获得更高的有效分辨率。其次，节点预算控制器通过选择固定数量的令牌来施加全局容量约束，从而将计算成本与表示能力显式关联。最后，在这些令牌上构建时间约束的稀疏图，施加结构化先验，将依赖关系限制为时间上可允许的局部交互。在该公式下，紧凑性、自适应性和稀疏性成为单一设计原则的结果，而非独立的启发式。特别地，稀疏性共同来源于（i）信息驱动的表示压缩和（ii）显式预算约束，从而无需事后剪枝。

我们的贡献总结如下：

- • 我们识别了多模态时间建模中信息密度与计算分配之间的根本错配，并将事件中心表示学习形式化为容量约束问题。
- • 我们提出EvtGraph，一个结合事件自适应压缩、预算约束表示学习和结构化时序图推理的统一框架。
- • 我们表明，施加显式节点预算可产生有利的效率–精度权衡，在多模态临床预测（MIMIC-IV）和跨领域基准（TimeMMD）上取得强性能。
- • 我们提供了详细分析，表明学习到的表示集中于高信息时间区域，并在预算约束下表现出有意义的结构性质。

综上，我们的框架建立了自适应表示学习与可扩展结构化推理之间的原则性联系。通过将计算视为受限资源并使其与信息密度对齐，EvtGraph为建模高冗余多模态时间数据提供了一种通用方法。

## 2 相关工作

**事件中心和不规则多模态时间建模。** 现实世界的时间数据通常是异步的，信息密度不均匀。连续时间模型如 Neural ODE、Latent ODE 和 Neural CDE 在连续时间内建模不规则动态（Chen et al., 2018 (https://arxiv.org/html/2608.04368#bib.bib60); Rubanova et al., 2019 (https://arxiv.org/html/2608.04368#bib.bib61); Kidger et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib63)），而基于集合的方法（SeFT, mTAND）通过置换不变或软对齐的表示处理未对齐观测（Horn et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib64); Shukla and Marlin, 2021 (https://arxiv.org/html/2608.04368#bib.bib65)）。多模态架构如 Perceiver IO 和大型视觉–语言模型实现了灵活的跨模态融合（Jaegle et al., 2021 (https://arxiv.org/html/2608.04368#bib.bib66); Alayrac et al., 2022 (https://arxiv.org/html/2608.04368#bib.bib8)）。然而，大多数方法仍基于预定义时间单元操作，这在高度异步采样下变得低效。相比之下，我们的方法将时间轴重新参数化为事件级令牌，从而能够对显著事件进行多模态推理，而非对均匀采样的时间步推理。

**高效序列建模与自适应计算。** 大量工作通过稀疏注意力、低秩近似或硬件感知实现来提升可扩展性（Kitaev et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib68); Zaheer et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib11); Dao et al., 2022 (https://arxiv.org/html/2608.04368#bib.bib15)）。结构化状态空间模型（如 S4、Mamba）进一步通过循环公式实现线性时间序列建模（Gu et al., 2022 (https://arxiv.org/html/2608.04368#bib.bib77); Gu and Dao, 2023 (https://arxiv.org/html/2608.04368#bib.bib78)）。虽然这些方法对长序列有效，但仍基于连续或均匀离散化的时间操作。动态令牌减少方法（TokenLearner、DynamicViT、ToMe）使计算适应输入内容（Ryoo et al., 2021 (https://arxiv.org/html/2608.04368#bib.bib51); Rao et al., 2021 (https://arxiv.org/html/2608.04368#bib.bib52); Bolya et al., 2023 (https://arxiv.org/html/2608.04368#bib.bib70)），但依赖于固定的初始分词。我们的方法不同之处在于联合学习事件自适应分词和预算约束选择，将密集序列转化为紧凑的事件级表示。

**信息瓶颈与预算化表示。** 信息瓶颈原理将表示学习刻画为压缩与任务相关信息之间的权衡（Tishby et al., 2000 (https://arxiv.org/html/2608.04368#bib.bib79)）。我们的节点预算控制器可视为一种显式瓶颈，对事件令牌施加固定容量，将预测效用与计算成本联系起来。与事后剪枝或基于正则化的方法不同，预算直接在表示层面施加，从而能够在严格约束下进行高效学习。

**图压缩与时间约束推理。** 基于图的方法为时间依赖提供结构化建模，包括图池化技术（DiffPool、SAGPool）和时间图网络（TGAT、TGN）（Ying et al., 2018 (https://arxiv.org/html/2608.04368#bib.bib35); Xu et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib41)）。稀疏Transformer同样通过启发式稀疏模式降低注意力复杂度（Beltagy et al., 2020 (https://arxiv.org/html/2608.04368#bib.bib12)）。然而，大多数方法要么压缩现有密集图，要么应用通用稀疏化。相比之下，T2SG直接在压缩事件令牌上构建稀疏图，其中边受时间排序和有界滞后约束。与需要完整图构建的事后剪枝方法不同，我们的方法将节点预算作为基础约束，从一开始就产生效率。

**时间一致性与无泄漏建模。** 时间顺序对于预测和临床预测至关重要，因为未来泄漏可能导致过于乐观的结果（Granger, 1969 (https://arxiv.org/html/2608.04368#bib.bib75); Runge, 2020 (https://arxiv.org/html/2608.04368#bib.bib81)）。我们不进行因果发现，而是强制时间可允许的消息传递，确保依赖关系尊重排序约束。这使我们的方法成为时间一致多模态推理的预算感知、事件中心框架。

参见图注
图1：EvtGraph概览。(a) 事件自适应时间重新参数化通过软权重将多模态流映射为事件令牌，将表示集中在显著区域，同时合并冗余区域。(b) 选中的令牌被组织为预算感知的时间约束图，其中边尊重因果顺序和局部性，从而实现高效的下游预测。

## 3 方法

### 3.1 框架概览

我们提出EvtGraph，一个在显式计算预算下进行多模态时间学习的框架。关键思想是将表示学习视为*容量分配问题*，其中有限的表示资源根据信息密度在时间上分布。与在固定表示之上自适应计算的方法不同，EvtGraph在全局容量约束下直接形式化表示学习。给定多模态输入X=\{xt(m)\}t=1:T,m=1:M\mathbf{X}=\{x_{t}^{(m)}\}_{t=1:T,\,m=1:M}，我们首先将其编码到共享潜空间，得到时间特征H=\{ht\}t=1T\mathbf{H}=\{\mathbf{h}_{t}\}_{t=1}^{T}。然后EvtGraph执行渐进变换：H→Z→Z′→G,\mathbf{H}\;\rightarrow\;\mathbf{Z}\;\rightarrow\;\mathbf{Z}^{\prime}\;\rightarrow\;\mathcal{G},其中密集时间特征首先被*重新参数化*为事件令牌，然后在*全局预算约束下压缩*，最后组织为*时间约束的稀疏图*以进行结构化推理。在此过程中，分词、选择和连接性被联合确定，而非独立指定。整个流程以端到端方式训练，使得事件选择、预算分配和图结构针对下游任务联合优化。为处理异构模态，所有输入被对齐到共享时间轴：密集信号被重采样，稀疏模态被投影到最近时间戳。缺失值通过掩蔽而非插补处理，以保持时间一致性。该流程实现了图1 (https://arxiv.org/html/2608.04368#S2.F1)(b)中所示的渐进变换。

### 3.2 问题形式化

我们考虑多模态时间数据X=\{xt(m)\}t=1:T,m=1:M\mathbf{X}=\{x_{t}^{(m)}\}_{t=1:T,\,m=1:M}，以及编码特征H=\{ht\}t=1T\mathbf{H}=\{\mathbf{h}_{t}\}_{t=1}^{T}。时间建模中的一个基本挑战是信息非均匀分布与计算均匀分配之间的错配。在现实世界信号中，信息性事件稀疏且不规则，而序列的很大一部分是冗余的。为解决此问题，我们寻求紧凑表示Z=\{zs\}s=1S\mathbf{Z}=\{\mathbf{z}_{s}\}_{s=1}^{S}，其中S≪TS\ll T，每个令牌跨时间聚合信息：zs=∑t=1Tws,tht,ws,t≥0,∑tws,t=1.\mathbf{z}_{s}=\sum_{t=1}^{T}w_{s,t}\mathbf{h}_{t},\quad w_{s,t}\geq 0,\quad\sum_{t}w_{s,t}=1.(1) 我们不将式(1)视为简单的加权聚合，而是将每个zs\mathbf{z}_{s}解释为*容量受限的表示单元*，它在局部时间区域内集中任务相关信息。这产生一个预算化表示空间，其中每个令牌充当时间信息的有限容量载体。从这一视角看，模型隐式地施加了信息保留与表示紧凑性之间的权衡，类似于率失真或信息瓶颈原理，而无需显式优化互信息。每个令牌被分配重要性分数αs=gψ(zs)\alpha_{s}=g_{\psi}(\mathbf{z}_{s})，并且最多保留BB个令牌，因此预算BB直接控制有效表示容量和压缩–性能权衡。在这些选中令牌上，我们定义时间约束图：E=\{(i,j)∣0... \mathbb{R}_{\>0}

## 附录D 实验设置

### D.1 MIMIC-IV + CXR 预处理与协议

我们通过将来自MIMIC-IV（Johnson et al. [2023] (https://arxiv.org/html/2608.04368#bib.bib55)）的EHR数据与来自MIMIC-CXR（Johnson et al. [2019] (https://arxiv.org/html/2608.04368#bib.bib56)）的胸部X光数据对齐，构建多模态队列。对于每位患者就诊，我们定义入院后7天的固定观察窗口，对应168小时。所有动态变量以2小时间隔离散化，产生T=84T=84个时间步。时间序列分支使用F=20F=20个动态临床v