TSRouter：用于时间序列推理的动态模态-模型选择

# 面向时间序列推理的动态模态-模型选择
来源：https://arxiv.org/html/2607.08940
方徐宇¹，冯涛²，闵德海³，程璐³，刘戈²，周天艺⁴  
¹马里兰大学学院公园分校，²伊利诺伊大学厄巴纳-香槟分校，³伊利诺伊大学芝加哥分校，⁴穆罕默德·本·扎耶德人工智能大学

###### 摘要

时间序列推理对于解决现实世界问题至关重要。虽然大型语言模型（LLMs）和视觉语言模型（VLMs）都能对时间序列数据进行推理，但它们的能力是互补的：LLMs将时间序列作为文本序列处理，从而保留了精确的数值理解，但在处理全局模式方面存在困难；而VLMs通过将时间序列可视化来高效捕捉这些模式，但可能会丢失细粒度细节。此外，不同模型在任务特定专长和推理成本方面差异显著。因此，为每个查询动态选择最合适的模态和模型至关重要，但这颇具挑战性，因为它需要对任务、查询、模态和模型之间的复杂交互进行建模，而这些交互携带了丰富的上下文信号。为此，我们引入了TSRouter，一个基于图的动态路由框架。TSRouter构建了一个包含任务、查询、模态和模型节点的异构图，以将查询特征、模态属性和模型能力之间的交互置于上下文中。TSRouter将路由问题表述为候选评分问题，其中每个模态-模型对根据用户定义的性能-成本偏好进行评估，以选择最优候选。在四个不同的时间序列推理任务上的综合评估表明，TSRouter显著优于各种基线方法，相对改进幅度达16%到46%。此外，TSRouter在未见过的模型和新任务上展现出鲁棒的零样本即插即用泛化能力，并且通过成本感知优化在降低计算开销的同时保持了高性能。我们的代码可在https://github.com/tianyi-lab/TSRouter获取。

## 1 引言

在高风险领域中，时间序列记录着现实世界变量的时间演变，因此起着关键作用。解读这些序列模式是理解复杂过程或指导主动决策的基础。例如，在教育领域（Mao等，2024），分析学生轨迹（如参与度和尝试次数）有助于识别学习困难的学生并个性化学习计划。在科学发现领域（Yu等，2025c），时间序列（如引力波记录）编码了天体物理过程，可能导致发现系外行星和黑洞合并。分析时间序列并进行推理，使自动化系统能够支持高影响力应用。

最近，大型语言模型（LLMs）和视觉语言模型（VLMs）已成为时间序列分析的强大工具。基于LLM的方法（Merrill等，2024；Wang等，2025）将时间序列视为原始文本序列，保留了数值精度，但存在上下文长度瓶颈、计算成本高和全局模式识别能力差的问题。相反，基于VLM的方法（Zhong等，2025；Liu等，2025）将时间序列转换为可视化图表，高效捕捉长序列中的全局模式，但由于图像分辨率限制会丢失细粒度的数值细节。除了模态选择，单个模型在处理不同类型的推理任务和问题时的能力也存在差异。训练一个统一这些互补优势的单一模型成本高昂，而在现成的LLMs和VLMs之间进行路由提供了一种轻量级且可扩展的替代方案。因此，为每个查询动态路由到最合适的模态和模型，对于充分利用它们在两个维度上的互补优势至关重要。然而，如表1所示，现有的路由方法仅关注模型选择，而未联合考虑模态选择。此外，它们最多捕捉一种类型的交互，未能对任务、查询、模态和模型之间携带丰富上下文信号的复杂关系进行联合建模。这些局限性使得它们在时间序列推理中表现欠佳，因为在这类任务中，模态适配度和模型专长都至关重要地决定了性能。

| 方法 | 模态 | 交互 | 效率 | 路由 |
| :--- | :--- | :--- | :--- | :--- |
| | | 查询-查询 | 查询-模型 | 推理速度 | 内存使用 |
| CausalLM (Ding等, 2024a) | ✗ | ✗ | ✗ | 慢 | 中等 |
| GraphRouter (Feng等, 2024) | ✗ | ✗ | ✓ | 快 | 低 |
| Hybrid LLM (Hu等, 2024) | ✗ | ✗ | ✗ | 中等 | 中等 |
| RouterDC (Chen等, 2024b) | ✗ | ✓ | ✗ | 中等 | 中等 |
| Router-R1 (Zhang等, 2025a) | ✗ | ✗ | ✗ | 中等 | 高 |
| \rowcolorcyan!10 TSRouter | ✓ | ✓ | ✓ | 快 | 低 |

表 1：TSRouter与现有路由方法的比较。与以往仅在固定模态下选择模型的方法不同，TSRouter联合执行模态和模型路由，同时捕捉查询-查询和查询-模型交互，推理速度快且内存占用低。为了解决这些局限性，我们引入了TSRouter，一种用于动态模态和模型选择的基于图的路由器。TSRouter构建了一个异构图，显式建模任务、查询、模态和模型之间的上下文信息和交互，从而实现上下文感知的路由，无需重新训练即可泛化到新模型和新任务。具体来说，该图包含4种不同的节点类型：任务、查询、模态和模型，边编码了它们之间的不同关系。TSRouter将模态-模型路由问题构建为一个候选评分任务，其中时间序列模态-模型的最优选择取决于用户定义的关于性能和成本的偏好。一旦对候选进行评分，系统便将每个查询路由到最优候选。为了实现对新任务和模型的零样本泛化，我们利用如GPT-5等LLM对每个节点进行特征描述，概述关键属性，如任务要求、模型描述和令牌成本。然后，使用预训练的文本嵌入模型对这些描述进行嵌入，以初始化节点特征。最后，一个异构图神经网络（GNN）聚合跨类型邻域信息，随后由一个评分器产生最终的路由决策。

我们在4个基础时间序列推理任务上全面评估了TSRouter。实验结果表明，TSRouter在各种基线方法上取得了显著优势，改进幅度达16%至46%。此外，TSRouter在未见过的任务上表现出卓越的泛化能力，并能稳健地处理新模型而无需额外微调。最后，通过显式优化成本感知路由，TSRouter建立了优越的帕累托前沿，在保持推理能力的同时，与现有方法相比最大限度地减少了计算开销。

## 2 TSRouter：面向时间序列推理的模态-模型选择

### 2.1 动机分析

我们首先在TSRBench测试集（见第3节）上演示不同时间序列模态和LLMs与VLMs在时间序列推理中的互补优势，并识别出激发TSRouter设计的两个观察结果。

不同时间序列模态擅长不同的任务。图1(a)展示了在15个子任务中（按4个任务类别分组：感知、决策、预测、推理），每种模态在跨模型上的平均最高准确率分布。我们观察到，视觉模态在感知类任务中占主导地位，在4个子任务中赢得了3个，因为可视化图表高效地编码了感知任务所依赖的全局形状和结构模式。相比之下，文本模态在预测类任务中表现出色，因为保留精确数值对于预测至关重要。然而，对于推理和决策类任务，没有任何单一模态具有一致优势。这种多样化的模式证实了不同模态之间是互补而非支配关系，这推动了按查询进行模态选择而不是固定模态选择的需求。

不同模型处理多样的查询。图1(b)针对每种模态类型，将正确回答的查询分解为三个互不相交的组：仅由最小模型正确回答、由两个模型都正确回答、以及仅由最大模型正确回答。尽管最大模型在所有三个类别中都达到了更高的总体准确率，但重叠率（即最小和最大模型都正确回答的查询比例）很低。这表明较大和较小的模型在很大程度上成功处理了不同的查询子集：大模型正确回答的查询中，近一半与小模型正确回答的查询并不相同，反之亦然。因此，总是选择最大模型会导致相当一部分查询无法得到服务，而这些查询本来可以被较小的模型正确处理，这激发了为每个查询路由到不同模型的需求。附录D中提供了一个定性分析示例。

这些发现表明，性能在任务、查询、模态和模型之间差异显著，这表明一个有效的路由器应该考虑任务差异、识别个体查询特征，并联合选择最合适的模态和模型。由于这些元素之间存在复杂的交互，为路由提供了丰富的信息，因此迫切需要一种框架，能够显式建模这些元素之间的相互作用，以做出上下文感知的决策。

参见图注
图 1：动机分析结果。(a) 15个子任务中表现最佳的模态分布，按4个任务类别分组。(b) 在每种模态内，仅由最小模型正确回答、两个模型都正确回答、以及仅由最大模型正确回答的查询的分解情况。
### 2.2 问题形式化

接下来，我们形式化时间序列路由问题。设Q={q1,...,qN}表示一组*时间序列查询*，其中每个查询qi=(xi, ui)由一组时间序列xi={xi(1),...,xi(Ki)}（其中xi(k)∈RTi(k)）和一个自然语言问题ui组成。我们假设可以访问一组基础模型L={l1,...,lL}（包括LLMs和VLMs），以及一组输入模态M={m1,...,mM}，其中每种模态规定了时间序列如何呈现给模型：作为数值文本、作为可视化图表、或作为两者的混合。LLMs只能处理文本形式的时间序列输入，而VLMs可以处理视觉和文本输入。我们将有效的模态-模型组合集合表示为C⊆M×L，这样每个候选c=(m,l)∈C同时指定了时间序列的呈现方式和处理它的模型。

给定一个查询qi和一个候选c∈C，令I(qi,c)∈{0,1}表示c是否产生正确答案的正确性指示符，并令cost(qi,c)≥0表示推理成本（例如，API定价）。我们将*有效性分数*定义为正确性和（归一化）成本的凸组合：

e(qi,c)=α·I(qi,c)−(1−α)·cost̃(qi,c)，(1)

其中cost̃表示所有候选上的最小-最大归一化成本，α∈[0,1]控制用户对性能-成本权衡的偏好。当α=1时，目标简化为纯准确率最大化；α值越小，对高成本候选的惩罚越大。路由的目标是选择有效性最高的候选：

ci* = arg max_{c∈C} e(qi,c) (2)

其中ci*是解决查询qi的最优候选。

### 2.3 TSRouter框架

**概述**。如图2所示，TSRouter首先将任务、查询、模态和模型之间的交互数据转化为一个图，并将它们建模为任务节点、查询节点、模态节点和模型节点，而由交互数据导出的关系则由边表示。我们应用GNN来嵌入节点特征并将其用于路由。我们通过构建一个异构图G=(V,E)来利用其组合结构。

**节点集合**。节点集合V=T∪Q∪M∪L由4种互不相交的类型组成。所有节点特征通过使用预训练的文本嵌入模型φ（例如Qwen3-embedding（Zhang等，2025b））对自然语言描述进行编码来初始化。具体来说，(i)**任务节点**嵌入类别级别的范围和需求描述；(ii)**查询节点**嵌入问题文本ui与其时间序列的文本统计摘要（例如，通道数、趋势方向）的拼接，使路由器能够在不访问原始序列的情况下，从数据特征中考虑模态偏好；(iii)**模态节点**嵌入模态属性的描述；(iv)**模型节点**嵌入一个包含能力意识的配置文件，总结架构、参数规模和成本。所有配置文件见附录B。

参见图注
图 2：TSRouter概览。每个查询与所有模态-模型组合配对以收集性能和成本，形成训练数据。然后，TSRouter根据任务、查询、模态和模型描述构建一个异构图，学习节点表示，并对候选进行评分，以将查询路由到最优的模态-模型对。
#### 边集合。

异构边集合E=ETQ∪EQM∪EQL∪EMM∪EQQ包含五种关系类型，每种编码一种不同的关系：(i)**任务-查询边** (ETQ) 将每个查询qi链接到其任务类别τq(qi)，使得属于同一任务的查询共享任务级上下文；(ii)**查询-模态边** (EQM) 将每个查询qi链接到每个模态mj；(iii)**模态-模型边** (EMM) 将每个模态m连接到每个兼容的模型l，反映了C中的有效候选；(iv)**查询-模型边** (EQL) 将每个查询qi链接到每个模型lk。第五种类型捕捉查询相似性：(v)**查询-查询边** (EQQ) 基于查询嵌入的余弦相似度，将每个查询连接到其k个最近邻，使相似的查询之间能够进行信息传递，从而提升路由性能。