TimeThink：激发时间序列大型语言模型中的组合推理

# TimeThink：激发时间序列大语言模型中的组合推理能力
来源：https://arxiv.org/html/2609.13457

Arvind Pillai affiliation:Lisa Marsch, Nicholas C\. Jacobson, Andrew Campbell

Yu Yvonne Wu affiliation:Dartmouth College

Yuliang Chen affiliation:

通讯作者：[sudarshan\.regmi\.gr@dartmouth\.edu](mailto:[email protected])

###### 摘要

时间序列多模态大语言模型（TS-MLLMs）近期开始利用大语言模型（LLMs）的推理能力来处理问答任务。然而，这些模型往往未能捕捉动态时间模式，仅提供缺乏关键底层解释的隐式推理，而这对于医疗保健等高风险应用至关重要。虽然基于强化学习（RL）的时间序列语言模型旨在解决这一问题，但由于它们通常在狭窄的、分布内的数据上进行训练，且难以处理分布外的组合问题，因此效果常常不理想。

为应对这些挑战，我们提出了 **TimeThink**，一个用于激发组合时间序列推理能力的合成框架。核心的时间序列基本元素（例如，趋势、季节性）是领域无关的，并且可以确定性地生成。基于此前提，**TimeThink** 首先设计了一个合成数据生成器，用于生成**原子**和**组合**问答对，并提供带有推理轨迹的客观真实值。在此框架基础上，**TimeThink** 采用了一种带可验证奖励的强化学习（RLVR）训练策略来鼓励显式推理。与依赖模板的方法不同，这种方法使模型能够学习组合的底层逻辑，而不仅仅是模仿推理轨迹。

大量实验表明，**TimeThink** 仅通过合成数据进行训练，就在合成和真实世界的基准测试中显著优于强大的基线模型。111代码：https://github.com/sudarshanregmi/timethink

## 1 引言

时间序列数据在现实世界系统中无处不在，捕捉了医疗保健、工业运营和金融领域的时间动态。近期的时间序列多模态大语言模型（TS-MLLMs）将大语言模型（LLMs）应用于数值序列，并在检测和问答任务上展现了有前景的结果（Xie et al., 2025；Zhang et al., 2025）。现有的 TS-MLLMs 主要在数值信号编码方式上有所不同。一些模型将序列转换为原始文本或可视化图表，以便 LLM 或视觉语言模型（VLM）能够直接解释（Yoon et al., 2024；Kim et al., 2024）。其他模型则将序列原生嵌入语言空间，在配对的时间序列和语言数据上训练投影层（Xie et al., 2025；Xu et al., 2025；Zhang et al., 2025）。然而，在所有这些设计中，模型仅对最终答案进行监督。时间模式，如趋势、季节性和异常，被隐式吸收，预测背后的推理过程是不可见的（Li et al., 2026）。这一点很重要，因为基于时间序列模型所采取的下游行动通常取决于触发预测的是哪种模式，而不仅仅是预测本身。例如，当旋转机械发生设备故障时，模型可能会根据振动、电流和温度流正确地发出警报。但它无法揭示警报是源于持续的电机负载、升高的轴承温度，还是瞬时的振动峰值。这种区分对于将维护工作导向正确的组件至关重要。在医疗保健和其他高风险环境中同样如此，这些场景下的行动需要有依据的诊断。这些环境不仅要求正确的答案，还要求提供其背后的推理过程。

为此，最近的一系列工作使用带可验证奖励的强化学习来引出推理轨迹（He et al., 2026；Guan et al., 2026；Ni et al., 2026）。像 TimeOmni-1（Guan et al., 2026）和 STReasoner（Ni et al., 2026）这样的模型是针对基于结果的奖励（通常是选择题答案的精确匹配或预测误差）进行优化的。然而在实践中，这些工作的大部分能力是通过在推理模板上进行监督微调（SFT）来实现的，强化学习（RL）则作为优化流程，用于提升格式一致性并带来适度的准确率提升。总体而言，这个方案使得推理在推理时变得可读，并提高了目标任务的准确率。

这种设计带来了两个局限。首先，由于推理模板是针对特定任务手工制作或蒸馏得到的，因此产生的模型受限于其训练分布所覆盖的狭窄时间模式范围（单一的预测目标、固定的传感器领域或封闭的问题类型集），并且可能无法泛化到训练时未见过的时间序列属性。其次，现实世界的问题很少仅涉及单一时间现象。它们通常需要同时组合多个模式：在季节性趋势中定位异常，或在非平稳状态下关联两个变量。当一个问题跨越多个以新颖方式组合的模式时，许多 TS-MLLMs 会失去连贯性，退回到其推理模板所诱导的启发式方法。

为了解决这些差距，我们提出了 **TimeThink**，一个用于激发组合时间序列推理能力的合成框架。该框架首先使用一个合成数据生成器，该生成器将领域无关的**原子**基本元素与一组独立的**子技能**相结合，形成**组合**问答对。对于一小部分示例，我们使用一个 LLM 来多样化问题和答案的措辞和复杂度，同时保留可编程生成的推理结构和经过验证的真实值。由此产生的原子和组合问答的混合数据被用于两个顺序的训练阶段：SFT，然后是带可验证奖励的强化学习（RLVR），以实现显式推理。RLVR 由问题感知的奖励驱动，这些奖励根据答案类型（二元、分类、数值和集合重叠）进行分解，从而提供更密集的学习信号。

我们在合成和真实的问答基准测试上评估了 **TimeThink**，突显了仅使用合成数据方案的有效性。我们的贡献包括：

- **TimeThink 框架**：我们开发了一个用于领域无关时间序列基本元素的可编程生成器，该生成器可生成确定性的问题感知真实值，使得大规模 RLVR 成为可能。我们创建了包含不同组合的时间序列基本元素的评估集。我们计划发布所有代码、数据和模型，以鼓励开源研究。
- **时间序列组合推理**：我们研究时间序列上的组合推理，其中回答查询需要组合学习到的**原子基本元素**。据我们所知，我们首次展示了在 TS-MLLMs 中使用合成可验证奖励显式训练此类推理的工作。
- **广泛分析**：我们在六个任务的多样化合成和真实数据集上进行了评估。组合问题上的结果表明 **TimeThink** 优于现有时间序列模型，进一步分析显示 **TimeThink**（RL）能够泛化到更长的时间范围。

## 2 相关工作

##### 不具备显式推理能力的 TS-MLLMs。现有的 TS-MLLMs 主要在向语言模型呈现数值信号的方式上有所不同。早期方法将时间序列转换为字符串供 LLM 直接处理（Gruver et al., 2023；Xue and Salim, 2023；Kim et al., 2024），这会导致 token 耗尽，并且在长序列上保真度下降（Pillai et al., 2025；Spathis and Kawsar, 2024）。为了提高效率，替代策略使用视觉语言模型进行视觉提示（Yoon et al., 2024），但这些方法通常捕捉表面视觉模式，而非底层的时间动态（Merrill et al., 2024）。更近期的一系列工作将时间序列视为原生模态，将数值块直接投影到 LLM 嵌入空间，并通过配对数据对齐两者（Jin et al., 2023；Xie et al., 2025；Xu et al., 2025；Zhang et al., 2025）。在这三种情况下，模型通常仅对最终答案进行监督。时间模式被隐式吸收，因此模型无法暴露或审查预测背后的推理。最近的基准测试显示，即使是前沿 LLM 也难以处理超出基本模式识别的时间序列合成问题（Cai et al., 2024），并且在多步时间推理任务上的性能会进一步下降（Li et al., 2026）。

##### 时间序列上的显式推理及其局限。近期一项工作（Potosnak et al., 2024）表明，深度预测器可以在分布偏移下组合时间结构，但这种组合是隐式的，从未被训练过。最近，研究人员开始探索时间序列上的显式推理，遵循更广泛的用于推理的 RL 范式（Guo et al., 2025；Shao et al., 2024）。一条路线通过标注的思维链轨迹连同最终答案一起进行监督（SFT 风格），如 SenTSR-Bench（He et al., 2026）和 LLaTiSA（Ding et al., 2026）。另一条路线在训练过程中使用带有任务特定奖励的强化学习来引出思维轨迹，包括 STReasoner（Ni et al., 2026）和 TimeOmni-1（Guan et al., 2026）。另一条并行路线将 RL 应用于事件和日期的时间推理（Liu et al., 2025）。两条路线都受到两个局限性的制约。首先，它们通常在相对狭窄的任务分布上进行训练，这可能会限制对分布外时间序列的泛化能力。其次，它们可能难以处理需要组合多个时间模式的问题。仍然缺失的是针对核心时间基本元素（如趋势、相关性和季节性）的使用可验证奖励的显式推理。我们的工作旨在填补这一空白。

## 3 TimeThink

参见图 1 时间序列中的可组合性：一个查询可能涉及季节性趋势中的异常、相关性和趋势。**TimeThink** 通过原子基本元素生成合成 QA，并组合它们来训练组合推理。
![image.png](https://prod-files-secure.s3.us-west-2.amazonaws.com/.../image.png)
*图 1:TimeThink 概览。(A, B) 合成数据生成：一个可编程生成器构建针对单一基本元素的原子 QA、链接多个操作符的组合 QA，以及针对未见任务轴的分布外（OOD）QA。(C) LLM 驱动的 QA 演化：模板化的 QA 被演变成更复杂、更多样化的变体，推理轨迹（块）被保留，以确保响应基于时间序列属性。(D) 训练阶段优化：阶段 1（SFT）在锚点长度 T≤256 上使用可编程的推理轨迹进行微调；阶段 2（RLVR）应用 GRPO 以激励自主组合并将时间范围扩展到 T≤768，使用格式奖励和针对四种答案类别（二元、邻近、分类、Set-F1）的可验证奖励（r_fmt + r_ans）。*

##### 预备知识。我们考虑多元时间序列上的问答任务。设 x = (x₁, ..., x_T) ∈ ℝ^{T×d} 表示长度为 T 的时间序列，其中每个观测值 x_t ∈ ℝ^d 对应一个单变量（d=1）或多变量（d>1）序列。给定关于 x 的问题 q ∈ Q，模型生成一个自回归响应 y = (y₁, ..., y_{|y|})，包含推理轨迹和最终答案。为便于独立验证响应结构和依据，我们采用结构化输出格式：...</think>answer: {value}⟨⟨后思考响应⟩⟩，从而能够验证响应格式和答案的正确性。

输出 token 上的条件分布 π_θ(y | x, q) 定义为：
π_θ(y | x, q) = ∏_{n=1}^{|y|} π_θ(y_n | x, q, y_{<n})。
在训练期间，模型首先通过 SFT 在推理轨迹上进行微调，然后通过 RLVR 进行优化。

**RLVR 奖励设计**。给定一个问题 x, q，我们从当前策略采样一组 G 个候选响应 {y_g}_{g=1}^G。对于每个响应，我们提取格式奖励 r_fmt 和答案奖励 r_ans。总奖励为 r(x, q, y) = r_fmt + r_ans。格式奖励 r_fmt 检查生成的块是否遵循模板 answer: {value}。答案部分 r_ans 对提取的值执行问题感知验证，涵盖四个不同类别：(1) 二元：布尔问题需要精确匹配；(2) 分类：有限语义标签空间需要精确匹配；(3) 邻近：对于数值查询，根据预测值与真实值之间的距离分配分级奖励信号；(4) Set-F1：对于枚举或分组任务，通过计算预测集和黄金集之间的 F1 重叠度来给予部分分数。这种奖励设计消除了对人工标注推理轨迹的需求，同时仍然提供了丰富且信息丰富的训练信号。

最终，我们优化了组相对策略优化（GRPO）目标（Shao et al., 2024）：
max_θ E_{(x,q), y_g ~ π_θ_old} [L_GRPO(θ, {r(x, q, y_g)}_{g=1}^G)], (3)
该目标将每组内的奖励标准化以获得相对优势，并使用 PPO 风格的裁剪代理加上针对冻结参考策略 π_ref 的 KL 惩罚来更新策略（Guo et al., 2025）。这里 π_θ_old 表示在每次 PPO 更新期间保持固定的滚动策略，而 π_ref 是在整个 RL 期间冻结的 SFT 阶段模型。我们使用 verl 库提供的实现（Sheng et al., 2025）。

## 4 实验

**任务**：我们的评估涵盖六个任务族：选择题、分类题、数值题、聚类题、排名/枚举/排序题和描述题。

**数据集**：我们在以下数据集上进行评估：(a) TSEvol (Xie et al., 2025)：包含从现实世界领域收集的归纳（LLM-as-judge 分数）、因果（准确率）和演绎（准确率）问题。(b) MCQ2 (Merrill et al., 2024)：包含与一对时间序列相关的反事实选择题。(c) SenTSR-Bench (He et al., 2026)：包含从实际应用（如医疗、能源、金融）中导出的、需要综合多个时间模式（趋势、季节性、异常）来回答的问题。 (d) 以及我们为评估合成基本元素和组合能力而生成的内部数据集。

**基线模型**：我们将 TimeThink 与以下模型进行比较：(i) **零样本 LLM**：GPT-4o 和 Claude-3.5-Sonnet，在原始时间序列文本上运行。(ii) **监督式 TS-MLLM**：TS-LLaMA (Xie et al., 2025) 和 UniTS (Xu et al., 2025)。(iii) **基于 RL 的模型**：TimeOmni-1 (Guan et al., 2026) 和 STReasoner (Ni et al., 2026)。(iv) **消融模型**：TimeThink（SFT）和 TimeThink（RL），以展示每个训练阶段的贡献。

**主要结果**：表 1 显示了在合成和真实基准测试上的结果。TimeThink（RL）在所有任务中取得最佳性能，尤其在组合推理任务上优势显著。例如，在需要组合趋势、季节性和异常的 SenTSR-Bench 上，TimeThink（RL）将准确率从 STReasoner 的 68.2% 提高到 82.7%。重要的是，仅使用合成数据训练的 TimeThink 也能在真实数据集（TSEvol 和 SenTSR-Bench）上取得强劲表现，证明了其泛化能力。消融研究显示，RL 阶段带来了约 12% 的平均准确率提升，而 SFT 阶段提供了必要的基础能力。

**分析**：我们进一步分析了模型的泛化能力和推理质量。(1) **时间范围泛化**：我们在不同的历史长度（T=128, 256, 512, 768）上测试了模型。TimeThink（RL）在长序列上性能下降最小，表明其学习到了时间模式的本质，而非过拟合于特定长度。(2) **推理透明度**：我们人工评估了生成的推理轨迹。TimeThink（RL）产生的轨迹准确地识别了相关的模式（如“在第 24-36 天检测到季节性峰值”），并清晰地解释了这些模式如何组合以得出答案，而基线模型的推理要么缺失，要么不够准确。(3) **组合复杂度**：通过合成测试集，我们评估了模型处理不同组合深度（涉及 1、2、3 个基本元素）的问题的能力。TimeThink（RL）在处理复杂组合（如“在具有上升趋势的季节性数据中定位一个异常点”）时表现出显著更强的鲁棒性。

**结论**：我们提出了 TimeThink，一个用于激发时间序列 LLMs 组合推理能力的框架。通过合成数据生成和带可验证奖励的强化学习，TimeThink 仅使用合成数据就学会了显式、准确地推理，超越了现有模型。这项工作突显了利用可合成的、领域无关的基本元素来训练强大且可解释的时间序列推理模型的潜力。