向LLM讲述数字：用于时间序列预测的多小波数字嵌入

# 向大语言模型"说"数字：面向时间序列预测的多小波数字嵌入技术
来源：https://arxiv.org/html/2606.26487
Defu Cao¹¹¹ 同等贡献。通讯作者：[email protected]。本工作由Zijie Lei在南加州大学期间完成。Muyan Weng¹，Jiao Sun¹,³，Yan Liu¹ ¹南加州大学 ²Meta ³Google DeepMind \{defucao, zijielei, muyanwen, jiaosun, yanliu.cs\}@usc.edu

###### 摘要

大语言模型（LLMs）因其能够整合异构文本信号，对于需要上下文感知的时间序列预测任务颇具吸引力。然而，LLMs 离散的、面向语言的标记化和嵌入接口与连续的数值不匹配，常常损害数值排序和预测可靠性。我们提出 TempoWave，一种即插即用的时序小波数字接口，它将每个标量观测值映射为基于多小波、多尺度系数构建的逐位嵌入。通过直接覆盖标准的词元表示，TempoWave 以 Transformer 兼容的形式无缝地同时呈现细粒度局部波动和宏观全局结构，确保在整个 LLM 流程中保持精确的数字格式、清晰的数字身份以及对常见归一化操作的鲁棒性。在五个富含上下文信息的预测基准上的实验表明，与标准的数值标记化和其他替代嵌入接口相比，TempoWave 能持续改进基于 LLM 的预测器，达到了新的最先进水平。这些结果凸显了数值接口是一个关键瓶颈，并表明有原则的多分辨率嵌入可以更好地将 LLM 的上下文推理与精确预测结合起来。我们的代码可在 DC-research/TempoWAVE (https://github.com/DC-research/TempoWAVE) 获取，模型可在 [![[未配图图像]](https://arxiv.org/html/2606.26487v1/figs/hf-logo.png)Melady/TempoWAVE](https://huggingface.co/Melady/TempoWAVE) 访问。

## 1 引言

时间序列分析，即对按时间顺序排列的数据点进行研究，在金融、医疗和气候科学等多个领域不可或缺（Cao et al., 2025 (https://arxiv.org/html/2606.26487#bib.bib6); Wang et al., 2026b (https://arxiv.org/html/2606.26487#bib.bib2)）。准确的预测支持资源分配、风险管理和早期预警系统，然而底层的数据生成过程通常复杂且不断演变（Cao et al., 2023a (https://arxiv.org/html/2606.26487#bib.bib113); Zhang et al., 2022 (https://arxiv.org/html/2606.26487#bib.bib112)）。实际的时间序列通常表现出非平稳性、混合周期性、机制转换、长短期时间依赖以及大量噪声（Liu et al., 2022 (https://arxiv.org/html/2606.26487#bib.bib341); Cao et al., 2020 (https://arxiv.org/html/2606.26487#bib.bib371), 2021 (https://arxiv.org/html/2606.26487#bib.bib82), 2023b (https://arxiv.org/html/2606.26487#bib.bib84)）。这些特性使得学习一个能够同时捕捉细粒度局部波动和长期全局结构，同时能够应对分布变化和监督数据有限情况的模型变得困难。

与此同时，大语言模型（LLMs）（OpenAI, 2023 (https://arxiv.org/html/2606.26487#bib.bib366)）已成为强大的通用序列学习器。它们能够利用长上下文、进行上下文内的模式归纳，并能自然地整合文本信息（Hu et al., 2025 (https://arxiv.org/html/2606.26487#bib.bib122); Zhou and Yu, 2025 (https://arxiv.org/html/2606.26487#bib.bib121); Zhang et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib209)）。这对于时间序列智能尤其有吸引力，因为许多影响时间动态的外部驱动因素都以语言形式表达，例如政策变化、市场新闻、临床叙述和运营日志。此外，LLMs 的少样本和零样本泛化行为为那些标记时间序列数据稀缺且任务分布在不同实体、地点或时间段之间变化的领域提供了一条有前景的路径。

尽管有前景，但直接将 LLMs 应用于时间序列预测仍然具有挑战性。LLMs 针对离散词元预测进行了优化，而时间序列预测从根本上需要对连续值进行精确建模。即使模型捕捉到了高层时间模式，这种不匹配也可能导致不可靠的数值行为（Merrill et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib380); Ye et al., 2025 (https://arxiv.org/html/2606.26487#bib.bib5)）。更关键的是，面向语言的标记化以与数值大小无关的方式将数字拆分为子词元，例如“2026”→ “20”和“26”。这种拆分破坏了序数关系并模糊了时间过程固有的连续性。结果，两个数值上接近的值可能映射到非常不同的词元序列，而数值上相距很远的值可能共享子词元，引入了虚假的相似性。在基于 LLM 的预测流程中，这个实值序列与离散词元之间的转换层成为了一个主要瓶颈。

最近的研究探索了多种弥合 LLMs 与时间序列分析之间差距的途径。一个方向是开发专门用于时间序列的专业基础模型（Cao et al., 2026 (https://arxiv.org/html/2606.26487#bib.bib3), 2024a (https://arxiv.org/html/2606.26487#bib.bib94)）。另一种方法是使用代理或多模态系统，将 LLMs 与专门的预测工具相结合（Ye et al., 2026 (https://arxiv.org/html/2606.26487#bib.bib378); Li et al., 2026 (https://arxiv.org/html/2606.26487#bib.bib88)）。第三个方向专注于输入适配，包括分块（Nie et al., 2023 (https://arxiv.org/html/2606.26487#bib.bib148)）、量化（Talukder et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib129)）或将时间序列转换为符号或文本表示（Jia et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib382)）。虽然这些方法可以提高可用性和效率，但它们通常牺牲了数值保真度、模糊了细粒度变化，或者依赖外部组件从而降低了端到端的可微性并增加了分析复杂性。因此，在标准的 Transformer 输入空间中，以一种有原则且信息保留的方式表示连续数值仍然存在一个持久的差距。

在这项工作中，我们聚焦于这个表示瓶颈，并探究是否可以为 LLMs 配备具有数值基础的嵌入，这些嵌入能够保留定量关系和多尺度时间结构，同时保持与标准 Transformer 输入的兼容性。一个有效的预测表示应支持跨分辨率的推理。局部变化对于短期动态和异常敏感区域至关重要，而趋势和季节性成分则主导长期行为。受小波分析（提供自然的多分辨率分解）的启发，我们提出了**多小波数字嵌入（TempoWave）**，这是一种输入嵌入接口，它将每个标量观测值映射成一个编码多尺度结构的稠密向量。TempoWave 被设计为注入到 LLM 主干中，而无需对数字进行语言标记化，从而减少了数值大小与模型离散接口之间的脱节。除了预测准确性，我们还旨在理解嵌入接口如何塑造模型内部的数值结构。为此，我们引入了诊断分析，探究表示空间中的局部邻域是否尊重数值顺序，我们将此属性称为**单调邻域一致性**。这些分析有助于解释 TempoWave 何时能改善预测，并为设计用于 LLMs 的具有数值基础的接口提供指导。在多个不同的预测基准上进行的大量实验表明，与标准标记化和常见适配方法相比，TempoWave 能够持续改进基于 LLM 的预测器，并且在需要精确数值预测的场景中，与强大的时间序列专用模型相比也具有竞争力。

**贡献**。我们的贡献如下：

- **用于LLM预测的基于小波的数值接口**。我们提出了***多小波数字嵌入（TempoWave）***，这是一种输入嵌入接口，将每个实值数值观测值映射成具有多分辨率结构的稠密向量，使得标准 LLM 主干能够直接用于数值预测，而无需依赖数字的语言标记化。
- **结构保真且稳定的数值表示**。我们从多尺度信号处理的角度分析了 TempoWave，并建立了与数值保真度和稳定性相关的性质，包括跨值的可分离性提升以及对于 Transformer 中常用归一化操作的鲁棒性。
- **带有诊断证据的综合评估**。我们在不同的预测基准上进行了大量实验，显示出相较于使用标记化和常见输入适配的 LLM 基线的一致优势。我们进一步提供了探测单调邻域一致性的诊断分析，为 TempoWave 如何重塑数值邻域提供了证据，并有助于解释其预测性能的提升。

## 2 相关工作

将大语言模型（LLMs）应用于时间序列分析的研究增长迅速，这得益于 LLMs 强大的序列建模能力及其整合上下文信息的能力。现有工作可分为三个方向：在大型时间语料库上训练的时间序列基础模型、以 LLM 为中心的代理或多模态系统，以及重新设计数值如何表示为 Transformer 主干输入的输入适配策略。

#### 时间序列基础模型。

一个主要方向是直接在大型多样的时间序列集合上预训练基础模型，以学习可迁移的时间表示。代表性例子包括 Chronos（Ansari et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib105)）、TimesFM（Das et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib74)）以及其他大规模时间预训练工作（Woo et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib104); Cao et al., 2024b (https://arxiv.org/html/2606.26487#bib.bib90); Yang et al., 2025a (https://arxiv.org/html/2606.26487#bib.bib85)）。这些模型展示了规模化和预训练对预测的好处，但它们通常依赖分块、离散化或量化来与 Transformer 交互，这可能会模糊细粒度的数值差异，并在对精度敏感的区域引入信息损失。

#### LLM代理与多模态时间序列系统。

另一条工作线使用通用 LLMs 作为更大流程中的推理引擎，其中预测或数值计算委托给专门的工具，而 LLM 执行编排和解释（Yang et al., 2026 (https://arxiv.org/html/2606.26487#bib.bib87); Weng et al., 2026 (https://arxiv.org/html/2606.26487#bib.bib89); Yang et al., 2025b (https://arxiv.org/html/2606.26487#bib.bib83)）。密切相关的是多模态系统，它们联合建模时间序列和文本，实现上下文感知的预测和问答，例如 TimeLLM（Jin et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib203)）、GPT4MTS（Jia et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib382)）。虽然这些方法突出了融合文本信号的价值，但它们的性能仍然关键地取决于连续值如何编码为 Transformer 输入，并且当接口是基于词元或高度离散化时，数值保真度可能仍然是一个瓶颈。

#### LLM的输入适配与数值表示。

大量工作专注于通过输入适配使数值时间序列能够被 LLM 主干处理。常见策略包括基于分块的表示（Nie et al., 2023 (https://arxiv.org/html/2606.26487#bib.bib148)）、离散化或分箱（Talukder et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib129)）、将片段符号转换为字符串（Goswami et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib124)）以及将时间序列嵌入对齐到语言嵌入空间的嵌入对齐方法（Gruver et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib91); Zeng et al., 2023 (https://arxiv.org/html/2606.26487#bib.bib132)）。更广泛地说，最近关于语言模型数值能力的研究强调，标记化和离散接口会阻碍可靠的数值推理，从而激发了能够保留定量结构的替代表示（Merrill et al., 2024 (https://arxiv.org/html/2606.26487#bib.bib380); Gillman et al., 2025 (https://arxiv.org/html/2606.26487#bib.bib17)）。这些适配提高了兼容性，但它们往往将负担转移到预处理阶段，并且可能牺牲精度、局部性或多尺度结构（Wang et al., 2026a (https://arxiv.org/html/2606.26487#bib.bib86)）。

参见图注图 1：基于 TempoWave 的预测框架概览（使用数字级别词元）。输入提示使用一个扩充了专用数字词元的词元化器进行一次标记化。文本和上下文词元使用标准嵌入，而数字词元则被路由到 TempoWave 模块，该模块通过多小波、多尺度系数构建数字嵌入，并覆盖相应的词元嵌入。得到的嵌入序列被输入到一个不变的 LLM 主干中，通过监督微调（SFT）进行训练。模型生成数字词元，这些词元被解析、反归一化，并作为实值预测进行评估。
#### TempoWave的定位。

我们的工作通过引入多小波数字嵌入来解决上述接口挑战，该嵌入在输入到 LLM 之前构建了具有数值基础且编码了多分辨率结构的嵌入。与纯符号转换或粗略离散化相比，TempoWave 旨在保留定量关系，同时提供受小波分析启发的多尺度表示，支持准确的预测以及对诱导出的数值邻域结构进行诊断分析。

## 3 方法

### 3.1 概述

为了弥合连续值时间序列与大语言模型（LLMs）离散输入接口之间的不匹配，我们提出了多小波数字嵌入（TempoWave），这是一种具有数值基础的嵌入接口，它仅干预词元嵌入层，同时保持 LLM 主干不变。如图 1 (https://arxiv.org/html/2606.26487#S2.F1) 所示，TempoWave 通过用多分辨率小波表示替换数字词元的嵌入，使得 LLMs 能够处理数值序列。

#### 数值到词元接口。

给定一个归一化的时间序列值 \(x_t \in \mathbb{R}\)，我们首先将其渲染为具有 \(m_{prec}\) 个整数位和 \(n_{prec}\) 个小数位的固定精度字符串（例如，V.FFFF）。然后，使用一个扩充了**专用数字词元**的词元化器进行一次标记化，其中每个数字 \(d_i \in \{0, ..., 9\}\) 被视为一个独立的词元。结果，输入提示被转换成一个混合词元序列，包含文本/上下文词元和数字词元。

对于文本和上下文词元，使用标准的词元嵌入。对于数字词元，TempoWave 通过多小波、多尺度特征计算数字嵌入，并**覆盖**标准的嵌入。这种路由机制确保数值结构仅注入到数字位置。