从长新闻到精准预测：重要性感知融合与PRM引导的反思在时间序列预测中的应用

# 从长新闻到准确预测：重要性感知融合与PRM引导的反思用于时间序列预测 来源: https://arxiv.org/html/2606.03097 Mingyang LIU1∗, Qingcan Kang2†,Yuke WANG1, Shixiong Kai2, Kaichao Liang2, Hui\-Ling Zhen2,Tao Zhong2,Mingxuan Yuan2,Linqi Song1† 1香港城市大学计算机科学系 2华为诺亚方舟实验室 mingyaliu8\-c@my\.cityu\.edu\.hk kangqingcan@huawei\.com linqi\.song@cityu\.edu\.hk ###### 摘要 将新闻融入时间序列预测具有吸引力，因为新闻能够揭示仅凭历史数值无法捕获的突发外生事件。然而，现有基于LLM的新闻预测流水线面临两个实际限制：相关新闻文章通常超出模型的上下文窗口，而补充性新闻的迭代检索通常缺乏引导，导致冗余更新和收敛缓慢。我们通过一个结合重要性感知新闻压缩与过程级检索监督的新型框架来解决这些问题。首先，我们训练一个重要性奖励模型，该模型估计每篇文章对预测的效用，并利用该信号在顺序逐对融合过程中分配压缩预算，在固定上下文限制内保留信息性内容。其次，我们引入一个过程奖励模型（PRM），该模型根据当前误差分布和先前选择文章的历史对多个补充新闻候选进行排序，用质量可控的选择替代一次性盲目检索。两个组件均使用带有真实标签的历史数据进行离线训练；推理时使用冻结的过滤逻辑和压缩模块，无需任何反思循环。在金融、能源、交通和比特币预测基准上的实验表明，我们的方法相比强基线提高了预测精度，与迭代基线相比显著减少了优化迭代次数，并且当相关文章涵盖数千词元时仍然有效。 11footnotetext:∗在华为诺亚方舟实验室实习期间完成的工作。22footnotetext:††通讯作者。

## 1 引言

时间序列预测支持金融、能源和交通等领域的决策制定（Alghamdi等人，2019 (https://arxiv.org/html/2606.03097#bib.bib16)；Fildes等人，2022 (https://arxiv.org/html/2606.03097#bib.bib17)；Gross 和 Galiana，1987 (https://arxiv.org/html/2606.03097#bib.bib19)）。尽管现代预测模型能够从历史观测中捕获丰富的时间模式，但它们仍然容易受到由外生事件（如政策变化、自然灾害或市场变动公告）引起的突然分布偏移的影响。这些事件在预测时可用的数值历史中往往反映较弱，甚至完全没有反映。这一局限性促使预测系统能够将外部文本证据，特别是新闻报道，融入预测过程。新闻提供了未来时间序列变动背后潜在驱动因素的及时描述。

最近基于LLM的预测流水线已经开始利用这种信号，通过提示一个推理智能体筛选相关文章，以及一个独立的评估智能体分析预测误差并提出额外的检索查询（Wang等人，2024 (https://arxiv.org/html/2606.03097#bib.bib11)）。这种迭代设计很有吸引力，因为它将缺失上下文的错误转化为可用于优化新闻集的语言反馈。然而，两个障碍限制了其在现实场景中的有效性。首先，检索到的新闻可能很长。政策简报、财报电话会议记录和事件报告等文章很容易超出预测模型的上下文预算。简单的截断不可靠，因为它丢弃了潜在的关键因果细节，而通用的摘要或提示压缩方法（Jiang等人，2023 (https://arxiv.org/html/2606.03097#bib.bib4)；2024 (https://arxiv.org/html/2606.03097#bib.bib3)）并未针对保留对预测特别有用的信息进行优化。因此，上下文效率与任务相关性之间存在不匹配。其次，优化循环的监督较弱。在之前的迭代流水线中，反思可能表明缺少某类新闻，但后续的补充检索实际上被直接接受，没有专门的质量控制机制。这使得更新轨迹对噪声或冗余文章敏感，可能导致在过滤逻辑稳定之前进行许多昂贵的优化轮次。

我们通过一个将*离线优化*与*在线部署*分离的新型框架来解决这两个问题。在离线训练阶段（此时可获得真实目标），我们通过两种方式改进新闻处理流水线。首先，我们引入一个重要性感知融合模块，该模块学习文章级别的奖励模型，并根据每篇文章对预测的估计效用分配压缩预算。然后，我们引入一个过程奖励模型（PRM），该模型根据当前预测误差和先前选择的文章历史对多个补充新闻候选进行排序，使得优化循环能够偏好那些更有可能减少未来误差的候选。在推理时，优化后的过滤逻辑和训练好的压缩组件被冻结，预测过程无需迭代反思即可进行。在金融、能源、交通和比特币预测基准上的实验表明，我们的方法相比强基线提高了预测精度，将优化迭代次数减少了高达37.6%（平均减少24.8%），并且当相关文章涵盖数千词元时仍然有效。

##### 贡献。我们的主要贡献总结如下：

- • 我们将新闻增强预测表述为一个离线优化的流水线，明确解决了先前基于LLM方法的两个瓶颈：长文档压缩和不受控的补充检索。
- • 我们提出一个重要性感知融合模块，该模块学习面向预测的文章效用，并在顺序逐对融合过程中利用它们自适应压缩率，从而在有限的上下文预算内整合长新闻。
- • 我们引入一种PRM引导的优化策略用于补充新闻选择，用基于来自误差驱动轨迹过程级监督的候选排序替代一次性检索。

## 2 相关工作

使用外部文本进行时间序列预测。经典预测模型主要依赖于历史数值观测（Chen等人，2004 (https://arxiv.org/html/2606.03097#bib.bib23)；Dudek，2015 (https://arxiv.org/html/2606.03097#bib.bib24)；Huang 和 Shih，2003 (https://arxiv.org/html/2606.03097#bib.bib25)；Kalekar等人，2004 (https://arxiv.org/html/2606.03097#bib.bib26)；Papalexopoulos 和 Hesterberg，1990 (https://arxiv.org/html/2606.03097#bib.bib27)）。深度神经架构改进了长程和非线性依赖关系的建模（Li等人，2019 (https://arxiv.org/html/2606.03097#bib.bib29)；Liu等人，2017 (https://arxiv.org/html/2606.03097#bib.bib30)；Nie等人，2022 (https://arxiv.org/html/2606.03097#bib.bib32)；Torres等人，2021 (https://arxiv.org/html/2606.03097#bib.bib33)；Wu等人，2021 (https://arxiv.org/html/2606.03097#bib.bib34)；Xia等人，2021 (https://arxiv.org/html/2606.03097#bib.bib35)；Zhou等人，2021b (https://arxiv.org/html/2606.03097#bib.bib36)；2022 (https://arxiv.org/html/2606.03097#bib.bib37)），大规模预训练进一步增强了向新任务的迁移能力（Cao等人，2023 (https://arxiv.org/html/2606.03097#bib.bib38)；Jin等人，2023b (https://arxiv.org/html/2606.03097#bib.bib39)；Wu等人，2022 (https://arxiv.org/html/2606.03097#bib.bib40)；Yeh等人，2023 (https://arxiv.org/html/2606.03097#bib.bib41)）。并行研究线路使用新闻、报告或社交媒体等文本证据增强预测，特别是在金融和能源领域（Cecchini等人，2010 (https://arxiv.org/html/2606.03097#bib.bib42)；Schumaker 和 Chen，2009 (https://arxiv.org/html/2606.03097#bib.bib43)；2010 (https://arxiv.org/html/2606.03097#bib.bib44)；Bai等人，2024 (https://arxiv.org/html/2606.03097#bib.bib45)；Obst等人，2021 (https://arxiv.org/html/2606.03097#bib.bib46)）。早期方法依赖于手工设计的情感特征或事件指标（Obst等人，2021 (https://arxiv.org/html/2606.03097#bib.bib46)；Chowdhary，2020 (https://arxiv.org/html/2606.03097#bib.bib47)），这限制了它们捕获长程语义和跨文档交互的能力。

LLM智能体与迭代优化。最近的工作通过标记化数值序列或重新编程提示来使LLM适应时间序列（Gruver等人，2023 (https://arxiv.org/html/2606.03097#bib.bib13)；Cao等人，2023 (https://arxiv.org/html/2606.03097#bib.bib38)；Jin等人，2023a (https://arxiv.org/html/2606.03097#bib.bib53)；Rasul等人，2023 (https://arxiv.org/html/2606.03097#bib.bib56)）。最接近的先前工作是（Wang等人，2024 (https://arxiv.org/html/2606.03097#bib.bib11)），它使用LLM智能体过滤新闻，并基于预测误差迭代优化过滤策略。该框架展示了智能体反馈循环的价值，但它假设新闻文档简短，并且每次补充检索都被无条件接受。我们的工作建立在这种智能体公式基础上，并引入了两个互补机制：一个尊重上下文预算的重要性感知压缩模块，以及一个用于补充新闻的质量控制选择机制。

压缩与过程监督。提示压缩方法，如LLMLingua（Jiang等人，2023 (https://arxiv.org/html/2606.03097#bib.bib4)）、LongLLMLingua（Jiang等人，2024 (https://arxiv.org/html/2606.03097#bib.bib3)）和RECOMP（Xu等人，2024 (https://arxiv.org/html/2606.03097#bib.bib5)），减少了通用LLM任务的输入长度，但重要性的概念与预测误差无关。过程奖励模型（PRM）（Lightman等人，2023b (https://arxiv.org/html/2606.03097#bib.bib6)；Zeng等人，2025 (https://arxiv.org/html/2606.03097#bib.bib60)；Zhang等人，2025 (https://arxiv.org/html/2606.03097#bib.bib61)；Zheng等人，2025 (https://arxiv.org/html/2606.03097#bib.bib7)）为推理任务提供逐步监督，但它们通常用于对推理链进行评分，而不是对检索候选进行排序。我们的工作连接了这两条线：我们训练一个面向预测的奖励模型来分配压缩预算，以及一个PRM来根据候选新闻对预测误差的预期影响对其评分。这种联合设计解决了新闻增强预测中先前未被充分探索的瓶颈。

参见图注

图1: 离线优化与在线部署的整体框架。该框架包括两个阶段：离线训练/优化和在线推理/部署。在离线阶段，历史时间序列和候选新闻首先由奖励-融合模块处理，该模块执行文章级奖励评分、自适应压缩预算分配和顺序逐对融合，为预测生成紧凑摘要。基于验证误差，生成反映信号以识别缺失信息，PRM模块根据候选补充新闻的预期误差减少量进行评分，选择最佳文章以优化过滤逻辑。此优化循环重复进行直至收敛，得到最终的优化逻辑。在线阶段，优化后的逻辑和冻结的奖励-融合模块直接用于检索、压缩和融合相关新闻以进行预测，推理时不进行反思循环或PRM评分。

## 3 方法论

我们考虑利用历史观测数据和大量时间对齐的新闻文章进行预测。主要困难不仅在于识别相关文章，还在于在有限上下文中整合它们，同时避免噪声迭代更新。因此，我们的框架包含四个组件：(i) 一个LLM预测骨干，(ii) 一个用于初始新闻过滤和误差驱动优化的推理智能体，(iii) 一个用于将长新闻压缩成紧凑条件上下文的重要性感知融合模块，以及 (iv) 一个在优化过程中对补充新闻候选进行排序的PRM。关键设计原则是，昂贵的搜索和监督在*离线*进行（此时可以获得真实目标），而仅将冻结的过滤和压缩逻辑部署在*在线*。图1 (https://arxiv.org/html/2606.03097#S2.F1) 总结了该流水线。

### 3.1 问题形式化

令 x1:T\=(x1,…,xT) 表示截至当前时间 T 的单变量或多变量时间序列观测序列。任务是预测接下来的 H 个值 xT\+1:T\+H。除了数值历史之外，我们还可以访问一个新闻文章集合 U\={u1,…,uL}，其发布时间戳落在预测时间之前的检索窗口内。文章长度任意，通常超出预测模型的上下文限制。推理智能体首先选择一个可能相关的文章子集 N(0)⊆U，然后将其压缩成文本摘要 S(0)。条件于数值历史和摘要的预测模型 Fψ 产生预测：
x̂T\+1:T\+H\=Fψ(x1:T,S(0)).

在离线优化期间，我们可以访问历史验证集的真实目标。预测误差用于生成描述缺失证据的文本反映 rt。该反映触发对补充候选的检索，过程奖励模型（PRM）从中选择一篇新闻文章来更新当前新闻集。优化循环重复进行，直到验证改进变得可忽略或达到固定预算。然后将最终的优化过滤逻辑和训练好的压缩模块部署用于在线推理，无需任何反思循环。

### 3.2 初步：基于LLM的时间序列预测

遵循（Wang等人，2024 (https://arxiv.org/html/2606.03097#bib.bib11)），我们将预测视为条件序列生成。一个预训练的LLM接收包含历史序列、任务元数据和相关新闻的压缩文本摘要的提示，并输出接下来的 H 个值。如果数值历史被标记化为 x1:T，新闻摘要被标记化为 e1:U，则模型学习 Pψ(xT\+1:T\+H∣x1:T,e1:U)。我们使用监督指令微调和LoRA（Hu等人，2022 (https://arxiv.org/html/2606.03097#bib.bib12)）对骨干模型进行微调。我们的方法的作用不是改变预测骨干本身，而是改善条件预测的文本上下文 e1:U 的质量和效率。

### 3.3 基于PRM引导的补充新闻选择的迭代新闻过滤

我们采用（Wang等人，2024 (https://arxiv.org/html/2606.03097#bib.bib11)）的初始推理阶段来获得种子新闻集 N(0)\={N1,…,NK0}。智能体使用任务描述、少样本示例和思维链提示（Brown等人，2020 (https://arxiv.org/html/2606.03097#bib.bib49)；Wei等人，2022 (https://arxiv.org/html/2606.03097#bib.bib22)）来识别新闻类别