LiFT：指令微调能否提升大语言模型的纵向建模上下文学习能力？

# 大语言模型的指令微调能否提升纵向建模的上下文学习能力？

**来源**: https://arxiv.org/html/2604.16382

Iqra Ali<sup>1</sup>, Talia Tseriotou<sup>1</sup>, Mahmud Elahi Akhter<sup>1</sup>, Yuxiang Zhou<sup>1</sup>, Maria Liakata<sup>1,2</sup>

<sup>1</sup>Queen Mary University of London (UK)

<sup>2</sup>The Alan Turing Institute (UK)

{iqra.ali, t.tseriotou, m.liakata}@qmul.ac.uk

###### 摘要

纵向自然语言处理任务需要对时间有序文本进行推理，以检测人类行为和观点的持续性和变化。然而，大语言模型的上下文学习在需要整合历史上下文、追踪演化交互并处理罕见变化事件的任务中表现困难。我们提出LiFT，一个纵向指令微调框架，通过统一共享指令模式来整合多样化的纵向建模任务。LiFT采用渐进式增加时间难度的课程学习，同时融入少样本结构和时间条件，以促进有效利用过去上下文。我们在五个数据集上评估LiFT。在不同时间粒度水平上训练的模型，在两个独立数据集上进行了泛化性测试。在不同参数规模（OLMo (1B/7B)、LLaMA-8B和Qwen-14B）的模型中，LiFT始终优于基础模型的上下文学习，在分布外数据和少数变化事件上取得了显著提升。

**LiFT**: 大语言模型的指令微调能否提升纵向建模的上下文学习能力？

Iqra Ali<sup>1</sup>, Talia Tseriotou<sup>1</sup>, Mahmud Elahi Akhter<sup>1</sup>, Yuxiang Zhou<sup>1</sup>, Maria Liakata<sup>1,2</sup>

<sup>1</sup>Queen Mary University of London (UK)

<sup>2</sup>The Alan Turing Institute (UK)

{iqra.ali, t.tseriotou, m.liakata}@qmul.ac.uk

## 1 引言

许多现实世界的应用需要理解语言、行为和潜在用户状态如何随时间演变。这类问题属于*纵向建模*的范畴（Wang et al., 2025b (https://arxiv.org/html/2604.16382#bib.bib224)；Ganesan et al., 2026 (https://arxiv.org/html/2604.16382#bib.bib223)），其中观测数据被作为时间有序序列而非独立实例进行分析（Blei and Lafferty, 2006 (https://arxiv.org/html/2604.16382#bib.bib189)；Wang et al., 2012 (https://arxiv.org/html/2604.16382#bib.bib188)；Bamler and Mandt, 2017 (https://arxiv.org/html/2604.16382#bib.bib186)；Rudolph and Blei, 2018 (https://arxiv.org/html/2604.16382#bib.bib187)）。与将输入视为独立实例的静态自然语言处理任务不同，纵向任务需要在观测序列中建模持续性、时间依赖性和状态转换（Wang et al., 2019 (https://arxiv.org/html/2604.16382#bib.bib191)；Cui et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib147)；Kruse et al., 2025a (https://arxiv.org/html/2604.16382#bib.bib151)）。纵向建模在许多自然语言处理场景中出现，包括立场变化检测（Kochkina et al., 2018 (https://arxiv.org/html/2604.16382#bib.bib118)；Kumar and Carley, 2019 (https://arxiv.org/html/2604.16382#bib.bib120)）、心理健康监测（Tsakalidis et al., 2022b (https://arxiv.org/html/2604.16382#bib.bib8)，a (https://arxiv.org/html/2604.16382#bib.bib117)；Tseriotou et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib146)，2024 (https://arxiv.org/html/2604.16382#bib.bib12)；Hills et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib228)，2024 (https://arxiv.org/html/2604.16382#bib.bib230)）、多轮对话推理（Liu et al., 2017 (https://arxiv.org/html/2604.16382#bib.bib122)；He et al., 2021 (https://arxiv.org/html/2604.16382#bib.bib123)；Havrilla et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib46)；Ge et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib150)）、时间线摘要（Song et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib148)；Wu et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib149)）、纵向临床预测与摘要（Cui et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib147)；Kruse et al., 2025a (https://arxiv.org/html/2604.16382#bib.bib151)；Keerthana and Gupta, 2025 (https://arxiv.org/html/2604.16382#bib.bib162)；Cheng et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib154)；Chen et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib153)），以及从体验时间线进行行为预测（Zheng et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib156)；Hayat et al., 2025a (https://arxiv.org/html/2604.16382#bib.bib157)，b (https://arxiv.org/html/2604.16382#bib.bib158)）。最近的数据集和模型越来越关注捕捉时间依赖性和演化用户行为（Yang et al., 2023b (https://arxiv.org/html/2604.16382#bib.bib192)；Xu et al., 2024b (https://arxiv.org/html/2604.16382#bib.bib204)；Wang et al., 2025a (https://arxiv.org/html/2604.16382#bib.bib193)；Islakoglu and Kalo, 2025 (https://arxiv.org/html/2604.16382#bib.bib159)）。尽管大语言模型（LLMs）具有强大的通用能力，但在零样本或少样本提示设置下进行纵向预测时往往表现不佳（Chu et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib225)；Tan et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib226)；Fatemi et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib227)）。大多数方法将预测视为静态任务，通过将历史观测连接成单一提示，而没有显式建模时间结构（Si and Roberts, 2020 (https://arxiv.org/html/2604.16382#bib.bib138)；Xu et al., 2024b (https://arxiv.org/html/2604.16382#bib.bib204)；Xiong et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib196)；Liu et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib195)；Kruse et al., 2025b (https://arxiv.org/html/2604.16382#bib.bib194)）。最近的研究强调了基于提示方法的局限性。重要的是，仅改进提示策略并不能提升纵向任务的性能（Brown et al., 2020 (https://arxiv.org/html/2604.16382#bib.bib1)；Yan et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib197)；Qiu et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib198)）。此外，纵向任务对提示和*上下文学习（ICL）*存在结构性困难。历史可能跨越很长的时间范围并超出实际上下文限制（Xu et al., 2024a (https://arxiv.org/html/2604.16382#bib.bib61)；Liu et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib19)）。预测信号通常分布在多个观测中（Wang et al., 2019 (https://arxiv.org/html/2604.16382#bib.bib191)；Cui et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib147)），观测之间存在顺序依赖性（Tseriotou et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib146)；Havrilla et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib46)），许多任务需要检测行为轨迹而非静态模式（Tsakalidis et al., 2022a (https://arxiv.org/html/2604.16382#bib.bib117)；Islakoglu and Kalo, 2025 (https://arxiv.org/html/2604.16382#bib.bib159)；Zhang and Li, 2025 (https://arxiv.org/html/2604.16382#bib.bib207)）。鉴于这些挑战，我们引入**LiFT**，一个用于时间结构化自然语言处理任务的框架。LiFT通过多领域指令课程、阶段性少样本训练和时间条件化来提升零样本和少样本性能，且与任务或领域无关。我们做出以下贡献：

- 我们引入**LiFT**，一个基于课程的指令微调框架，通过渐进式增加时间难度并融入少样本演示来鼓励对时间结构化历史进行建模。
- 我们提出时间-标签条件化与历史感知辅助目标，以鼓励模型从时间分布的上下文中提取预测信号。
- 通过全面的消融实验，我们证明LiFT在不同规模模型（OLMo (1B/7B)、LLaMA-8B和Qwen-14B）上提升了零样本和少样本性能，并可迁移到未见过的领域和任务。
- 探测和激活分析解释了框架为何有效，表明它诱导了更多对时间结构化历史的依赖。

## 2 相关工作

##### 大语言模型在纵向任务中的应用

最近的研究探索了用于涉及临床记录、心理健康监测、时间线摘要和多轮对话的纵向任务的大语言模型（Li et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib161)；Song et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib148)；Wu et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib149)；Ge et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib150)；Tseriotou et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib15)；Wang et al., 2025b (https://arxiv.org/html/2604.16382#bib.bib224)）。大语言模型已被应用于纵向电子健康记录（EHRs）的患者轨迹摘要和结果预测等任务（Kruse et al., 2025a (https://arxiv.org/html/2604.16382#bib.bib151)；Keerthana and Gupta, 2025 (https://arxiv.org/html/2604.16382#bib.bib162)；AlMannaa et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib229)；Fang et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib163)）。虽然一些方法使用指令微调或任务特定提示，但它们通常将纵向数据视为连接文本，限制了时间进程和演化状态的建模（Si and Roberts, 2020 (https://arxiv.org/html/2604.16382#bib.bib138)；Tseriotou et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib146)）。在心理健康任务中也存在类似挑战，心理信号通常跨时间线显现而非来自单个帖子（Tsakalidis et al., 2022b (https://arxiv.org/html/2604.16382#bib.bib8)；Wang et al., 2025b (https://arxiv.org/html/2604.16382#bib.bib224)）。

##### 纵向分类建模方法

方法使用序列架构如循环网络和时间感知变换器来捕捉观测间的时间依赖性（Wang et al., 2019 (https://arxiv.org/html/2604.16382#bib.bib191)；Bamler and Mandt, 2017 (https://arxiv.org/html/2604.16382#bib.bib186)；Rudolph and Blei, 2018 (https://arxiv.org/html/2604.16382#bib.bib187)）。这些方法已应用于从纵向记录进行立场变化检测、对话分类和临床结果预测（Kochkina et al., 2018 (https://arxiv.org/html/2604.16382#bib.bib118)；Kumar and Carley, 2019 (https://arxiv.org/html/2604.16382#bib.bib120)；Liu et al., 2017 (https://arxiv.org/html/2604.16382#bib.bib122)；Kruse et al., 2025a (https://arxiv.org/html/2604.16382#bib.bib151)；Cui et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib147)）。在心理健康环境中，纵向分类用于检测跨用户时间线的行为或心理变化（Tseriotou et al., 2025 (https://arxiv.org/html/2604.16382#bib.bib15)；Wang et al., 2025b (https://arxiv.org/html/2604.16382#bib.bib224)）。将大语言模型（LLMs）应用于这些任务仍然具有挑战性。基于提示的方法通常将历史观测连接成单一输入，要求模型隐式推断时间依赖性（Si and Roberts, 2020 (https://arxiv.org/html/2604.16382#bib.bib138)；Tseriotou et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib146)）。最近的研究表明，这种方法在纵向分类任务上通常不如较小的监督模型（Hosokawa et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib206)；Wenzel and Jatowt, 2024 (https://arxiv.org/html/2604.16382#bib.bib205)；Yang et al., 2023a (https://arxiv.org/html/2604.16382#bib.bib203)；Xu et al., 2024b (https://arxiv.org/html/2604.16382#bib.bib204)）。

参见图1：LiFT框架：IFT构建器从AnnoMI、LRS和TalkLife构建历史和阶段性课程。IFT训练器注入时间和标签嵌入，并使用LoRA微调基础模型以改进ICL。

### 2.1 基于提示的策略

为解决上下文学习（ICL）的局限性，最近的研究探索了改进的提示设计和基于指令的提示策略（Longpre et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib139)；Min et al., 2022 (https://arxiv.org/html/2604.16382#bib.bib169)；Dong et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib172)；Jiang et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib173)）。演示选择、任务分解和思维链提示等技术通过在提示中明确任务结构来提升复杂推理任务的性能（Min et al., 2022 (https://arxiv.org/html/2604.16382#bib.bib169)；Wei et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib170)；Wang et al., 2023a (https://arxiv.org/html/2604.16382#bib.bib168)；Zhou et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib171)）。然而，基于提示的方法对提示措辞、示例顺序和演示格式仍然敏感（Dong et al., 2022 (https://arxiv.org/html/2604.16382#bib.bib9)；Lu et al., 2022 (https://arxiv.org/html/2604.16382#bib.bib174)；Zhao et al., 2021 (https://arxiv.org/html/2604.16382#bib.bib175)）。这种脆弱性在纵向环境中是个问题，因为模型需要在输入间整合时间分布的信息，限制了基于提示的方法。

### 2.2 指令微调策略

指令微调（IFT）使用精心策划的指令-响应对数据集来使大语言模型（LLMs）遵循自然语言指令，并通过更好地解释任务指令来补充提示和上下文学习（Wei et al., 2022 (https://arxiv.org/html/2604.16382#bib.bib25)；Lu et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib200)；Ouyang et al., 2022 (https://arxiv.org/html/2604.16382#bib.bib185)）。FLAN和FLAN-T5等大规模框架表明，在多样化基于指令的任务上训练可以提升零样本和跨任务泛化能力（Wei et al., 2021 (https://arxiv.org/html/2604.16382#bib.bib214)；Chung et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib176)）。Super-NaturalInstructions等数据集和Self-Instruct等方法通过自动生成的指令-任务对进一步扩展指令多样性（Wang et al., 2022 (https://arxiv.org/html/2604.16382#bib.bib141)，2023b (https://arxiv.org/html/2604.16382#bib.bib216)）。多任务指令混合增强了跨任务泛化能力（Wei et al., 2021 (https://arxiv.org/html/2604.16382#bib.bib214)；Chung et al., 2024 (https://arxiv.org/html/2604.16382#bib.bib176)），而LoRA和QLoRA等参数高效方法以最小的参数更新实现可扩展的微调（Hu et al., 2021 (https://arxiv.org/html/2604.16382#bib.bib50)；Dettmers et al., 2023 (https://arxiv.org/html/2604.16382#bib.bib183)）。尽管有这些进展，指令微调模型通常将输入视为独立的文本片段，很少建模序列间的时间依赖性（Lewis et al., 2020 (https://arxiv.org/html/2604.16382#bib.bib145)），限制了其对纵向轨迹进行推理的能力。

## 3 方法论

我们引入**LiFT**（*Longitudinal Instruction Fine-Tuning*，纵向指令微调），一个用于提升语言模型对时间结构化序列进行推理能力的框架。标准指令微调和上下文学习将示例主要视为独立实例，因此无法建模跨事件的时间依赖性。LiFT通过结合几种时间学习机制来解决这一问题。首先，我们将纵向预测表述为对时间有序历史进行序列条件化推理（§3.1）