源偏移下的迁移：气候披露分类中的定义、示例与微调

# 源域偏移下什么能迁移？气候披露分类中的定义、示例与微调
来源：https://arxiv.org/html/2607.17952
郭晟霖¹ 任凤辉¹ 刘彬² 余川³ 季凯莹³ 岳琳⁴ 沈军¹ 钱洒洒²
¹卧龙岗大学计算与信息技术学院 ²卧龙岗大学商学院 ³悉尼大学商学院 ⁴麦考瑞大学商学院

###### 摘要

气候披露分类是分析企业气候披露的基本任务，然而这些披露信息出现在多种不同的来源中——年度报告、新闻稿和财报电话会议——它们在篇幅、目的和写作风格上各不相同。现有的评估大多在单一来源内进行，这使得常见的LLM适应策略在源域偏移下是否仍然有效尚不清楚。我们将气候披露分类重新定义为跨源域适应问题，并研究了三种广泛使用的适应策略——定义、示例和微调——在十一个开源和闭源LLM上的表现，使用了两个共享相同标签空间但来自不同来源的语料库。我们发现，所有策略在平均意义上都能带来正向的跨源域收益，但最强的域内策略并非最强的跨源域策略：基于相似度的检索和LoRA微调在域内收益最大，但在源域偏移下失去了大部分优势；随机选择的少样本示例（一种较弱的域内基线）能更可靠地保持优势；定义的迁移最稳定，但前提是其粒度与目标文本匹配。综合这些策略，当源域发生变化时，简单往往更安全。代码和资源见 https://github.com/Leoccino/TCFD-SourceShift。

# 源域偏移下什么能迁移？气候披露分类中的定义、示例与微调

参见图注
图1：本研究关注的部署差距。研究主要评估TCFD分类器在年度报告和可持续发展报告上的表现，但实际部署还需要其他披露来源。我们探究在这种源域偏移下，哪种适应策略仍然有效。## 1 引言

在可持续性披露的NLP领域，我们研究一个以气候为重点的分类任务：将企业文本分配到气候相关财务信息披露工作组（TCFD）框架的四大支柱中(国际财务报告准则基金会,2023 (https://arxiv.org/html/2607.17952#bib.bib14))。对于气候金融从业者而言，该任务为下游披露分析提供了基础(Auzepy 等人,2023 (https://arxiv.org/html/2607.17952#bib.bib1); Bingler 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib3))。该领域近期的研究主要基于LLM。然而，评估集中在单一类别的来源：年度报告和企业可持续发展报告(Bingler 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib3); Doi 等人,2024 (https://arxiv.org/html/2607.17952#bib.bib8); Calamai 等人,2025 (https://arxiv.org/html/2607.17952#bib.bib5))。但实际上，TCFD相关信息也出现在新闻稿、财报电话会议记录和投资者材料中——这些文档类型在篇幅、目的和写作风格上都与企业报告不同。换句话说，当前研究所涵盖的资料来源与实际从业者所遇到的资料来源并不相同。

图1 (https://arxiv.org/html/2607.17952#S0.F1) 将此不匹配问题框定为部署问题。TCFD分类研究主要评估基于报告的来源，但实际部署可能涉及新闻稿、财报电话会议和其他披露来源。因此，从业者需要知道，当分类器遇到新的披露来源时，常见的适应策略——更丰富的标签定义、示例或微调——是否仍然可靠。我们探究这些策略在源域偏移下哪些仍然有效。

我们通过TCFD披露分类研究这个问题，使用了两个语料库：它们共享TCFD的四类标签空间，但来自不同的披露来源。一个作为适应源域；另一个作为保留的跨源域目标。我们标题中提到的三种适应策略——定义、示例和微调——在十一个开源和闭源LLM上进行了全面测试，并在域内和跨源域两种情况下进行了评估。

综合这些策略，出现了三个与域内直觉不同的发现。对于定义，当定义的粒度与目标文本的粒度匹配时，迁移最稳定——而不是在定义尽可能详细时。对于上下文示例，一旦源域发生变化，随机选择的少样本示例通常优于更强的域内相似度检索器。对于微调，跨源域的鲁棒性同时依赖于学习到的权重和推理时的提示，因此微调后的模型及其提示不能孤立地评估。在所有三种策略中，当源域发生变化时，简单往往更安全。

我们的贡献如下：

1. 1.一次面向部署的源域偏移研究。据我们所知，我们首次研究了源域偏移下TCFD披露分类的适应策略。我们将此部署问题表述为一个共享标签的跨源域评估问题。
2. 2.面向从业者的策略选择实证证据。在十一个开源和闭源LLM上，我们考察了来自定义、示例和微调的效果能否持续。我们表明，域内收益最强的策略并非总是最安全的部署选择，这为在源域偏移下选择策略提供了实证见解。

## 2 相关工作

##### 气候披露NLP与单一来源差距。

气候披露NLP已经围绕TCFD支柱产生了特定领域的分类器，范围从基于BERT的微调到LLM提示工程(Webersinke 等人,2021 (https://arxiv.org/html/2607.17952#bib.bib34); Bingler 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib3); Auzepy 等人,2023 (https://arxiv.org/html/2607.17952#bib.bib1); Doi 等人,2024 (https://arxiv.org/html/2607.17952#bib.bib8))，以及相关的气候文本任务，如净零目标检测、环境声明检测和针对漂绿的ESG分析(Schimanski 等人,2023 (https://arxiv.org/html/2607.17952#bib.bib31); Stammbach 等人,2023 (https://arxiv.org/html/2607.17952#bib.bib32); Ong 等人,2025 (https://arxiv.org/html/2607.17952#bib.bib22))。在这些文献中，评估主要在单一披露来源内进行，无论是在同一个语料库上训练和测试，还是将预训练模型应用于单一的基于报告的集合(Auzepy 等人,2023 (https://arxiv.org/html/2607.17952#bib.bib1); Doi 等人,2024 (https://arxiv.org/html/2607.17952#bib.bib8))。这些模型或适应策略在源域偏移下是否仍然可靠，在很大程度上未经测试。最近一项可重复性研究进一步发现，许多气候NLP基准严重依赖表层词汇模式，并存在普遍的标注问题，这使得单一来源排行榜评估的可靠性受到质疑(Calamai 等人,2025 (https://arxiv.org/html/2607.17952#bib.bib5))。

##### 跨源域鲁棒性作为框架。

在气候领域之外，分布偏移下的鲁棒性已被广泛研究。经典分析通过源域和目标域分布之间的散度来界定分布外误差的上界(Ben-David 等人,2007 (https://arxiv.org/html/2607.17952#bib.bib2))，大规模实证基准证实，即使标签空间保持不变，域内性能也通常高估分布外准确率(Gulrajani and Lopez-Paz,2021 (https://arxiv.org/html/2607.17952#bib.bib11); Koh 等人,2021 (https://arxiv.org/html/2607.17952#bib.bib15))。同样的模式在当代NLP中持续存在：一项跨越数千个领域偏移的系统测量显示，微调后的模型在跨域时性能急剧下降(Calderon 等人,2024 (https://arxiv.org/html/2607.17952#bib.bib6))，近期工作进一步证实，即使是大语言模型在文本分类任务上也保留了显著的域外差距(Roussinov 等人,2025 (https://arxiv.org/html/2607.17952#bib.bib28))。我们的TCFD设定实例化了可持续性披露NLP中一个更广泛的共享标签跨源域适应问题：披露来源变化，而任务和标签空间保持不变。

##### 源域偏移下的适应策略。

在此框架内，自然的问题是，标准的LLM适应机制——提示中的任务定义、上下文示例和参数高效微调(Brown 等人,2020 (https://arxiv.org/html/2607.17952#bib.bib4); Dong 等人,2024 (https://arxiv.org/html/2607.17952#bib.bib9); Hu 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib12); Dettmers 等人,2023 (https://arxiv.org/html/2607.17952#bib.bib7))——在源域偏移下是否仍然有用。域内研究表明，在分布内设置中，基于检索的示例选择通常优于随机采样，尽管选择策略的有效性既依赖于数据也依赖于模型(Liu 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib17); Peng 等人,2024 (https://arxiv.org/html/2607.17952#bib.bib24)); LoRA风格的微调以较少的成本恢复了全微调的大部分收益。最近的研究开始将微调和上下文学习在更广泛的分布偏移设置下进行并排比较(Mosbach 等人,2023 (https://arxiv.org/html/2607.17952#bib.bib21))，但是这些域内结论在评估源域发生变化时是否仍然有效——以及哪种机制迁移最可靠——尚未在TCFD或相关气候披露任务上进行系统测试。我们的设定范围更窄：任务领域和标签空间保持不变，只有披露来源发生变化。我们将TCFD标签空间固定，改变披露来源，并在受控的域内与跨源域对比下比较定义、示例和微调。

## 3 跨源域设定

我们使用两个带有TCFD标签的语料库，它们共享相同的四类标签空间（治理、战略、风险管理、指标与目标），但文本风格不同。TCFD-CR (Bingler 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib3)) 来自公司的年度报告和可持续发展报告；我们保留320个实例作为测试集，并将剩余的1,000个实例分为800个训练集和200个验证集。TCFD-EX (Qiu,2023 (https://arxiv.org/html/2607.17952#bib.bib25)) 源自TCFD示例披露清单中列出的披露示例；我们将所有593个实例用作跨源域评估集。

### 3.1 两个语料库并排比较

以下两项都标记为*战略*：

> TCFD-CR：2017年10月，加州开始发生野火，造成许多财产损失 [...] 大火迫使许多人撤离家园 [...] 并在2018年初的几个星期里继续燃烧。 TCFD-EX：随着气候变化的加剧，未来洪水、干旱等物理损害和利润损失的风险预计将增加。

TCFD-CR的实例篇幅长且具有论述性。TCFD-EX的实例短小精炼。附录A (https://arxiv.org/html/2607.17952#A1) 给出了每个类别的一个带标签的示例对。图2 (https://arxiv.org/html/2607.17952#S3.F2) 量化了两个语料库在篇幅、风格和类别上的差异。图3 (https://arxiv.org/html/2607.17952#S3.F3) 显示，在句子嵌入上使用逻辑回归能够以81.2%的5折准确率区分它们，对应的代理\(\mathcal{A}\)-距离约为≈1.25 (满分为2) (Ben-David 等人,2007 (https://arxiv.org/html/2607.17952#bib.bib2))——这是嵌入空间中的一个显著源域差距。

参见图注
图2：TCFD-CR与TCFD-EX在长度、类别平衡和词汇风格上的对比。
参见图注
图3：基于逻辑回归的源域分类器以81.2%的5折准确率区分TCFD-CR和TCFD-EX。
### 3.2 评估

域内和跨源域评估共享同一适应池：用于示例和微调的1,000个TCFD-CR训练和验证实例。它们的区别仅在于评估集：域内使用TCFD-CR测试子集（320个实例），跨源域使用TCFD-EX（593个实例）。固定适应池可以将任何仅在域内有效而非跨源域有效的适应归因为源域特异性；我们全程报告宏平均F1。

## 4 实验设置

图4 (https://arxiv.org/html/2607.17952#S4.F4) 总结了我们的实验设计。从相同的TCFD-CR适应池出发，我们测试了三种策略，它们在不同位置注入源域信号：定义 向提示中添加TCFD标签语义，示例 插入来自适应池的带标签实例，以及 微调 根据源域标签更新适配器参数。每种策略在一个多样化的模型组合上进行了评估——十一个LLM，涵盖Qwen、Llama和Mistral开源系列以及专有的GPT-4o和GPT-5-mini——分别在域内TCFD-CR测试子集（n=320）和跨源域TCFD-EX集（n=593）上进行。

参见图注
图4：实验设计总览：三种适应策略——定义、示例和微调——在域内和跨源域数据集上分别进行评估。
### 4.1 适应策略

#### 4.1.1 基于定义的适应

对于基于定义的适应，我们构建了一个四级定义阶梯，遵循在零样本提示中更广泛使用的自然语言标签定义 (Wei 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib35); Sanh 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib30))。D0仅使用四个标签名称。D1添加了来自TCFD建议书 (气候相关财务信息披露工作组,2017 (https://arxiv.org/html/2607.17952#bib.bib33)) 中对四个TCFD支柱的官方描述。D2进一步包含了11项TCFD建议披露。D3添加了从TCFD实施指南中提炼的27条标准 (Doi 等人,2024 (https://arxiv.org/html/2607.17952#bib.bib8))。所有定义设置均在零样本设置下评估，不加上下文示例，这样性能变化可以归因于定义的详细程度。附录B (https://arxiv.org/html/2607.17952#A2) 展示了D0至D3下的一个固定提示实例，说明了只有定义块随层级增加。

#### 4.1.2 基于示例的适应

对于基于示例的适应，我们从适应池中抽取示例，仅改变选择规则。我们比较了四种模式：零样本、随机示例、TF-IDF相似示例和稠密相似示例 (Liu 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib17); Rubin 等人,2022 (https://arxiv.org/html/2607.17952#bib.bib29))。TF-IDF和稠密检索涵盖了文本相似性的两种标准概念——词汇表层重叠和语义嵌入相似性 (Reimers and Gurevych,2019 (https://arxiv.org/html/2607.17952#bib.bib27))——这样相似性选择的源域偏移行为就不会局限于单一的检索器。随机基线使用八个固定示例 (k=8, n=2, 每个类别两个)。对于TF-IDF和稠密检索，k控制提示中包含的检索示例总数，而n限制来自任何单个类别的最大示例数，以避免类别主导的提示。我们遍历 k∈{3,5,8} 和 n∈{2,3}，同时固定定义水