零样本推文级立场检测：结合外部知识与反思式思维链推理的增强方法

# 零样本推文级立场检测：外部知识与反思性思维链推理增强

来源：https://arxiv.org/html/2606.26571  
黄逸驹，王文贤，周利君，唐锐，兰晓，张涛，王海舟*  

黄逸驹、王文贤、周利君、唐锐、兰晓、王海舟与四川大学网络空间安全学院，成都，中国。  
张涛与北京交通大学网络空间安全学院，北京，中国。  
通讯作者：王海舟（电子邮箱：[email protected]）。  
稿件收到日期：2021年4月19日；修订日期：2021年8月16日。  

###### 摘要  
零样本推文级立场检测面临两个主要挑战：（1）缓解短文本固有的上下文稀疏性；（2）建立隐含目标与文本内容之间的相关性。现有方法主要关注融合外部知识，却忽略了文本内部关键实体所蕴含的语义线索。此外，当前模型在判断未见目标与给定文本的相关性方面能力有限，难以区分“中立”和“无关”立场标签。为解决这些问题，我们首先构建了一个四类、多主题的日语推文数据集。据我们所知，这是首个用于立场检测的日语推文级数据集。然后，我们提出了KIRP，一个零样本立场检测框架。该框架将外部知识与实体重组相结合进行数据增强，并采用提示链进行推理。具体来说，框架引入知识图谱以补充和重组关键文本实体，同时利用反思性思维链（CoT）推理提取并验证隐含目标。为更好地区分“中立”和“无关”标签，我们采用立场感知对比学习来捕获判别性特征，并设计了一个三层迭代原型网络用于细粒度分类。在SemEval-2016、WT-WT和KIRP-D上的实验结果表明，KIRP达到了最先进的性能。KIRP在SemEval-2016（三分类）上获得了84.05%的F1分数，在WT-WT和KIRP-D（四分类）上分别获得了84.99%和79.18%的F1分数。

## I 引言  
立场检测识别文本针对特定目标所表达的态度，通常分为赞成、反对、中立或无关。该任务对于市场分析和舆情监控等实时应用至关重要。关键在于，立场高度依赖于目标。在社交媒体中，目标的改变往往会导致所表达的立场发生变化。例如，针对目标“污水排放”，推文“往海里排放污水太糟糕了；我再也不敢吃海鲜了”表达了“反对”立场。然而，如果目标变为“环境保护”，同一条推文则传达了“赞成”立场。  

零样本立场检测（ZSSD）是一个新兴的研究方向，在数据稀缺条件下表现出色。其核心原理是通过共享表示（通常通过元学习或迁移学习获得）实现知识迁移。这使得模型能够将相关的知识结构应用于新领域。然而，推文级零样本立场检测比传统设定更具挑战性。推文通常缺乏上下文信息，并且包含隐含目标，需要更有效、更精确地整合外部知识。  

推文常常面临实体信息有限或缺失的问题。然而，实体增强和重组可以生成语义更丰富的表示。转化有效实体还能产生额外的目标相关信息，从而加强文本与预期目标之间的关联。表I展示了这两个过程。在实体增强示例中，蓝色高亮部分标识了待增强的实体。通过引入知识图谱中的相关实体，我们可以使隐含目标显式化。例如，一条推文可能使用代词“it”而未明确批评的对象。如果该推文出现在话题“核能发展”下，我们的框架会将“it”增强为“核能”。这识别了用户对该目标的“反对”立场，否则在没有先验知识的情况下很难解读。  

表I：实体增强和重组的示例，蓝色高亮词表示完成或替换的部分，橙色高亮词表示可完成的部分。  

| 类型 | 文本 |
|------|------|
| 原始文本 | It is a waste of electricity and water. Also golf courses waste water. |
| 实体增强 | <span style="color:blue">Nuclear</span> is a waste of electricity and water. Also golf courses waste water. |
| 实体重组 | It is a waste of electricity and water. Also <span style="color:orange">football fields</span> waste water. |

在实体重组示例中，橙色高亮部分标识了待重组的有效实体。通过在知识图中匹配等价实体，我们生成额外的目标信息。这扩展了LLM提示链的范围，并加强了文本与预期目标之间的对齐。例如，虽然原始句子针对“建设体育设施”，但修改特定实体可以改变立场。通过基于知识图谱的替换，将“高尔夫球场”替换为等价实体“足球场”，模型可以在相同目标下评估不同的立场值。  

早期研究采用基于规则和特征工程的方法进行立场检测[35][3][34]。然而，这些方法依赖于浅层词汇或情感特征，无法捕获深层语义关系。随后基于弱监督学习的工作[6][39][19]减少了人工标注的需求。然而，这些模型常常受到标签噪声和数据有限的困扰，导致特征提取不准确和泛化能力差。一些早期研究采用CNN和LSTM混合架构进行立场检测[18]。然而，这些方法往往在训练时忽略目标变化，使得检测结果过度依赖于文本内容。因此，这类模型难以识别隐含目标，并且在未见目标上表现不佳。  

近期研究已从大规模监督训练转向面向数据稀缺环境的特征共享和迁移学习[12][1][15][23]。为减轻信息损失，当前方法利用外部知识注入、对抗学习和LLM来获取丰富的语义表示。一些方法采用多数据集学习和基于模式的数据转换[12]以提供额外上下文。其他方法则结合了指令微调的LLM[1]和目标感知提示蒸馏[15]进行微调。此外，提示学习和对比学习[23]被用于捕获目标不变特征与立场标签之间的相关性，促进有效的知识迁移。然而，现有研究仍存在目标与文本内容对齐薄弱的问题，难以区分“中立”和“无关”立场。此外，大模型的推理能力仍未得到充分利用，限制了在简短推文级文本上的表现。  

总之，零样本推文级立场检测面临三个主要挑战：（1）在稀疏短文本中补充外部知识；（2）提取有效的隐含目标；（3）评估未见目标与文本之间的相关性以区分“中立”和“无关”标签。我们提出的框架KIRP为这些挑战提供了综合解决方案。具体来说，我们的贡献如下：  

- • 我们构建了KIRP-D，一个面向数据稀缺环境的四类、多主题数据集。据我们所知，这是首个专门用于零样本立场检测的日语数据集。KIRP-D支持跨目标特征迁移和隐含目标发现，填补了日语立场检测语料库的关键空白，并为未来研究提供了多样化、最新的话题数据。  
- • 我们提出了一种基于实体重组的数据增强方法，并集成到基于LLM的反思性思维链（CoT）推理框架中。通过将文本实体与外部知识源中的等价实体对齐，我们的方法生成了多样化的目标表示。这种方法有效地揭示了隐含目标，并扩展了LLM的推理范围，从而产生更精确的立场预测和鲁棒的支持证据。  
- • 我们提出了KIRP框架，利用反思性CoT提示增强推理，并使用原型网络进行分类。通过将知识注入与基于重组的数据增强相结合，KIRP通过反思性CoT推理生成丰富的语义表示。此外，我们的立场感知对比学习优化了表示空间，随后使用三层原型网络进行迭代四分类。  
- • 我们广泛验证了KIRP和KIRP-D，展示了最先进（SOTA）的性能。KIRP在三分类任务上获得了84.05%的F1分数，在WT-WT和KIRP-D的四分类任务上分别获得了84.99%和79.18%的F1分数。实验结果进一步证实了KIRP-D在其他跨目标立场检测设置中的泛化能力。  

## II 相关工作  
零样本立场检测旨在识别文本对未见目标的立场。近期，研究主要集中于三条技术路径：（1）注入外部知识以弥补缺失的目标信息；（2）采用对比学习提取可迁移特征；（3）利用LLM推理进行零样本预测，无需任务特定训练。以下小节回顾这些方法及相关文献。  

### II-A 基于外部知识注入的方法  
知识注入提供先验信息以增强特征并减少对标注数据的依赖。这种方法提高了泛化能力和语义理解，使其成为数据稀缺环境下的有前途的解决方案。现有研究已将知识图谱集成到预训练模型中，显著改善了针对隐含目标的立场检测[26,45]。此外，研究者们还探索了多模态信息。例如，Liang等人[24]融合文本和图像数据以识别用户立场；Khiabani等人[17]提出了一种结合文本和网络特征的多模态嵌入模型用于跨目标检测。  

此外，多项研究强调了情感信息在立场检测中的作用，并将其集成以增强模型性能。Zhou等人[52]引入了TopicBERT，一种旨在增强BERT在情感相关任务中有效性的预训练模型。Garg等人[11]提出了Stanceformer，一种情感增强的Transformer架构，解决了传统Transformer中目标信息利用不足的问题。进一步地，Sun等人[36]利用对抗网络和注意力机制联合学习话题和情感特征，从而提高了立场检测的准确性。  

除了传统知识，近期研究还探讨了辅助特征（如时间数据和用户人口统计信息）对立场检测的影响。Li等人[22]将性别偏见因素作为外部知识纳入，以完善立场分析。Zhang等人[46]引入了道德维度作为可量化指标，增强了模型预测用户态度的能力。此外，Mu等人[32]将时间因素引入COVID-19疫苗立场检测，展示了在社交媒体数据分析中考虑时间序列动态的必要性。  

知识注入对于数据稀缺环境下的立场检测至关重要，使模型能够利用先验知识进行推理。然而，获取高质量知识具有挑战性。覆盖范围有限、信息过时和不准确等问题可能引入噪声，削弱检测准确性。尽管在知识形式化方面取得了进展，现有方法仍然难以表示多样知识源的复杂语义和结构。具体而言，当前的表示常常无法捕捉歧义或语境依赖的含义，导致注入效率低下和模型性能下降。  

### II-B 基于对比学习的方法  
对比学习通过区分相似和不相似的样本来促进提取更丰富、更具代表性的特征。在立场检测中，这种方法在语义和句法层面捕获细粒度特征差异，加深了模型对文本-目标关系的理解。即使在数据稀缺环境下，对比学习也能增强模型提取判别性、与立场相关特征的能力，使其成为零样本场景中的有力工具。  

几项研究已将对比学习集成到立场检测中。这些方法通常采用对比模块来聚合具有相同极性的样本，并分离具有不同极性的样本，从而在最小化类内距离的同时最大化判别表示空间。Yao等人[43]将对比学习与提示学习相结合，动态调整提示的影响以增强零样本检测。Wang等人[37]联合优化分类损失和对比损失，以增强模型区分立场的能力。此外，Zhao等人[49]提出了分层对比学习框架来捕获多层语义特征，促进从已知目标到未知目标的知识迁移。  

虽然大多数研究将立场极性作为主要的对比标准，但多视角网络正在兴起以捕获潜在特征。然而，这些方法可能引入噪声或增加计算开销。Jiang等人[16]提出了一种多视角对比学习框架，利用有标签和无标签数据增强未见目标的表示，提取更具判别性的特征用于零样本检测。类似地，Zhao等人[51]利用多视角对比学习来捕获目标不变的句法模式。