The Classics at SemEval-2026 Task 3: 结合Transformer模型与LLM生成标注的维度化方面级情感分析

# The Classics at SemEval-2026 Task 3: Combining Transformer Models and LLM-Generated Annotations for Dimensional Aspect-Based Sentiment Analysis
来源：https://arxiv.org/html/2607.03414
Rafif Alshawi, Amit Raj11footnotemark:1, Aleksey Kudelya, Alexander Shirnin HSE University 通讯作者：ashirnin@hse\.ru (https://arxiv.org/html/2607.03414v1/mailto:[email protected])

###### 摘要

本文提出了针对 SemEval-2026 任务 3：维度方面情感分析的方法。我们研究如何超越传统分类情感（如正面或负面），预测情感“效价”（积极性）和“唤醒度”（强度）的细粒度实值分数。我们参与了两个子任务：预测给定方面的这些分数（子任务 1）以及提取完整的情感细节集，包括方面、类别、意见及其分数（子任务 3）。我们用于回归任务的方法涉及基于Transformer的编码器模型的加权集成。对于俄语，我们进一步通过使用大语言模型（LLM）生成合成情感描述来增强输入。对于提取任务，我们微调解码器 LLM 以执行结构化预测，使系统能够同时识别情感元素并估计其数值分数。

The Classics at SemEval-2026 Task 3: Combining Transformer Models and LLM-Generated Annotations for Dimensional Aspect-Based Sentiment Analysis

Rafif Alshawi††thanks:同等贡献.， Amit Raj11footnotemark:1, Aleksey Kudelya, Alexander Shirnin 高等经济大学 通讯作者：ashirnin@hse\.ru (https://arxiv.org/html/2607.03414v1/mailto:[email protected])

## 1 引言

传统情感分析模型的一个主要问题是其不透明性以及倾向于将复杂的人类情感简化为离散且僵化的类别。随着这些模型在越来越多的应用中被部署，无法捕捉细微的用户反馈已暴露出下游决策中的系统性弱点 Liu (2012 (https://arxiv.org/html/2607.03414#bib.bib1))。因此，在快速发展的自然语言处理领域，超越分类标签以捕捉意见的真实强度和本质已成为一个关键需求 Zhang 等人 (2023 (https://arxiv.org/html/2607.03414#bib.bib4))。为此，维度方面情感分析（DimABSA）应运而生，将情感映射到由效价和唤醒度构成的连续二维空间 Russell (1980 (https://arxiv.org/html/2607.03414#bib.bib3))。开发能够对文本进行如此复杂推理的方法有助于揭示更深层的语义关系，并提高模型对底层人类情感的忠实度。

SemEval-2026 任务 3 Yu 等人 (2026 (https://arxiv.org/html/2607.03414#bib.bib11)) 聚焦于这一范式转变，提供了一个多语言、多领域的细粒度情感评估基准。该共享任务提供了多个子任务，对应于现代情感计算的标准要求。这些任务包括预测给定方面的连续效价和唤醒度分数（子任务 1），以及提取完整的情感理由集合，如方面、类别、意见短语及其连续分数（子任务 3）。

本文提出了针对文本进行复杂推理的方法，以应对细粒度情感分析的挑战。对于子任务 1，我们采用加权编码器集成。为了缓解俄语轨道中的脆弱性问题，我们引入了一种零样本增强技术，其中由 LLM 生成的合成理由提供了明确的描述性上下文。对于子任务 3，我们通过提出一个统一的生成式框架来解决多步骤流水线中的系统性缺陷 Jing 等人 (2021 (https://arxiv.org/html/2607.03414#bib.bib2))。

我们的参与提供了一些关于不同模型如何处理细粒度情感数据的关键见解。我们发现，生成式 LLM 在四元组预测任务上表现异常出色，考虑到编码器通常被认为在回归任务上更稳定，这一结果令人惊讶。此外，我们在俄语轨道上的结果表明，使用 LLM 生成描述性情感上下文可以显著帮助较小的编码器模型理解数值范围。

## 2 背景

DimABSA 共享任务 Yu 等人 (2026 (https://arxiv.org/html/2607.03414#bib.bib11)) 提供了一个基准，用于评估跨多个领域（包括酒店业、消费电子和金融）的细粒度情感。轨道 A 的数据集包含多语言和多领域样本 Lee 等人 (2026 (https://arxiv.org/html/2607.03414#bib.bib12))，我们的实验具体针对英语和俄语轨道。该语料库要求模型超越离散情感分类，通过连续值捕捉意见的强度和积极性。我们专注于两个特定挑战：维度方面情感回归（子任务 1）和维度方面情感四元组预测（子任务 3）。

#### 任务公式化

这两个子任务代表了情感分析中不同层次的复杂性。在子任务 1 中，模型接收文本和特定方面，并必须预测相关的效价和唤醒度。在子任务 3 中，模型必须执行所有情感承载组件的端到端提取。公式如下所示：

子任务 1：DimASR 示例输入文本：电池寿命很棒。给定方面：电池寿命输出（VA）：8\.50\#7\.20

子任务 3：DimASQP 示例输入文本：电池寿命很棒。输出（四元组）：(Aspect: battery life， Category: LAPTOP\#BATTERY， Opinion: amazing， VA: 8\.50\#7\.20)

#### 性能指标

考虑到预测的连续性，组织者使用了惩罚预测值与真实值之间距离的指标。对于子任务 1，性能通过效价和唤醒度两个维度的均方根误差（RMSE）来衡量：

RMSE\_VA = √(∑\_{i=1}^N ((V_p^(i) - V_g^(i))² + (A_p^(i) - A_g^(i))²) / N)   (1)
其中 V_p 和 A_p 是预测分数，V_g 和 A_g 是真实标签，N 表示测试实例的数量。

对于子任务 3，评估使用连续 F1 分数（cF1）。该指标统一了分类提取和数值回归。首先检查预测的四元组是否存在分类匹配（方面、类别和意见）。如果类别匹配，则根据连续真阳性（cTP）计算为该预测分配一个分数，该分数通过预测与真实 VA 值之间的归一化欧几里得距离（dist）将满分 1 降低：

cTP = 1 - √((V_p - V_g)² + (A_p - A_g)²) / √128   (2)
最终的 cF1 是连续精确率和召回率的调和平均值，确保模型在正确识别情感元素和准确估计情感强度方面都得到奖励。所有预测分数必须限制在 [1， 9] 范围内，并四舍五入到小数点后两位。

## 3 系统方法

本节详细介绍了为应对 DimABSA 中复杂的推理任务而开发的方法。为了适应两个子任务的不同要求，我们设计了两个独立的流水线。首先，我们概述了用于维度方面情感回归的判别式集成方法。接着，我们提出了用于维度方面情感四元组预测的生成式框架。

### 3\.1 子任务 1：维度方面情感回归

子任务 1 要求模型在给定特定方面的情况下推断连续的效价和唤醒度分数。我们将其公式化为一个多目标回归问题，总体目标是将输入文本直接映射到二维连续情感空间。

#### 编码器集成

我们微调了一组基于Transformer的编码器模型，以同时预测两个连续变量。在 [CLS] 标记的最终隐藏状态之上放置一个线性回归头，以输出效价和唤醒度值。为确保预测的稳健性并减轻单个模型固有的方差，我们使用加权集成策略聚合输出。分配给每个模型的权重根据其在开发集上的个体均方根误差（RMSE）性能进行经验性优化。

#### 基于 LLM 的俄语增强

俄语轨道在提取细微情感差异方面提出了额外的复杂性。为了缓解这一问题并向底层编码器模型提供更强的语言信号，我们引入了一个依赖指令微调 LLM 的零样本数据增强步骤。对于每个训练实例，我们向解码器模型提供原始文本，并指示其生成一个简短的前提理由，描述情感的愉悦度和强度。这个生成的文本不作为数值分数，而是作为明确的描述性上下文。然后将合成理由与原始输入文本拼接，再由编码器模型处理。我们在附录 B.1 (https://arxiv.org/html/2607.03414#A2.SS1) 中提供了用于此生成步骤的完整系统提示。

### 3\.2 子任务 3：维度方面情感四元组预测

子任务 3 涉及更复杂的推理过程，需要同时提取分类元素（方面、类别、意见）和预测连续元素（效价和唤醒度）。我们不依赖多个不同模型组成的多步骤流水线（这通常遭受错误传播），而是将其公式化为一个统一的结构化生成任务。

#### 生成式提取

我们采用解码器 LLM，专门针对特定任务和领域的数据进行微调。模型被训练来处理输入文本并直接生成包含完整 (Aspect， Category, Opinion, Valence-Arousal) 四元组的结构化序列。

通过训练模型联合估计效价和唤醒度分数以及提取方面和意见词项，解码器模型学习了描述性文本短语与其相应情感强度之间的底层关系。因此，模型在一次前向传递中将提取的意见直接映射到数值效价-唤醒度空间。这种单一模型架构成功避免了在将提取和回归视为独立步骤的标准系统中常见的系统性缺陷和复合错误。用于此任务的完整系统提示在附录 B.2 (https://arxiv.org/html/2607.03414#A2.SS2) 中提供。

## 4 实验

#### 概述

我们设计了一系列实验来评估所提出的维度情感分析方法。我们研究了成熟的基于Transformer的语言模型的性能，这些模型是根据其在标准自然语言处理基准上的有效性选择的。对于子任务 1 的英语轨道，我们使用了来自 transformers 库 Wolf 等人 (2020 (https://arxiv.org/html/2607.03414#bib.bib6)) 的 RoBERTa-Large111hf\.co/FacebookAI/roberta-large (https://huggingface.co/FacebookAI/roberta-large)、RoBERTa-Base222hf\.co/FacebookAI/roberta-base (https://huggingface.co/FacebookAI/roberta-base) Liu 等人 (2019 (https://arxiv.org/html/2607.03414#bib.bib10)) 和 DeBERTaV3-Large333hf\.co/microsoft/deberta-v3-large (https://huggingface.co/microsoft/deberta-v3-large) He 等人 (2023 (https://arxiv.org/html/2607.03414#bib.bib16)) 模型。

对于俄语轨道，我们采用了 XLM-RoBERTa-Base444hf\.co/FacebookAI/xlm-roberta-base (https://huggingface.co/FacebookAI/xlm-roberta-base) 和 XLM-RoBERTa-Large555hf\.co/FacebookAI/xlm-roberta-large (https://huggingface.co/FacebookAI/xlm-roberta-large) Conneau 等人 (2020 (https://arxiv.org/html/2607.03414#bib.bib9)) 来适应数据集的多语言要求。首先，我们详细介绍了编码器模型的微调过程和超参数选择。其次，我们介绍了为俄语轨道开发的数据增强策略，并概述了最终的集成配置。

### 4\.1 子任务 1：维度方面情感回归

#### 编码器微调

我们微调编码器模型以预测连续的效价和唤醒度分数。模型使用 Adam 优化器 Kingma 和 Ba (2015 (https://arxiv.org/html/2607.03414#bib.bib14)) 进行优化。训练期间更新所有模型参数。我们的初步实验表明，训练超过五个 epoch 会导致在训练集上过拟合。因此，我们在所有后续实验中都将最大 epoch 数限制为五个。

为确保超参数选择，我们分配 10% 的提供训练数据作为内部验证集，以监控学习阶段的性能。官方开发集严格保留用于最终模型评估和集成加权。对于 RoBERTa 和 XLM-RoBERTa 架构，我们尝试了不同的学习率，并观察到 2e-5 的学习率产生最佳结果。对于 DeBERTaV3-Large 模型，我们使用 5e-6 的学习率，遵循原作者 He 等人 (2023 (https://arxiv.org/html/2607.03414#bib.bib16)) 的架构建议，我们也在经验上验证了这对我们的数据是最优的。

#### 集成策略

为了制定我们英语轨道的最终提交结果，我们使用加权平均聚合了三个模型的预测。为了最小化在相对较小的开发集上过拟合的风险，我们避免了对最优集成权重进行穷举组合搜索。相反，我们根据模型在开发集上的相对性能，将 RoBERTa 模型的权重分配为 0.35，DeBERTaV3-Large 的权重分配为 0.30。

#### 数据增强

我们的初步实验表明，所提出的数据增强技术对英语轨道并未带来显著改进。相反，将这种方法应用于俄语数据集则提供了可衡量的性能优势。我们使用 Llama-3\.2-3B-Instruct666hf\.co/meta-llama/Llama-3\.2-3B-Instruct (https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct) 为训练实例生成合成情感理由。我们不进行微调以避免过拟合；它在零样本设置中使用。为确保此步骤的计算效率，我们使用 vLLM 框架 Kwon 等人 (2023 (https://arxiv.org/html/2607.03414#bib.bib15)) 生成了文本。

我们尝试了不同的提示来指导解码器模型。基于对生成理由的手动审查，我们选择了一个确保情感描述结构一致性和定性合理性的提示。提示设计还得到了专有 LLM Claude-Sonnet-4\.6777claude\.com/docs/en/about-claude/models (https://platform.claude.com/docs/en/about-claude/models) 的协助。

### 4\.2 子任务 3：维度方面情感四元组预测

#### 解码器微调

对于情感四元组的结构化提取，我们研究了指令微调生成模型的有效性。受限于可用计算资源，我们优先采用了参数高效的微调策略，即低秩