SwanNLP在SemEval-2026任务5中的工作：用于叙述词义消歧中合理性评分的LLM框架

# SwanNLP在SemEval-2026任务5中的应用：用于叙事词义消歧的基于LLM的似然评分框架
来源：https://arxiv.org/html/2604.16262
Deshan Sumanathilaka, Nicholas Micallef, Julian Hough, Saman Jayasinghe Swansea大学计算机科学系，威尔士，英国 \{t\.g\.d\.sumanathilaka, nicholas\.micallef, julian\.hough, s\.j\.j\.g\.galgodagedon\}@swansea\.ac\.uk

###### 摘要

语言模型的最近进展大幅改进了自然语言理解（NLU）。虽然广泛使用的基准表明大型语言模型（LLM）可以有效地消除歧义，但其在真实叙事场景中的实际适用性仍然未被充分探索。SemEval-2026任务5通过引入一个预测短篇故事中词义的人类感知似然性的任务来填补这一空白。在本工作中，我们提出了一个基于LLM的框架，用于使用结构化推理机制在叙事文本中对同音异义词义进行似然评分。我们考察了使用不同推理策略对低参数LLM进行微调的影响，以及对大参数模型进行动态少样本提示，对准确词义识别和似然估计的影响。我们的结果表明，采用动态少样本提示的商业大型LLM能够密切复制人类的似然判断。此外，模型集成略微改善了性能，与单一模型预测相比，更好地模拟了五名人类标注者的一致性模式。

SwanNLP在SemEval-2026任务5中的应用：用于叙事词义消歧的基于LLM的似然评分框架

Deshan Sumanathilaka, Nicholas Micallef, Julian Hough, Saman Jayasinghe Swansea大学计算机科学系，威尔士，英国 \{t\.g\.d\.sumanathilaka, nicholas\.micallef, julian\.hough, s\.j\.j\.g\.galgodagedon\}@swansea\.ac\.uk

## 1 引言

随着Transformer模型的推出（Vaswani等人，2017），语言模型在各种自然语言处理（NLP）任务中的能力不断增强。词汇歧义成为传统模型的一个主要挑战，因为两个或多个完全不相关的词义共享相同的拼写或发音（Bevilacqua等人，2021）。尽管最近的研究表明大型语言模型（LLM）在常见词义的词义消歧（WSD）上表现强劲，但其在识别罕见情况或低频词方面的表现有所下降（Sumanathilaka等人，2024b；Meconi等人，2025）。

现有基准主要在句子级别运作，其中消除同音异义的歧义主要基于邻近词线索、全局上下文分析以及句法线索和依存关系（Raganato等人，2017；Ballout等人，2024；Blevins等人，2021）。虽然这些数据集在受限设置中很有效，但这种表述方式存在固有局限，例如孤立句子通常提供的上下文证据不足，无法反映真实世界语言理解所需的更丰富的多句上下文。

为了解决这一差距，SemEval-2026任务5引入了AmbiStory数据集（Gehring和Roth，2025），其包含通过其话语结构自然编码歧义的叙事文本。每个实例由一个提供情境背景的四到五句话的短篇叙事（前文）组成，随后是一个包含歧义的目标句子，以及可选的结尾句子。通过在叙事设置中建模歧义，这个基准实现了对词义消歧算法在真实场景中适用性的更现实的评估。我们的实现源代码已公开发布在https://github.com/Sumanathilaka/SwanNLP-at-SemEval-2026-Task-5。

### 1.1 任务概述

SemEval-2026任务5（Gehring等人，2026）——"通过叙事理解评估歧义句子中词义的似然性"，旨在评估计算模型在叙事背景下解释同音异义词义时模拟人类推理的能力。参与者需要为每个故事预测人类感知的似然评分（1-5）。每个实例由奠定叙事基础的前文、包含同音异义的歧义句子和可选的通常暗示特定词义的结尾组成。

基础数据集AmbiStory由通过Prolific招募的人类参与者标注，每个实例有五个独立的标注，使用五点似然评分量表。参与者获得训练、开发和测试集。主要评估指标是预测评分与平均人类判断之间的Spearman相关系数，以及标准差内准确度，定义为模型预测落在标注者平均评分至少一个标准差范围内的比例。数据集统计摘要见表1。

表1：数据集统计。独特词义代表每个集合中捕获的独特同音异义的数量。

## 2 相关工作

最近的研究表明，LLM在消除常用同音异义方面要有效得多，这是因为它们能够建模丰富的上下文和语义线索（Cahyawijaya等人，2024；Meconi等人，2025）。虽然Qwen和Gemma等参数高效模型缺乏大规模LLM的深层上下文表示，但微调已被证明能比基础版本产生显著的性能收益（Basile等人，2025），这表明了用于领域或任务特定消歧的更节能的替代方案。这些发现激励了我们使用有监督微调框架来模拟人类似然判断。特别地，我们通过一个包含难度感知分析的推理驱动管道来建模单标注者和聚合多标注者的观点。

先前的工作也探索了将词义消歧重新表述为更高层次的推理任务。Sainz等人（2023）将词义消歧转变为文本蕴含问题，提示模型评估候选词义描述与包含歧义词的句子之间的兼容性。这种零样本表述表现优于随机基线，在某些情况下与有监督的词义消歧系统相当。相应地，Sumanathilaka等人（2025b）调查了使用GPT-3.5-Turbo和GPT-4-Turbo的提示工程和上下文学习策略，可以大幅改进消歧任务，而随后的基准测试识别出基于GPT的模型和DeepSeek在词义消歧方面特别有效（Sumanathilaka等人，2024a）。总的来说，这些研究表明LLM非常适合上下文中的词义消歧，推理导向的提示可以进一步增强性能。基于这一工作思路，我们的方法旨在通过为大型模型的上下文学习利用动态少样本提取来增强具有挑战性的似然评分预测任务。

## 3 方法论

在本研究中，我们评估了三套预测似然评分的方法。我们使用了低参数LLM的有监督微调（SFT）、通过动态检索增强生成（RAG）和链式思维（CoT）推理（Wei等人，2022）进行的上下文学习，以及模型集成来进一步模拟多标注者的一致性。为了在所有方法中支持不同的推理过程，我们将数据分类为似然级别，供各个阶段使用。

为了实现微调逻辑，我们使用平均评分来识别可能的结果，这些结果由人类标注者在标注过程中确定。这个推断的基本原理随后在微调过程中持续纳入，以模拟人类判断。

- • 平均≥4.0：意味着强烈契合上下文和结尾，表示似然性高。
- • 3.0≤平均<4.0：意味着合理契合上下文和结尾，表示似然性中等。
- • 2.0≤平均<3.0：意味着与上下文和结尾的联系薄弱，表示似然性略微。
- • 平均<2.0：意味着不契合上下文或结尾，因此不似然。

这些似然带是通过平均人类评分的数据驱动离散化定义的，由数据集的评分分布和标注特征启发（Snow等人，2008）。

参考图1：用于分类案例对人类来说是简单还是困难的流程。

### 3.1 低参数模型微调

对于微调任务，我们采用四种技术来建模推理过程。微调过程是递进的，结合了先前工作中提出的多种推理策略来改进词义消歧性能（Sumanathilaka等人，2026）。我们调整这些方法以更好地与模拟人类似然评分标注任务相一致。每种技术都特别设计用于反映人类如何评估和分配似然性。本研究中使用的设计策略如下所述。

- • 给定一个短篇故事、一个目标歧义词、一个候选词义和一个叙事结尾，模型分配与一个标注者判断相对应的单一似然评分。
- • 给定一个短篇故事、一个目标歧义词、一个候选词义和一个叙事结尾，模型生成五个似然评分来模拟五个不同标注者的判断，并捕捉人类推理的变异性。
- • 给定一个故事上下文、一个目标歧义词、一个候选词义和一个叙事结尾，模型首先通过分析周围的上下文线索和叙事结尾来确定候选词义是否似然。然后基于这个推理分配最合适的似然评分。
- • 给定一个故事上下文、一个目标歧义词、一个候选词义和一个叙事结尾，模型首先通过分析故事的特征来识别实例的困难级别，如人类易识别或人类模糊，然后推理候选词义并相应分配似然评分。

这些模型被微调以模拟与上述设计目标相一致的单标注者和多标注者评分过程。微调输入（包括推理基本原理和每种策略的预期输出格式）见表2。在第三个微调策略中，我们使用了GLOSSGPT（Sumanathilaka等人，2025b），一个最先进的词义消歧系统，为每个同音异义目标词基于故事上下文提供可能的词义解释。这个词义预测被预计算并在微调过程中用作辅助推理线索，而不是被当作最终的真标签。

更具体地说，GLOSSGPT被用于识别故事中的上下文线索所支持的最可能的词义，这有助于为似然评分的中间推理过程构建结构。然而，由于似然判断可能在标注者之间变化，特别是在人类模糊的案例中，GLOSSGPT的作用仅限于提供一个稳定的语义参考点。微调基本原理被设计为减少对单一预测词义的过度依赖，而是强调低参数LLM如何能够建模人类似然评估中的变异性，特别是当上下文支持多个合理的解释时。

表2：微调策略到其训练输入的映射和推理时的预期输出。

#### 3.1.1 研究设置

对于模型开发，采用了有监督微调（SFT）。基础模型使用低秩自适应（LoRA）进行微调，以实现高效训练同时降低计算开销。训练数据被预处理为所需的聊天风格提示-回应格式，每个查询包含同音异义、前文、句子和结尾。对于微调的最后两个阶段，相关的预计算词义和困难标签被纳入以构建推理逻辑。

微调使用Hugging Face transformers和trl库进行，通过自定义提示格式化函数来标准化输入。数据使用每个模型的原生标记器进行标记。我们使用了批大小4、梯度累积超过8步和学习率2×10^-4，这些设置是基于初步实验选择的。优化使用AdamW和线性学习率调度器执行。所有实验都在NVIDIA A100-PCIE-40GB GPU上进行，它提供了足够的内存来高效微调模型，在最终配置中无需量化。

### 3.2 商业模型的动态少样本学习

在研究的第一阶段，我们观察到包括微调变体在内的小型模型不太适合处理人类判断为中等似然的歧义句子。为了解决这一局限，我们提出了一种受RAG启发的方法（Lewis等人，2020），它在大型模型推理期间丰富上下文知识。根据图1所示的逻辑，我们将训练数据分为三个类别。

模糊上下文（1088条记录）：此类别包含人类标注者分配了不同似然评分的实例。使用标注的平均值和标准差，我们识别了标注者之间有实质性分歧的案例，表示高度的模糊性。

人类易识别 - 高评分（631条记录）：此类别包含人类可以高置信度标注的实例。当所有标注者都一致并持续分配高评分时，它表明给定的含义非常适合歧义句子。

人类易识别 - 低评分（561条记录）：此类别也包含人类易于标注的实例，但标注者持续分配低评分。这样的一致性表明给定的含义不适合提供的上下文中的同音异义。

这种分类为构建用作少样本推理设置中检索器的向量存储奠定了基础。每个故事都被当作向量存储中的单独块处理，嵌入使用BAAI/bge-small-en-v1.5生成。FAISS向量索引被用来存储故事嵌入。检索器使用similarity_search在推理过程中获取最相关的少样本示例。

初步实验以K=1,2,3进行，我们观察到