专家引导的技能提示与微调在中文隐喻识别中的跨数据集稳定性研究

# 专家知情技能提示与微调在中文隐喻识别中的跨数据集稳定性
来源：https://arxiv.org/html/2608.25579
## 专家知情技能提示与微调在中文隐喻识别中的跨数据集稳定性
致谢：通讯作者：吴宇峰。

###### 摘要

隐喻识别性能可能因文本分布和标注策略的不同而在数据集间发生显著变化。我们研究了一个固定的专家知情程序是否比任务特定的参数适应产生更均匀的跨数据集表现。针对中文句子级隐喻识别，我们比较了四种预设条件：BERT微调（BERT-FT）、基于QLoRA的大语言模型微调（LLM-FT）、直接零样本大语言模型提示（LLM-ZS）以及带有冻结程序化技能的零样本提示（Skill-ZS）。该技能将涉及上下文意义、基本意义、对比和比较的既定标准操作化。评估覆盖了CMRE测试集和两个外部数据集CCIME和CMC。微调分数是三个随机种子的平均值，而每个零样本分数来自一个确定性配置。在原生测试集上，微调仍然最强：BERT-FT达到了91.76的宏F1值。LLM-FT在外部数据集上的平均分最高（83.52），而Skill-ZS紧随其后，为82.92，并且拥有最高的外部下限（82.64）以及所有三个数据集中最小的观测范围（4.08分）。在匹配的零样本比较中，添加该技能会减少每个数据集上的隐喻预测。这大幅降低了CCIME上的假阳性，但增加了CMRE测试集和CMC上的假阴性。这些结果将专家知情技能提示定位为实现更均匀的观测跨数据集性能的补充途径，而微调在原生数据准确性上仍保持其优势。据我们所知，这是首次在中文句子级隐喻识别的同一跨数据集评估中，将专家知情的程序化技能与任务特定微调进行比较的研究。

###### 索引术语：

中文隐喻识别，跨数据集评估，专家知情技能，微调，大语言模型

## I 引言

隐喻识别系统在评估数据集发生变化时，其行为往往会改变。体裁、构式组合、类别分布和标注策略的差异会改变整体性能以及假阳性和假阴性之间的平衡[1 (https://arxiv.org/html/2608.25579#bib.bib1), 2 (https://arxiv.org/html/2608.25579#bib.bib2), 3 (https://arxiv.org/html/2608.25579#bib.bib3)]。因此，一个高的源数据对齐分数只捕捉了评估问题的一部分；外部性能下限和跨数据集的变异同样至关重要。

该任务本身取决于判断一个表达是否具有与其更基本的意义形成对比但又可以与之相关联的上下文意义。诸如MIP和MIPVU等手工程序将这个判断组织成明确的步骤[4 (https://arxiv.org/html/2608.25579#bib.bib4), 5 (https://arxiv.org/html/2608.25579#bib.bib5)]。计算系统通过模型架构、上下文交互、显式的基本意义模块、提示和规则脚本来表示相关知识[6 (https://arxiv.org/html/2608.25579#bib.bib6), 7 (https://arxiv.org/html/2608.25579#bib.bib7), 8 (https://arxiv.org/html/2608.25579#bib.bib8)]。这些替代方案将语言专业知识放置在系统的不同部分，因此可能产生不同的跨数据集表现。

微调将任务适应置于从标注样本中学到的参数中。而指令技能则在推理时提供一个操作程序，同时保持模型参数不变。我们使用*技能*来指定一个可重用的指令工件，它定义了一个多步推理过程，而不是一个上下文示例集或学习到的适配器。它的标准可能与从一个训练分布学到的规律以不同的方式跨数据集迁移。

我们在一个共同的中文句子级表述下评估这些路径。BERT-FT和LLM-FT代表有监督的参数适应。Skill-ZS为基础大语言模型提供了一个冻结的、专家知情的程序，该程序源自已发表的标注协议和隐喻识别研究。直接LLM-ZS使用相同的基础模型和运行环境，但不使用技能，从而提供了对该程序整体效果的匹配比较。

我们提出三个问题。RQ1询问四种条件在观测到的跨数据集稳定性上有何差异，通过原生宏F1值、外部均值、外部下限、带符号的原生-外部均值差距和三数据集范围来总结。RQ2使用准确率、隐喻类别精确率、召回率、F1值和宏F1值，检验这些总结背后的数据集和类别特定性能权衡。RQ3询问添加技能相对于匹配的LLM-ZS条件如何重新分配整体决策。据我们所知，这是首次在中文句子级隐喻识别的同一跨数据集评估中，将专家知情的程序化技能与任务特定微调进行比较的研究[9 (https://arxiv.org/html/2608.25579#bib.bib9), 10 (https://arxiv.org/html/2608.25579#bib.bib10), 11 (https://arxiv.org/html/2608.25579#bib.bib11)]。它进一步提供了关于它们互补性能概况的特定标准说明，以及由技能引入的整体决策转移分析。

## II 相关工作

### II-A 隐喻识别中的专家知识

MIP和MIPVU通过要求分析者建立上下文意义、识别更基本的意义并评估对比和比较，使隐喻决策更具可重复性[4 (https://arxiv.org/html/2608.25579#bib.bib4), 5 (https://arxiv.org/html/2608.25579#bib.bib5)]。计算模型以不同形式整合了这些原则。序列隐喻识别使用理论启发的上下文信号，MelBERT建模上下文化交互，显式的基本意义建模则直接表示比较[6 (https://arxiv.org/html/2608.25579#bib.bib6), 7 (https://arxiv.org/html/2608.25579#bib.bib7), 8 (https://arxiv.org/html/2608.25579#bib.bib8)]。ContrastWSD进一步将词义信息与基于MIP的对比测试相结合[12 (https://arxiv.org/html/2608.25579#bib.bib12)]。

生成模型允许操作性知识在提示中表达，而不是编码在模型架构中。最近的研究评估了零样本隐喻标签和理由、受MIPVU启发的大语言模型程序，以及用于中文隐喻识别的显式规则脚本[13 (https://arxiv.org/html/2608.25579#bib.bib13), 9 (https://arxiv.org/html/2608.25579#bib.bib9), 10 (https://arxiv.org/html/2608.25579#bib.bib10)]。这些研究为专家知情技能提供了动力。本研究中的技能将选定的操作原则适应于句子级二分类，而不是实现完整的词汇单元MIPVU程序。

### II-B 微调、提示和数据集变化

隐喻识别系统在不同数据集间的迁移并非均匀一致。跨语言研究确立了学到的表示可以支持跨特定语言数据集的迁移[14 (https://arxiv.org/html/2608.25579#bib.bib14)]。后续研究直接评估了跨数据集和跨语言泛化能力，包括在多种分布外设置下，以及跨体裁的性能损失[1 (https://arxiv.org/html/2608.25579#bib.bib1), 2 (https://arxiv.org/html/2608.25579#bib.bib2), 3 (https://arxiv.org/html/2608.25579#bib.bib3)]。更广泛的自然语言处理研究同样区分了源数据对齐评估与目标分布变化下的性能[15 (https://arxiv.org/html/2608.25579#bib.bib15)]。

基于大语言模型的研究增加了第二个比较：参数适应与直接或程序引导提示。最近的研究考察了表面敏感的大语言模型隐喻判断和多语言隐喻检测评估[16 (https://arxiv.org/html/2608.25579#bib.bib16), 17 (https://arxiv.org/html/2608.25579#bib.bib17)]。Fuoli等人比较了检索增强生成（RAG）、提示工程和微调在全文隐喻识别中的应用[11 (https://arxiv.org/html/2608.25579#bib.bib11)]。本研究专注于中文句子分类，并询问显式程序指导是否能产生更均匀的观测跨数据集表现。它将四种模式比较与匹配的直接与技能零样本干预相结合，从而可以同时考虑性能水平和跨数据集变异。

## III 方法

我们比较了四种提供任务知识的方式，同时保持句子级标签空间和评估行不变。CMRE开发集用于有监督模型选择，两个零样本条件在正式评估前已最终确定。实现级别的配置和可重复性记录在补充包中提供。

### III-A 任务、数据与重叠控制

每个句子被赋予隐喻或非隐喻标签。CMRE提供了训练、开发和原生测试分区[18 (https://arxiv.org/html/2608.25579#bib.bib18)]。我们使用了其发布的句子标签，并保留了标记为正例的明喻关系。CCIME贡献了公开标注的1200条任务1开发行[19 (https://arxiv.org/html/2608.25579#bib.bib19)]，CMC贡献了其发布的保留中文划分[20 (https://arxiv.org/html/2608.25579#bib.bib20)]。仅使用它们的二元隐喻标签。表I (https://arxiv.org/html/2608.25579#S3.T1)报告了保留的数据。

**TABLE I: CMRE Train/Dev重叠移除后的数据集构成。** 在评估之前，移除了与CMRE Train或Dev精确和归一化精确匹配的行，排除了38行CCIME和2行CMC。发布在评估视图内的重复行保留了不同的标识符，因此原始行级单元得以保留。结果行由所有四种条件共享。尽管标注策略不同：CMRE将发布为正例的明喻保留为隐喻，而CCIME将明喻和夸张归入其非隐喻类别。因此，我们将CCIME解释为数据集偏移与标注策略偏移的结合。数据集版本、归一化规则、重复记录和重叠报告记录在补充材料中。

### III-B 四种知识提供模式

表II (https://arxiv.org/html/2608.25579#S3.T2)总结了四种知识提供模式。BERT-FT和LLM-FT从CMRE标签中学习；LLM-ZS和Skill-ZS没有接收任何标注样本。四种方式的比较描述了具有不同架构和适应成本的实际系统。零样本对构成了受控比较：两者使用相同的基础模型、运行时、提示外壳、输出格式和评估行，唯一的条件级别增加是冻结的技能。

**TABLE II: 知识提供模式和正式运行基础。**

### III-C 微调条件

BERT-FT使用hfl/chinese-roberta-wwm-ext-large，并带有两标签序列分类头[21 (https://arxiv.org/html/2608.25579#bib.bib21)]。使用AdamW优化整个模型，学习率为2×10⁻⁵，有效批量大小为16，最大序列长度为512，最多训练五个周期。检查点选择以最大化CMRE开发集宏F1值为标准，开发集损失较低和更早的周期作为平局打破器。固定阈值0.5用于生成标签。

LLM-FT使用4位NF4 QLoRA[23 (https://arxiv.org/html/2608.25579#bib.bib23), 24 (https://arxiv.org/html/2608.25579#bib.bib24)]调整了纯文本Qwen/Qwen3.6-27B模型[22 (https://arxiv.org/html/2608.25579#bib.bib22)]。秩为8且α=16，产生了23.76M可训练参数。仅助手目标包含一个JSON标签，损失仅限于目标标记。AdamW使用10⁻⁴的学习率，有效批量大小为16，最大序列长度为256，最多训练三个周期。检查点选择标准与BERT-FT相同。

两个微调条件都使用了随机种子42、43和44，并在测试预测前为每个种子独立选择一个检查点。补充材料报告了完整的优化、目标模块、模型修订和运行时配置。

### III-D 零样本控制与专家知情技能

LLM-ZS使用相同的Qwen基础模型，没有参数更新。Skill-ZS在这个匹配的零样本配置上添加了冻结的技能。我们使用*零样本*意味着没有使用任何标注的CMRE、CCIME或CMC样本进行参数更新或作为上下文示例提供。直接提示是与数据集无关且无需示例的。

该技能将既定的识别原则转化为六个操作：建立句子上下文、识别候选映射、比较上下文和基本意义、测试对比和比较、拒绝不支持的案例，以及将分析聚合为一个句子标签。其措辞通过七次迭代，在60个AI辅助合成规范句子上进行了完善，这两个标签之间保持了平衡。这些项目用于修改指令，而不是用于估计性能。它们被排除在正式评估之外，没有正式的评估句子、分数或错误影响技能的开发。

两个零样本条件都使用确定性解码和相同的约束JSON标签格式。每个条件的2710个输出都直接满足输出模式。确切的提示、技能文本、解码配置、解析器规范和输出记录都包含在补充材料中。由于匹配对仅因技能而异，它们的整体输出差异分离了与添加完整程序相关的条件级别变化；指令级别的效果需要单独的消融研究。

### III-E 评估指标

我们报告准确率和隐喻类别的精确率、召回率及F1值。宏F1是两类F1值的未加权平均，是主要的跨数据集度量标准，因为类别分布不同。稳定性分析考虑了四个互补的总结：CCIME和CMC上的平均值、这两个外部分数中的较低值、CMRE测试集与外部均值之间的带符号差异，以及所有三个数据集的范围。较小的范围与性能下限一起解释，因为普遍较低的分数也会产生较小的变异。微调值是三个种子的均值和样本标准差；零样本值是确定性点估计。

## IV 结果

分析首先展示了引发比较的跨数据集概况，然后检验其背后的类别特定权衡和匹配的决策转移。图1 (https://arxiv.org/html/2608.25579#S4.F1)可视化了宏F1和预测概况。表IV (https://arxiv.org/html/2608.25579#S4.T4)中的数据集分数四舍五入到两位小数；表III (https://arxiv.org/html/2608.25579#S4.T3)中的稳定性标准使用相应的未舍入值。

### IV-A 观测到的跨数据集稳定性

图1：互补概况。(A) 按数据集划分的宏F1。(B) CMRE测试集宏F1与观测到的外部下限；对角线标记相等性。(C) 匹配零样本对和真实分布中隐喻预测的比例；箭头从LLM-ZS指向Skill-ZS。须状图仅显示三个种子微调条件的样本标准差。
**TABLE III: 在宏F1点中计算的观测跨数据集稳定性标准，使用未舍入值。** 原生-外部均值带符号。
主要模式是分离……