人类与LLM标注中的挑战：以评价性语言为例

arXiv cs.CL 论文
linguistic-annotation appraisal-theory large-language-models digital-humanities evaluative-language fine-tuning

摘要

本文比较了受训中的语言学家、一位训练有素的语言学家和LLM在使用评价理论标注评价性语言时的表现，发现LLM表现出色，能够辅助完成复杂的标注任务。

arXiv:2607.28119v1 公告类型：新 摘要：在本文中，我们比较了受训中的语言学家、训练有素的语言学家以及大型语言模型（LLM）生成的标注，以探究它们在处理复杂语言现象时是否面临类似困难。为此，我们分析了口语科普话语中的评价性语言，并使用一个英语TED演讲文稿语料库作为示例。我们关注评价理论（Appraisal theory）及其态度（Attitude）子系统，包括情感（Affect）、判断（Judgement）和鉴赏（Appreciation）等类别。在此背景下，评价理论是一个高度主观的标注任务示例，因此适合用于研究复杂标注挑战。首先，我们在特定科学领域的句子层面评估人工标注。然后，我们开发了三种提示（prompt）并比较它们在评价类别自动分类中的模型表现。我们使用表现最佳的提示评估了三种LLM，并对模型进行微调，达到了0.77的F1分数。我们发现，与训练有素的语言学家进行的标注相比，模型表现最佳，而受训中的语言学家则未达到较高的一致性分数。我们得出结论：LLM可以帮助解决复杂的标注任务，为数字人文研究中复杂理论的标注与分析开辟了新途径。
查看原文
查看缓存全文

缓存时间: 2026/07/31 10:03 

# 人类与LLM标注中的挑战：评价性语言的案例研究

来源：https://arxiv.org/abs/2607.28119
查看 PDF (https://arxiv.org/pdf/2607.28119)

> 摘要：在本文中，我们比较了受训的语言学学生、一位有经验的语言学家以及大型语言模型（LLMs）生成的标注，以探究它们在处理复杂语言现象时是否面临相似的困难。为此，我们分析了口语科普话语中的评价性语言，并以英语TED演讲转录文本语料库为例。我们聚焦于评价理论（Appraisal theory）及其态度子系统，包括情感（Affect）、判断（Judgement）和鉴赏（Appreciation）这些类别。在这一背景下，评价理论是一个高度主观的标注任务示例，因此适合作为研究复杂标注挑战的案例。首先，我们在特定科学领域的句子层面上评估人类标注。然后，我们设计了三个提示词（prompt），并比较它们在评价类别自动分类任务中的模型表现。我们使用表现最佳的提示词评估了三个LLM的性能，并对模型进行了微调，F1分数达到0.77。我们发现，与由有经验的语言学家完成的标注相比，模型表现最佳，而受训的语言学学生则未达到较高的一致性分数。我们得出结论：LLM能够帮助解决复杂的标注任务，为数字人文研究中复杂理论的标注与分析开辟了新途径。

## 提交历史

来自：Aenne Cecilia Kristine Knierim [查看电子邮件](https://arxiv.org/show-email/006c83dd/2607.28119) **[v1]** 2026年7月30日星期四 12:28:54 UTC（1,308 KB）

相似文章

LLMs 何时真正有效？评估 LLMs 作为数据质量标注器

arXiv cs.CL

本研究评估了 LLMs 在电子商务任务中作为数据质量标注器的表现，发现当需要背景知识时，它们优于基线方法，但对于具有强烈词汇信号的任务优势有限，同时展示了跨运行的高度一致性。

LLM与人工标注的观测等价性

arXiv cs.CL

本文表明，大型语言模型 (LLMs) 的标注质量与人类专家相当，主要挑战在于最小化编码规则中的歧义，而不是在人工和机器编码者之间选择。

使用大语言模型自动标注汉语叙事转录文本

arXiv cs.CL

本文评估了使用大语言模型自动标注汉语口语叙事宏观结构的效果，发现最佳模型在降低65%标注时间的同时，达到了接近人类水平的可靠性，但在语义复杂或词汇多样的叙事文本上性能有所下降。