使用大语言模型自动标注汉语叙事转录文本

arXiv cs.CL 论文
llm linguistic-annotation mandarin narrative transcription automated-annotation discourse-analysis

摘要

本文评估了使用大语言模型自动标注汉语口语叙事宏观结构的效果，发现最佳模型在降低65%标注时间的同时，达到了接近人类水平的可靠性，但在语义复杂或词汇多样的叙事文本上性能有所下降。

arXiv:2605.17205v1 公告类型：新发布 摘要：对转录语音进行语言学标注是语言习得、语言障碍和社会语言学研究的基础，但这一过程劳动密集且耗时。虽然大语言模型（LLMs）在自动化标注任务中展现出潜力，但其处理非英语语言中复杂话语层面标注的能力仍研究不足。本研究以多语言叙事评估工具（MAIN）为测试平台，评估了LLMs能否可靠地标注汉语口语叙事中的叙事宏观结构——即故事语法元素的分层组织。我们比较了四个LLMs与训练有素的人工标注者在儿童、年轻人和老年人所产生叙事文本上的表现。表现最佳的模型与人工评分者的一致性（k=.794）接近人工-人工可靠性水平（k=.872），同时将标注时间减少了65%，而本地可部署的轻量级模型表现则差得多。标注难度因宏观结构元素类型而异，需要微妙语义区分的类别持续带来挑战。此外，模型在年轻人叙事文本上的可靠性下降，这些文本表现出更大的词汇变化、语义歧义以及单个话语中的多元素整合。这些发现表明，LLMs可以有效地支持非英语口语语料库中的话语层面标注，同时强调了在语义复杂任务中仍需人工监督。我们的提示模板已开源以供未来使用。
查看原文
查看缓存全文

缓存时间: 2026/05/19 06:38 

# 用于普通话叙事转录自动标注的大语言模型
来源：https://arxiv.org/abs/2605.17205
查看PDF (https://arxiv.org/pdf/2605.17205)

> 摘要：对转录语音进行语言标注对于语言习得、语言障碍及社会语言学研究至关重要，但至今仍是一项劳动密集且耗时的任务。尽管大语言模型（LLMs）在自动化标注任务中展现出潜力，但它们处理非英语语言中复杂语篇级标注的能力仍有待深入研究。本研究以多语言叙事评估工具（MAIN）为测试平台，评估LLMs能否可靠地标注口语普通话中的叙事宏观结构——即故事语法元素的层级组织。我们比较了四种LLMs与训练有素的人工评分员在儿童、青年及老年人所产出的叙事上的表现。表现最佳的模型与人工评分者的一致性（κ=.794）接近人-人信度水平（κ=.872），同时将标注时间减少了65%；而本地可部署的轻量级模型表现明显较差。标注难度因宏观结构元素类型而异，需要细微语义区分的类别持续构成挑战。此外，模型在青年叙事上的可靠性下降，这些叙事表现出更大的词汇变化、语义歧义及单句内多元素整合。这些发现表明，LLMs能有效支持非英语口语语料库中的语篇级标注，同时凸显了在语义复杂任务中仍需人工监督。我们的提示模板已开源供未来使用。

## 提交历史

来自：Qingwen Zhao [查看邮件](https://arxiv.org/show-email/bd09e29a/2605.17205)  
**[v1]** 2026年5月17日星期日 00:37:25 UTC (582 KB)

相似文章

探索大语言模型在中文抽象语言掌握中的能力边界

arXiv cs.CL

本文介绍了Mouse基准测试，用于评估大语言模型在六个自然语言处理领域的中文抽象语言任务表现。研究表明，尽管当前最先进的模型在上下文理解任务中表现良好，但在这种亚文化网络语言上仍存在重大局限。

LLM与人工标注的观测等价性

arXiv cs.CL

本文表明，大型语言模型 (LLMs) 的标注质量与人类专家相当，主要挑战在于最小化编码规则中的歧义，而不是在人工和机器编码者之间选择。