论文页面 - NLP中谁在标注？2018年至2025年人工标注报告的大规模评估

来源：https://huggingface.co/papers/2606.02255 作者：

,

,

,

,

,

,

,

,

,

,

摘要

对NLP领域人工标注报告的大规模审计揭示了关键标注细节的文件记录不一致，尽管随时间有所改进，但在可重复性和可靠性方面仍存在持续差距。

人工标注（https://huggingface.co/papers?q=Human%20annotation）是大量NLP研究（https://huggingface.co/papers?q=NLP%20research）的实证基础，涉及从数据集构建到模型评估，但论文往往未明确说明标注由谁完成以及标注过程如何控制。我们首次对主要NLP会议中的人工标注（https://huggingface.co/papers?q=human%20annotation）报告进行大规模、任务级别的审计，探究哪些标注细节被记录、哪些缺失，以及报告方式如何随时间、主题、会议和人工判断预期用途而变化。我们引入了一个统一的标注报告实践分类法，并针对Annotated-gold（一个包含41篇论文和72个标注任务、经人工仲裁的金标准数据集）验证了LLM辅助提取（https://huggingface.co/papers?q=LLM-assisted%20extraction）流水线，其中最佳模型与仲裁标签达到与人类相当的一致性，Krippendorff’s alpha（https://huggingface.co/papers?q=Krippendorff%27s%20alpha）为0.606，而人类间一致性为0.585。利用该流水线，我们构建了Annotated-llm（https://huggingface.co/papers?q=Annotated-llm）数据集，涵盖2018-2025年ACL会议论文，共计2,667个从1,603篇论文中提取的标注任务。我们发现论文经常报告操作细节，如招募策略、标注者专业知识和标注量，但常遗漏评估标注有效性（https://huggingface.co/papers?q=annotation%20validity）所需的细节，包括培训、语言能力、报酬、社会人口统计、仲裁和一致性值，尤其在模型评估研究中。我们的结果表明，NLP中的标注报告（https://huggingface.co/papers?q=annotation%20reporting）随时间有所改善，但仍不均衡，并建立了一个可扩展的框架及最低限度报告建议，旨在使人标注（https://huggingface.co/papers?q=human%20annotation）更可靠、可重复和可解释。

查看arXiv页面（https://arxiv.org/abs/2606.02255）查看PDF（https://arxiv.org/pdf/2606.02255）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.02255）

在您的代理中获取本篇论文：

hf papers read 2606.02255

没有最新的CLI？curl \-LsSf https://hf.co/cli/install.sh \| bash

引用本论文的模型0

尚无模型引用本论文

在模型README.md中引用arxiv.org/abs/2606.02255以从此页链接。

引用本论文的数据集0

尚无数据集引用本论文

在数据集README.md中引用arxiv.org/abs/2606.02255以从此页链接。

引用本论文的Space0

尚无Space引用本论文

在Space README.md中引用arxiv.org/abs/2606.02255以从此页链接。

包含本论文的收藏0

尚无收藏包含本论文

将本论文添加到收藏（https://huggingface.co/new-collection）以从此页链接。