标签
论文提出 ANT-A 多标注者基准（跨7个数据集、每样本5个人工标注）以及多智能体标注框架 ANT-OR，通过从正负反馈中提炼对比决策规则优化提示，在 Fleiss kappa 一致性上显著超越基线。
提出了一种基于LLM的Teacher-Student弱监督框架，用于网络安全推文分类，在无需大规模人工标注的情况下训练的PLM模型F1超过0.92，接近完全人工监督的性能。
该论文研究在上下文老虎机的离策略评估中，如何在预算约束下从多个标注源（领域专家、大语言模型）采购反事实标注，通过整数分配优化与单调改进算法，在合成临床和教育数据上将均方误差相对无标注基线降低了 20.58% 和 10.77%。
本文提出了基于大语言模型（LLM）标注中的"仪器不确定性"概念，研究表明：在同一种任务设计下，重复运行LLM的结果高度可靠；但对任务设计或模型选择做出合理的调整，就可能大幅改变攻击性语言和仇恨言论的标注结果以及流行率估计。
本文提出一个二维框架用于分析新闻标题，区分显著性框架和选择框架，并将其应用于对French新闻标题的大规模审计，采用基于LLM的标注方法，揭示了媒体框架中的差异。
本文介绍了EduBehaviors，一个使用大型语言模型的可解释且可扩展的框架，用于标注教育对话，在TalkMoves数据集上进行评估，并发布了一个面向研究者的工具包。
本文使用大型语言模型来标注Reddit中的俚语使用，从而建模俚语的采纳与扩散，揭示了网络结构和语义上下文的影响。
本文介绍了FrenchNews-7，一个用于跨多个发布者分类法国新闻编辑部的基准，特点是一个微调的CamemBERT分类器以及与LLM基线的评估。
本文使用LLM标注流水线分析了关于 La France insoumise 和 Rassemblement National 的28,592条法国新闻标题，发现了不对称的角色框架：LFI更常被框定为侵略者，而RN则被框定为战略行动者。
本文提出了一种简单的流水线，利用 LLM 自动将特征分组为归因图中的超节点，达到了与人类标注者相当的可解释性，并在一个两跳任务中恢复了中间跳的超节点。
本文提出了一种计算方法，利用大型语言模型和RoBERTa来识别句子语境中的方式动词和结果动词，准确率高达89.6%。旨在为发展语言研究提供一种可扩展的测量工具。
本文介绍了 MultiSoc-4D，这是一个用于诊断大语言模型在标注孟加拉语社交媒体数据时出现的指令诱导标签崩溃问题的基准测试。研究揭示，大语言模型系统性地倾向于使用默认标签，导致对仇恨言论和讽刺等少数类别的检测不足。
研究者用三个开源大模型为PersuasionForGood语料库中的10,600条说服者回合标注41种说服策略，发现策略类别对捐赠方差解释力极低，而“内疚诱导”显著降低捐赠率。