标签
一篇推文串，论述AI训练数据是一种独特的易腐商品——当模型在某项任务上的准确率达到约70%时，其价值便荡然无存。这催生了一个火热的市场，甚至造就了最年轻的白手起家亿万富翁，然而最大的买家正在将数据生产收归内部。
本文介绍了SWARM，这是一个多语言人类标注数据集，用于检测跨九种语言的搜索引擎结果中的俄罗斯宣传。它对各种模型进行了基准测试，发现使用大型语言模型（LLMs）的内容级分析在宣传检测方面优于传统方法。
本文引入了一种使用失败空间分析的特定于事实性的标注策略，以在有限的标注预算下改善针对大语言模型的人类锚定事实性评估，并在基准系统上取得了显著的效率提升。
本文介绍了UPHELD，这是一个带有大量人工标注的基准，用于评估对话型LLM，以及Mixture-of-Judges框架，可将评估准确性提高30%。
本文来自石溪大学，识别了文本摘要人类忠实性标注中的“平均偏差”：全局人类标签与逐句LLM判断的平均值之间的相关性，优于与严格合取规则的相关性，这意味着即使摘要包含局部事实错误，人类也常常将其标注为忠实。
PrivacyAlign 引入了一个人工标注数据集和训练框架，用于使 LLM 代理尊重上下文隐私规范，结果表明前沿模型仍然会泄露敏感信息，而基于人工的评估能改善对齐效果。
本文介绍了一种名为Metric Match的方法，通过选择样本子集进行人工标注，以更高效地估计LLM裁判的可靠性，将标注成本降低32.5%，并相对于随机选择实现了0.838的胜率。
本文介绍了PRECISE，它是预测驱动推理（Prediction-Powered Inference）的一种扩展，将少量人工标注与大量LLM判断结合，以生成无偏且方差减小的排名评估指标（如Precision@K）估计。该方法在ESCI基准测试和实际生产环境的A/B测试中进行了验证，仅使用100个人工标注就正确识别出了最佳系统变体，并通过+407 bps的销售改进得到了确认。
本文对2018-2025年间自然语言处理领域的人类注释报告进行了大规模审计，结果显示关键细节的记录虽然随时间有所改善，但仍不一致，并为此提供了框架和建议，以改进报告质量。