llm-annotations

本文使用GPT-4.1对约9000条客服对话进行标注，将客户满意度分解为多个维度，并验证了标注与用户自评满意度的一致性。研究发现，全量数据中的满意度低于调查反馈结果。

本文探讨了主题情感是否对新闻文章中感知到的政治意识形态产生因果影响，比较了来自 AllSides 的人类标注与来自包括 GPT-4o-mini 和 Llama-3.3-70B 在内的 LLM 标注。研究发现，微调后的 GPT-4o-mini 表现出一种虚假的情感-意识形态耦合，而这种耦合在人类判断中并不存在，这凸显了在因果分析中使用 LLM 标注作为代理的风险。