满意度评分的维度

arXiv cs.CL 论文
dimensionality satisfaction-ratings llm-annotations customer-experience nlp machine-learning

摘要

本文使用GPT-4.1对约9000条客服对话进行标注，将客户满意度分解为多个维度，并验证了标注与用户自评满意度的一致性。研究发现，全量数据中的满意度低于调查反馈结果。

arXiv:2607.11026v1 公告类型: 新 摘要：我们使用大型语言模型（GPT-4.1）对一家全球消费品公司约9000条客服对话的文本进行了标注，将客户服务满意度分解为多个维度（整体、客服、结果、产品和客户努力），并验证了LLM标注与客户自评满意度的一致性。五个维度中有四个与自评满意度高度吻合（整体、客服和结果的未调整相关系数接近0.65；努力为-0.54），而产品满意度与现有代理指标的相关性较弱。未调整的相关系数也低估了这种一致性：分歧集中在一个小而可读的异常会话尾部，而非整体漂移；当仅排除严重分歧时，整体相关系数升至0.811，排除全部异常尾部后升至0.914。各维度之间也存在高度共线性，将其加入总体得分并不能改善对客户评分的预测——分解的价值不在于增量预测，而在于归因和覆盖。而且，随着覆盖范围的扩大，数据的面貌也发生了变化。当读取所有联系记录而非仅返回调查的少数记录时，满意度明显低于调查结果（全量数据平均分2.91，而调查为3.62，基于五分制）。作为方法论的分解满意度的前景在于能够从对话数据中识别出更细微的客户体验驱动因素。
查看原文
查看缓存全文

缓存时间: 2026/07/14 04:23 

# 满意度评级中的维度性  
来源：https://arxiv.org/abs/2607.11026  
查看 PDF (https://arxiv.org/pdf/2607.11026)  

> 摘要：我们使用一个大语言模型（GPT-4.1）对一家全球消费品公司约 9000 次客服对话的文本进行了标注，将客户服务满意度分解为若干轴（总体、客服代表、结果、产品以及客户努力），并将 LLM 的标注结果与客户自行填写的满意度评级进行了验证。五个轴中有四个与自报满意度高度吻合（总体、客服代表和结果的未调整相关系数接近 0.65，努力系数为 -0.54），而产品满意度与现有代理指标的相关性较弱。未调整的相关性也低估了两者的一致性：分歧集中在可读的小部分异常对话尾部，而非整体漂移；当仅排除严重分歧时，总体相关性上升至 0.811，若排除整个异常对话尾部，则上升至 0.914。各轴之间也存在高度共线性，将其加入总体得分并不能改善对客户评级的预测，该分解的价值在于归因和覆盖，而非增量预测。而且，随着覆盖范围的扩大，数据的面貌也随之改变。若对每一次联系都进行读取，而非仅读取返回调查的少数几次，满意度明显低于调查所报告的结果（在五分量表上，全面普查的平均值为 2.91，而调查结果为 3.62）。分解满意度作为一种方法论，其前景在于能够在对话数据中识别出更细微的客户体验驱动因素。  

## 提交历史  

来自：Jason Potteiger [查看邮件 (https://arxiv.org/show-email/e3615406/2607.11026)] **\[v1\]** 2026 年 7 月 13 日星期一 02:45:35 UTC（1,040 KB）

相似文章

使用 GPT-4 树立新的客户服务标准

OpenAI Blog

Ada 利用 GPT-4 和由 OpenAI API 驱动的多智能体系统来提升客户服务质量，将问题解决率从 30% 提高到 60-80%，同时保持高解决率，建立了超越传统指标的新行业标准。