评估LLM在高效可解释的产品需求度数值与分类隐式情感分析中的应用

# 评估LLM在高效且可解释的产品吸引力隐含数值与分类情感分析中的应用  
来源：https://arxiv.org/html/2606.23701  

\[type=editor, auid=000,bioid=1, role=Researcher, orcid=0000-0002-3653-2928\] \\credit 概念化，形式化分析，资金获取，调查，方法论，项目管理，资源，验证，可视化，撰写 – 初稿，撰写 – 审阅与编辑  
1\]organization=克赖顿大学，地址线=2500 California Plz, 城市=奥马哈, 州=NE, 邮编=68178, 国家=美国  
\[type=editor, auid=000,bioid=1, role=Researcher, orcid=0000-0003-0871-3622\] \\credit 概念化，数据整理，调查，方法论，软件，撰写 – 初稿，撰写 – 审阅与编辑  
2\]organization=比肯计算机与网络科学学院，达科他州立大学，地址线=820 N Washington Ave., 城市=麦迪逊, 州=SD, 邮编=57042, 国家=美国  
\\cortext \[cor1\]主要通讯作者（2026年6月6日）  

###### 摘要  
定性产品反馈可以揭示细微的用户体验，但其隐含情感难以衡量。本文提出一个可扩展且可解释的框架，利用大型语言模型（LLMs）从此类数据中量化产品吸引力。使用来自ZORQ和CARMA的两个产品吸引力工具包（PDT）数据集，包含106个受访者词组分组的黄金标准人工标注，评估了零样本连续数值情感评分和分类情感分类，无需依赖显式评分。在数据集中，LLMs直接从定性回复生成数值情感分数，并与专家标签高度吻合，Pearson相关性高达0.97，分类准确率高达94%。LLMs在处理多种形式呈现的数据时保持稳健性，并始终表达高置信度。相比之下，基于词典和Transformer的基线方法未产生统计显著结果。在测试的模型中，GPT-4o-mini以94%更低的成本实现了与更大模型相当的性能，支持可扩展部署。该框架还整合了模型置信度评分和人类可读的原因解释（xAI），提高了可解释性、透明度和信任度，同时支持在产品满意度评估中的实际应用。总体而言，将PDT工具作为调查方法与成本高效的LLM情感分析相结合，有潜力提供产品评估，其结果在情感评分（包括数值和分类情感）以及可用于识别产品开发和改进思路以及目标受众营销思路的高层次产品印象方面均十分丰富。  

###### 关键词：情感分析、产品吸引力、隐含情感、可解释AI（xAI）、大型语言模型（LLM）、信息系统  

## 1 引言  
在产品开发中，理解用户的隐含情感不仅对于创造真正吸引目标受众的产品至关重要，还有助于有效改进和营销这些产品。情感分析是一个致力于自动提取用户所表达情感反应的领域（Zhang2018），具有提供更深入的用户感知、满意度和整体产品吸引力见解的潜力。情感信息可以帮助信息检索系统智能地执行更准确、更响应的检索和推荐，为用户提供相关的产品信息（Buonaiuto）。自然语言处理（NLP）的最新进展，特别是大型语言模型（LLMs）的发展，为情感分析（尤其是定性数据）开辟了新的可能性。这些模型在各种任务中展示了能力，包括零样本情感分类（Ren11413928; Fazzi; Xiao2024; ZHANG2026104703）。使用量的增加引发了关于这些LLM预测的透明度和可解释性的重要问题（Tsai）。通常，这些模型侧重于情感分类任务的单一维度（例如，情感极性或类别情感），而忽略了定量元素（例如，情感强度或情绪强度）（Liu10; Zeng; Jia10.1145/3799234）。寻找一种在价格和功耗方面高效的商业大型LLM替代方案是一个重要考虑因素，尤其是考虑到训练和运行AI模型对环境的影响（strubell2019energy; schwartz2020green; kaack2022aligning）。crawford2024generative认为，需要立即采取行动来限制AI的环境影响。在商业LLM中，GPT4o-mini被设计为比大型模型更小、更成本高效的模型（gpt4omini），这通常应意味着更低的碳足迹。然而，OpenAI并未具体评论这一点，也未说明GPT4o-mini与其他模型相比所消耗的资源（及其相关环境影响）的性质。  

通常，用户评论或社交媒体上的表达被用作情感分析的基础。理解隐含情感（一种常见的语言现象，准确判断通常需要常识或领域知识）是困难的（Liu11411769; Liu10）。量化用户隐含情感仍然是一个重大挑战，尤其是在缺乏显式用户评分或评论的情况下（zhou2021implicit）。Volo（Volo）强调需要一种以用户为中心的设计（UCD）方法，能够在不影响个体体验的情况下获取其经验，同时在翻译、测量和分析中最小化调查者和选择偏差。这些要求需要一种既结构化和受控又灵活开放的方法（packer）。UCD的一个主要障碍是缺乏正式的机制来将个体用户的“声音”转化为反映不同偏好的不同产品属性的设计。设计能够大规模识别用户独特需求并将其转化为属性级设计反馈和建议的智能系统，对于有效的UCD过程至关重要（HAN2021114604）。  

为了解决情感数据缺乏的情况，可以使用调查和微软产品吸引力工具包（PDT）等工具来评估用户体验。PDT（Benedek; benedek2002a）被认为是评估用户体验和满意度的有价值的定性工具。然而，尽管它擅长收集丰富的定性数据，但本身缺乏定量能力（Sauro）。以下部分提供研究目标、PDT和情感分析技术的背景信息、详细方法论、展示结果、讨论其影响，并概述未来研究方向。  

### 1.1 研究目标  
本研究提供了一个从定性用户体验数据中提取数值隐含情感的零样本框架。该方法是将PDT定性数据输入LLM，以提供数值情感评分以及置信度解释，用于评估和应用于决策。本研究旨在通过将最近的LLM和其他情感分析技术应用于PDT数据，弥合定性情感数据与定量分析之间的差距。总体目标是从定性用户回复中推导出有意义的定量和分类情感见解。此外，通过将LLM与现有方法进行比较，研究旨在识别在软件吸引力评估中量化和分类用户隐含情感的最有效方法。以下研究问题指导本研究：  

1. 1) 各种LLM与已知工具VADER和Twitter-RoBERTa-Base-Sentiment在确定PDT定性数据中表达的隐含用户情感方面的准确性如何比较？  
2. 2) LLM在数值情感分析方面的准确性如何？  
3. 3) 进行数值情感分析的LLM成本是多少？  
4. 4) LLM在分类情感分析方面的准确性如何？  
5. 5) 像GPT4o和GPT4o-mini这样的LLM需要多少数据才能保持高准确率？  
6. 6) 让LLM提供置信度评分和解释是否增加了量化用户隐含情感的价值？  

### 1.2 研究贡献  
本研究开发了一个零样本通用管道，用于将定性用户体验数据转换为定量情感，使用大型语言模型（LLMs），无需显式评分。这项新颖的框架将PDT工具作为调查方法与LLM情感分析相结合，为需要产品高层次印象的产品评估提供了可能。PDT调查方法构建和分发快速简便，并能从参与者那里引出关于产品的坦诚、无偏见的反馈。PDT与LLM情感分析的结合使用还最大程度地减少了调查者和选择偏差，同时提供了一种既受控且结构化的方法，又具有开放性和灵活性。为了验证该框架的适用性，研究提供了与传统分类情感分类的比较，证明LLM与专家标签具有高度一致性，并包含模型置信度和原因解释，以增强透明度和可解释性（xAI）。最后，研究通过成本-性能权衡分析，解决了框架中包含的模型成本问题。结果显示，LLM与专家标注的数值和分类情感高度吻合（Pearson相关性高达0.97，分类准确率高达94%），并远优于未能产生统计显著结果的传统工具。GPT4o-mini以94%更低的成本实现了与其他LLM相当的性能。LLM在处理多种形式呈现的数据时保持稳健性，并始终以人类可读的理由表达高置信度。这些特性支持可解释性和信任，使其能够用于许多产品满意度场景。总体而言，这项工作推进了一个可扩展且可解释的框架，用于捕获隐含的量化产品吸引力评分。  

## 2 相关工作  
理解用户与产品可用性相关的隐含情感对于许多原因都很重要，包括改进和营销产品，但难以衡量（Zhang2018; hastings2024）。通常，用户评论或社交媒体上的表达被用作情感分析的基础。诸如“享受”、“乐趣”或购买或使用产品的吸引力等概念，传统可用性研究无法有效捕捉（Benedek）。将吸引力与可用性一起衡量提供了定性影响的层次，因此能更好地描绘用户体验（Carrabina）。“可用”指产品的易用性和效率，而“吸引人”指产品的情感和心理吸引力，通常与其美学、品牌和感知价值相关。根据ISO 9241-11（iso924111），可用性是“用户使用产品以达到目标的有效性、效率和满意度的程度”。衡量可用性很复杂，因为它与被评估的系统或对象本身相关（Carrabina）。在产品开发中，理解用户对产品吸引力的隐含情感对于创造真正吸引目标受众的产品至关重要，尤其是在以用户为中心的设计（UCD）中（Marina）。  

### 2.1 产品吸引力工具包（PDT）  
为了解决情感数据或用户评论数据缺乏的情况，可以使用调查和微软产品吸引力工具包（PDT）（Benedek; benedek2002a）来评估用户体验。PDT是一种定性的分析工具，用于评估用户对产品（如软件）的体验和满意度（Barnum2010; Barnum; Booth2013EndUserEO; Hastings; Li2014; Tullis; Veral; Weitl）。它旨在“理解用户与产品体验中产生的难以捉摸、无形的吸引力方面”（Barnum）。PDT要求用户从给定集合中选择五个最能描述他们对该体验感受的形容词，并为每个词选择提供可选解释。通过收集这组词/解释对（称为PDT受访者词组分组PRTG），该方法旨在捕获关于用户体验和感知的丰富定性数据。使用PDT的优势在于“1）它旨在避免典型问卷中存在的正面偏差（例如，如果受访者认为调查旨在评估产品质量，他们往往会对质量提供更积极的回答）；2）它能够更有效地在引导访谈中揭示建设性的负面批评”（Hastings）。PDT被描述为最接近使用“心理测量理论来创建产品服务吸引力的用户体验（UX）相关衡量标准”的工具（Sauro）。PDT的设计促使用户讲述其体验的揭示性故事，因为他们评论其词选择（Barnum2010），从而提供了与隐含产品吸引力相关的丰富定性数据。虽然PDT是捕获定性产品满意度的好工具，但它本身是一个较差的定量工具（Sauro）。PDT提供了一种从其他反馈机制中三角验证发现的方法，有可能产生更有意义和实质性的用户体验结果（Barnum2010），但有必要思考对原始方法的改进（Veral）。来自受访者词/评论分组的PDT文本非常适合进行情感分析。  

### 2.2 情感分析  
情感分析已成为一个致力于自动提取用户所表达情感反应的领域（Zhang2018; Liu11411769; LIU2026104746; Jia10.1145/3799234）。它涵盖了多种应用，如指导政策制定、优化产品开发（Bharadwaj）、维护品牌形象和管理危机沟通（kaur; Tsai; Sharma）。例如，企业从情感分析中获得价值用于多种目的，包括了解用户感知、市场研究、财务分析（Xiao2024; Deng; Abdelsamie）和客户满意度（Tsai; Venkata; Chinnalagu; Qiao）。在通信领域，少样本学习的情感分析被用于检测仇恨言论，首先使用公开的情感数据集训练情感分析模型，然后通过将情感提示与仇恨言论提示合并来微调模型（Wang10.1145）。情感分析被用于评估孟加拉国互联网中断期间对个人通信、信息访问和日常活动的影响（Tahmidul）。情感分析甚至被用于研究LLM在扩展对话中评估其情感表达范围（包括唤醒度和效价）的能力（Fazzi）。情感分析采用机器学习算法、统计方法和自然语言处理来识别文本中表达的意见、情感和态度的模式和趋势，随后将其分类为类别或情感分数（Tsai; Medhat; Klongdee）。量化用户隐含情感具有挑战性，但对于理解用户体验很重要（Liu10）。传统的情感分析技术往往仅将文本分类为正面、负面或中性，这忽视了情感中的细微差别。