LLM能否像消费者一样思考？基于ConsumerSimBench的众包反应重建基准测试

# LLM 能像消费者一样思考吗？使用 ConsumerSimBench 对人群级反应重建进行基准测试

来源：https://arxiv.org/html/2605.17079

王天宇  
上海交通大学  
wty500@sjtu\.edu\.cn

& 李佳俊  
Noumena AI  
taringlee@gmail\.com

& 林江浩  
上海交通大学  
linjianghao@sjtu\.edu\.cn

###### 摘要

LLM 正越来越多地被用作"数字消费者"来模拟公众舆论、对营销决策进行预测试以及预测受众反应。然而，现有评估很少检验模型是否能重建真实消费者在公共话语中提出的具体反应模式。我们提出了 **ConsumerSimBench**，这是一个基于 1,553 个真实中文社交媒体话题和 23,122 个原子化、规则审计的准则（涵盖四类反应）构建的基准测试。ConsumerSimBench 不是用整体的偏好判断来给开放式生成的结果打分，而是将每个任务分解为对具体反应点的可审计的是/否判断，从而将三位评审者的一致性从 65.8% 提升到 92.1%，并且点状评审者判断与人类多数标签的一致性达到 98.4%。在对 13 个前沿生成器的测试中，最强的模型 Gemini-3.1-Pro 仅覆盖了 47.8% 的真实反应准则，而 GPT-5.2 和 Claude-4.6 尽管在技术基准测试中表现强劲，却远远落后。这些失败揭示了技术基准测试表现与社会层面的消费者直觉之间存在巨大鸿沟。直接的结构化推理提示会降低覆盖率，而生成-反思的多智能体流程则在一个子集上将 MiMo-V2.5-Pro 从 32.9% 提升到 37.6%。**ConsumerSimBench** 将消费者模拟重新定义为对真实公共话语反应进行预测的问题，表明前沿 LLM 在预测消费者在高语境中文消费者话语中真正关心什么方面仍然远远不可靠。

请参阅图注

**图 1：ConsumerSimBench 概览。** *左图：* 1,553 个热门话题涵盖四个超类别和二十个面向消费者的子领域。*右图：* 一个任务实例。给定一个真实的热门话题，生成器必须生成一组自由形式的消费者评论，这些评论共同覆盖一组经审计的、跨越四个反应族（爆发点、情感、赞扬、批评）的原子化准则。

## 1 引言

"如果一个 LLM 能真正像消费者一样思考，它应该能预测真实用户会如何评价一个品牌。" LLM 充当*数字消费者*的愿景正迅速从演示走向部署。团队越来越多地使用 LLM 智能体来模拟社会舆论[85, 55, 94]、预测试营销信息[72, 18]以及设计社交策略[51, 58]。动机很简单：传统的消费者研究缓慢且昂贵，而诸如点击率（CTR）这样的大规模标量信号是事后的、特定于平台的，并且通常无法解释*为什么*消费者会如此反应。然而，下游决策者仍然缺乏对 LLM 模拟与人类在高语境、战略性和社会密集型环境中的实际行为*有多接近*的系统性理解[76]。例如，在 RedNote 或 YouTube 等以生活方式为导向的用户生成内容（UGC）平台上，创作者通常依赖于反向信号、故作谦虚和引发焦虑等策略性动作来塑造受众对帖子的解读。在这种情况下，浅层理解（例如，*文本表达悲伤*）是不够的；关键的是*策略性社交智能*（例如，*视频博主为他的广告营造悲伤氛围*），这需要理解叙事立场及其旨在如何塑造受众的推断。这能够从根本上重塑营销行业，因为在发布前可靠地预测消费者反应可以在下一次病毒式危机爆发前化解它，而不是事后道歉，并在追逐突破性角度之前识别它们——即使对营销专家来说，这仍然是一项极其困难的任务。

现有的基准测试因三个原因而不够充分。

首先，真实的 UGC 不遵循标准心智理论（ToM）风格测试的逻辑。ToM 示例通常围绕严格的推理轨迹构建（例如，*我偷了帽子。他没看见。所以，他不知道帽子丢了。*）[15]，其中关键事实是显式的，答案空间是封闭的。相比之下，真实 UGC 的含义可能是多层次的、隐晦的，并且涉及讽刺或自夸（例如，*好烦恼要选哪栋房子来装修！*）。

其次，许多基准测试强调对选择、分布、标量数字或固定用户轨迹的预测（例如，CTR、SSR[14, 47]、舆论分布[50]、社交媒体参与标签和条件评论预测[8, 62]、流行度预测[81]等），这些无法评估模型在开放的"人文学科"方面的能力[30]。实践者关心的是*真实的人会说什么以及为什么*；大多数基准测试只衡量*模型预测什么标签*。

第三，许多评估依赖 LLM 直接为开放式输出分配一个整体的最终分数，这可能是主观的、不稳定的，并且容易受到系统性偏见的影响[71, 42, 27, 11]。这使得难以解释数字分数的含义，以及它是否在不同模型、提示和领域之间可靠。与此同时，尽管 LLM 在量化排行榜上表现顶尖[78, 34, 49]，社交媒体用户仍然抱怨这些模型在语言的"人文学科"方面——理解他人、捕捉社交细微差别、展现人情味——表现薄弱。这种感知差距的一部分是基准测试的人工制品，因为很少有基准测试审计模型的"人文学科"技能。

为了弥合这些差距，我们引入了 **ConsumerSimBench**，这是一个旨在评估 LLM 能否模拟真实世界中*真实消费者行为*的基准测试。我们使用 RedNote 作为一个主要的面向消费者的 UGC 平台，在那里可以大规模观察到对产品、品牌、娱乐内容发布、生活方式趋势和公共事件的真实反应。其密集、高语境的消费者话语使其成为测试模型能否预测消费者将关注什么、赞扬什么、攻击什么以及在情感上放大什么的代表性且实际重要的场景。具体来说，给定一个热门话题及其事件描述，模型需要生成逼真的评论。我们审计四个反应族的覆盖率：(i) *情感爆发点*，具体的社会触发因素；(ii) *情感关键词*，真实人群的整体情绪；(iii) *正面方面*，用户赞扬的内容；(iv) *负面方面*，用户攻击的内容。每个准则都是原子化的、经过定义的、有示例锚定并且经过规则审计的。我们发现，即使是最强的模型（Gemini-3.1-Pro: 47.8%）在这项人文学科任务上也表现不佳，而在技术基准测试上看似相当的一流模型在 ConsumerSimBench 上则表现出显著差异（GPT-5.2: 35.8%, Claude-Opus-4.6: 32.8%）。这为当前 LLM 训练和评估中常常未被充分重视的"人文学科"能力提供了可衡量的反馈。我们的主要贡献是：

-   为了研究 LLM 是否能*真正像消费者一样思考*，我们提出了 **ConsumerSimBench**，一个 UGC 行为模拟基准测试，将这个问题操作化为**人群级反应重建**：给定一个真实的热门话题和事件描述，模型能否重建真实消费者在公共话语中提出的反应模式？
-   为了使开放的类消费者能力可衡量，**ConsumerSimBench** 包含 1,553 个真实话题实例和 23,122 个原子化评分准则，这些准则在宏观层面共同评估情绪关键词和情感爆发，在微观层面评估个体消费者反馈的内容忠实表达。
-   对于自动评估，我们构建了详细的准则，将开放式评分从整体的"判断答案"决策转变为**可审计的是/否问题**。这实现了 92.1% 的三位评审者一致性，达到 98.4% 与人类多数标签的一致性，并且优于整体性的 LLM-as-Judge 评分（65.8%）以及传统的相似度指标（如 Jaccard 和 N-gram 重叠度）。
-   我们测试了结构化提示以及生成-反思的多智能体流程。直接使用 ConsumerSCF 提示会降低效果，而在一个 100 个话题的子集上，迭代式多智能体优化将 MiMo-V2.5-Pro 提升了 +4.7 点，将 GPT-5.2 提升了 +1.8 点。

## 2 相关工作

**表 1：按*推断单元*的定位。** 消费者模拟需要对真实的公共话语进行开放式的人群级重建，并带有可审计的目标。在此总结的基准测试系列中，**ConsumerSimBench** 是唯一一个同时满足所有五个标准的。

#### 人格模拟。

最近的研究探索了在舆论、市场和心理学研究中使用 LLM 作为人类行为代理[2, 41, 57, 46, 73]。生成式智能体[54] 展示了具备记忆、规划和反思能力的 LLM 驱动智能体可以在模拟城镇中表现出涌现的社会行为。后续工作将这一范式扩展到社会科学实验[29, 4, 90, 83, 67]、用户行为模拟[72, 18, 85, 55, 94, 87, 96]、认知推理和人类反应建模[95, 32, 6]、客户模拟[80, 79]、营销模拟[10, 1, 86, 40, 89, 69]、舆论动态与多元性[19, 56]、多轮用户模拟[20, 63]、战争模拟[31]、综合系统与智能体舆论分析[25, 70, 92, 16, 75, 43]以及其他[24, 13]。批判性研究也警告说，合成受访者作为人类调查数据的替代品可能会系统性失败[7]。在这些工作中，LLM 智能体与真实人类社交行为之间的相似性主要通过经典心理学、调查或社会科学实验进行评估，这存在数据污染的风险，或者可以通过通用常识而非真正的开放式反应重建来解决。

#### 评估 LLM 的心智。

目前的基准测试主要依赖于多项选择[61, 39, 91, 12, 48, 3, 88, 59, 36]、分类[28]、LLM-as-a-Judge[64, 71, 77, 60, 38, 53, 52] 以及相似度指标（如 Rouge-L[74] 和 BERTScore[22]）。除了情绪和认知基准测试[17, 44, 23, 21, 33]之外，一系列并行的工作使用心智理论（ToM）任务[15]来追踪一个智能体相信另一个智能体会相信什么，通常是在风格化的、闭合的、通常是多项选择的场景中[66, 37, 84, 68, 82, 65, 45, 93]。虽然这些基准测试阐明了认知能力，但它们测试的是推理能力，而非对人类社交行为的实际模仿，并且它们的评分在很大程度上是主观的。我们的工作通过在答案不唯一的情况下使用可审计的准则，推进了对"人文学科"方面能力的基准测试。

#### 定位。

如表1所示，**ConsumerSimBench** 针对的是与 ToM 不同的能力。ToM 询问模型是否能*推理*关于某个思想；ConsumerSimBench 询问模型是否能*重建*人群对于一个真实品牌事件会如何思考、感受和表达。