大型语言模型与人类在评估创造力时为何趋同与分歧

# 大语言模型与人类在评估创造力时为何趋同与分化
来源：https://arxiv.org/abs/2607.22218
查看 PDF (https://arxiv.org/pdf/2607.22218)

> **摘要：** 尽管大型语言模型 \(LLMs\) 作为创造力评估者的应用日益广泛，但其与人类评估一致性方面的证据仍然好坏参半，这引出了一个问题：它们的判断何时以及为何会与人类判断趋同或分化？通过三项研究及六种广泛使用的大语言模型，我们通过识别 LLM 创造力评估所依据的标准，并考察其下游影响，填补了这一空白。研究一表明，LLMs 通常依赖人类创造力评估标准中一个较窄的子集。与人类标准的一致性在新颖性维度最强，而在情境维度（涵盖社会、市场和声誉信息）上的差异最为明显。此外，每个 LLM 都表现出独特的、模型特定的标准，这些标准在广度上差异显著。这些评估标准的差异反映在实际的创造力判断中。研究二（N = 1,103 个创意）表明，LLM 的评估与人类评估呈中等相关，且标准更宽的个别 LLM 能更好地区分出人类判断为更具创造性或更不具创造性的创意。研究三（N = 1,195）表明，LLMs 对情境信息不太敏感：此类信息显著改变了人类的创造力评分，但对 LLM 的评分影响甚微。总之，我们的发现有助于解释关于 LLM 与人类一致性的混杂证据，表明一致性取决于判断所要求的证据以及每个模型应用的标准。当评估强调新颖性等内在特质时，LLMs 可能与人类相似；但当判断需要情境信息时，则会产生分歧。因此，选择 LLM 评估者是一项重要的决策：不同的模型，应用不同的标准，会识别出不同的创意为具有创造性的。

## 提交历史

来自：吕鹏昭 \[查看邮件 (https://arxiv.org/show-email/90cee87b/2607.22218)\] **\[v1\]** 2026年7月24日星期五 11:37:19 UTC（7,287 KB）