基于微调的多智能体框架在生活叙事中检测OCEAN人格特质
摘要
本文提出了一种基于微调的多智能体框架,用于从生活叙事中检测OCEAN人格特质。该框架使用经过条件化的大语言模型子智能体,分别采用高、低或中立视角,并通过一个法官大语言模型汇总输出,以减轻偏见并提高可解释性。
arXiv:2607.12215v1 Announce Type: new
摘要:准确从文本中评估人格具有挑战性,因为人格特质是潜在的、依赖上下文的,并且通常在不同叙事中微妙地表达。大语言模型通过处理广泛的文本上下文提供了新的机会,但这些模型的预训练可能会引入潜在的“类人格”偏见,导致单模型推断不一致。我们提出了一种基于微调的多智能体框架,用于检测OCEAN人格特质。在该框架中,子智能体通过掩码语言建模和心理测量监督被条件化为对每个特质采取高、低或中立视角。一个法官大语言模型汇总并比较子智能体的输出,以生成最终特质预测,捕捉多个互补视角并减轻单个模型偏见。我们在生活叙事数据集上通过定量和定性实验评估该框架,包括基线、消融和推断质量分析。我们的方法提供了一种可扩展且可解释的基于文本的人格推断方法,突显了基于心理测量监督的多智能体推理的优势。
查看缓存全文
缓存时间: 2026/07/15 04:22
# 面向生活叙事中OCEAN人格检测的微调多智能体框架
来源:https://arxiv.org/html/2607.12215
Rasiq Hussain¹ Darshil Italiya¹ Joshua Oltmanns² Mehak Gupta¹
¹南方卫理公会大学 ²华盛顿大学圣路易斯分校
{rasiqh, ditaliya, mehakg}@smu.edu [email protected]
###### 摘要
从文本中准确评估人格具有挑战性,因为特质是潜在的、依赖上下文的,并且常常通过长篇叙事以微妙的方式表达。大语言模型(LLMs)通过处理大量文本上下文提供了新的机遇,但这些模型的预训练可能引入潜在的“类人格”偏差,导致单模型推理不一致。我们提出了一种用于检测OCEAN人格特质的微调多智能体框架,其中子智能体通过掩码语言建模(MLM)和心理测量监督被条件化为对每种特质采取高、中或低的视角。一个裁判LLM聚合并比较子智能体的输出,以生成最终的特质预测,从而捕获多种互补视角,同时减轻个体模型偏差。我们在生活叙事数据集上通过定量和定性实验(包括基线、消融和推理质量分析)对该框架进行了评估。我们的方法为基于文本的人格推理提供了一种可扩展且可解释的方案,凸显了基于心理测量监督的多智能体推理的优势。
面向生活叙事中OCEAN检测的微调多智能体框架
Rasiq Hussain¹ Darshil Italiya¹ Joshua Oltmanns² Mehak Gupta¹
¹南方卫理公会大学 ²华盛顿大学圣路易斯分校
{rasiqh, ditaliya, mehakg}@smu.edu [email protected]
## 1 引言
人格塑造行为、决策和人际互动,因此其准确评估在从心理学到个性化服务等多个领域至关重要(Youyou等,2017(https://arxiv.org/html/2607.12215#bib.bib1);Štajner和Yenikent,2020(https://arxiv.org/html/2607.12215#bib.bib2);Alshouha等,2024(https://arxiv.org/html/2607.12215#bib.bib3))。从文本中提取人格本质上具有挑战性,因为它是潜在的、依赖上下文的,并通过微妙的语言线索表达,这使得简单的关键词或模式识别方法不可靠(Fang等,2022(https://arxiv.org/html/2607.12215#bib.bib4);Zhu等,2024(https://arxiv.org/html/2607.12215#bib.bib5))。长篇叙事,例如生活访谈,由于证据分散、互动语境和特质表达的隐晦性,进一步增加了推理的复杂性。
大语言模型(LLMs)的最新进展为人格检测提供了新的机遇。LLMs能够处理并推理大量文本上下文,无需任务特定训练即可捕获复杂的语义模式(Hu等,2024(https://arxiv.org/html/2607.12215#bib.bib55);Rao等,2023(https://arxiv.org/html/2607.12215#bib.bib22))。然而,LLMs本身可能因预训练而表现出潜在的“类人格”倾向,这可能会使预测产生偏差,并导致评估不一致(Gallegos等,2024(https://arxiv.org/html/2607.12215#bib.bib23);Jiang等,2023(https://arxiv.org/html/2607.12215#bib.bib25))。因此,依赖单一模型容易导致不完整或片面的推理。
为解决这些挑战,我们提出了一种结构化的多智能体框架,其中LLM子智能体被条件化为对每个OCEAN特质采取高、中或低的视角。每个子智能体生成带有结构化支持证据的层面级推理,而裁判LLM则聚合并比较这些输出,以生成最终的特质级预测。该方法捕获了互补的视角,减轻了偏差,并确保了层面和特质级的可解释性。
我们进一步将框架建立在经心理测量验证的工具(如IPIP-NEO Goldberg, 1999(https://arxiv.org/html/2607.12215#bib.bib42))之上,这些工具为五因素(OCEAN)特质提供了层面级的行为定义。这些层面作为细粒度的监督目标,使子智能体能够在层面级评估叙事证据,以支持特质级分类,从而提高层面和特质级的可解释性。
我们的设计基于两个关键考量。首先,将LLM条件化为特质导向的角色,利用其推理能力,同时减少预训练引入的特异性。其次,人格具有关系性和多面性;聚合多个受控视角比单独的单智能体推理能产生更准确的预测。通过将子智能体专业化与比较判断相结合,该框架捕获了多样化的特质级信号,并使输出与心理测量定义对齐,从而增强了可靠性和可解释性。
本研究的主要贡献如下:
1. 我们引入了一种用于人格评估的多智能体框架,通过MLM微调、角色提示和包含IPIP-NEO层面键的提示,诱导LLM子智能体产生高、中、低的特质取向。
2. 我们设计了一种裁判介导的聚合机制,该机制能够协调子智能体之间相互冲突的特质信号,从而实现更准确的人格分类。
3. 我们通过定量基线、消融研究、语义对齐分析以及定性用例案例研究进行了全面评估,以深入了解多智能体框架中的智能体如何推断人格。
## 2 相关工作
### 2.1 从文本进行人格评估
计算人格检测从早期基于特征工程的模型发展到预训练编码器(如BERT和RoBERTa),通常应用于文章、社交媒体帖子和短篇叙事(Mairesse等,2007(https://arxiv.org/html/2607.12215#bib.bib44);Devlin等,2019(https://arxiv.org/html/2607.12215#bib.bib37);Liu等,2019(https://arxiv.org/html/2607.12215#bib.bib38);Cellie等,2013(https://arxiv.org/html/2607.12215#bib.bib36))。这些方法利用词汇、句法和语义线索预测OCEAN特质,但通常局限于短文本、粗粒度的标签方案,且可解释性有限(Yang等,2021(https://arxiv.org/html/2607.12215#bib.bib39))。
近期工作探索了使用大语言模型(LLMs)通过基于提示的方法对更长、更复杂的文本进行人格评估,展示了捕获更丰富语义模式的能力提升(Piastra和Catellani,2025(https://arxiv.org/html/2607.12215#bib.bib24);Rao等,2023(https://arxiv.org/html/2607.12215#bib.bib22);Hussain等,2026(https://arxiv.org/html/2607.12215#bib.bib60))。然而,LLMs容易产生幻觉,并对提示措辞表现出敏感性(Gupta等,2024(https://arxiv.org/html/2607.12215#bib.bib54);Jiang等,2024(https://arxiv.org/html/2607.12215#bib.bib49);Hu等,2024(https://arxiv.org/html/2607.12215#bib.bib55))。这些局限性促使使用结构化的心理测量监督(如IPIP-NEO条目)为人格推理提供可解释且理论基础的指导。
### 2.2 用于人格评估的多智能体LLMs
大语言模型还可能表现出从预训练继承的潜在行为偏差,这些偏差可能影响特质预测,并在依赖单一模型时导致不一致的人格推断(Serapio-García等,2025(https://arxiv.org/html/2607.12215#bib.bib48);Gallegos等,2024(https://arxiv.org/html/2607.12215#bib.bib23);Salecha等,2024(https://arxiv.org/html/2607.12215#bib.bib15))。结构化提示可以部分缓解这些影响(Furniturewala等,2024(https://arxiv.org/html/2607.12215#bib.bib14)),但单智能体方法往往难以捕获分散的信号和单视角推理(Du等,2024(https://arxiv.org/html/2607.12215#bib.bib13);Liang等,2023(https://arxiv.org/html/2607.12215#bib.bib26))。
多智能体框架通过增强推理鲁棒性来解决这些局限性:多个LLM智能体生成互补的视角,然后由裁判模型进行聚合(Liang等,2023(https://arxiv.org/html/2607.12215#bib.bib26);Naik等,2023(https://arxiv.org/html/2607.12215#bib.bib12);Zheng等,2024(https://arxiv.org/html/2607.12215#bib.bib27))。例如,PADO(Yeo等,2025(https://arxiv.org/html/2607.12215#bib.bib28))使用通过角色提示诱导的人格导向智能体来减少偏差并提高特质推断的一致性。
基于这种方法,我们实现了一个多智能体框架,其中子智能体通过微调、角色提示和IPIP-NEO层面键专业化于HIGH、NEUTRAL和LOW特质取向。每个子智能体从其取向独立识别特质信号,聚合其输出使系统能够捕获单个智能体可能遗漏的微妙、分散的线索。
请参考图1:多智能体OCEAN人格预测框架
## 3 方法
### 3.1 问题建模
我们的目标是从生活叙事中预测大五人格特质——开放性、尽责性、外向性、宜人性、神经质。每个叙事都带有一个连续的特质分数,我们将其离散化为三个等级:高、中、低。给定一个叙事 $x$,任务是预测每个特质 $t \in \{O, C, E, A, N\}$ 的等级。
为了建模特质级的变化,我们采用了一个多智能体框架,其中每个特质与三个子智能体相关联,每个对应一个特质等级:高、中、低。这导致了五个OCEAN特质总共15个子智能体。每个子智能体经过微调,以捕获指示其对应特质等级的独特语言和情感线索,并执行二元分类以确定叙事是否表现出其训练所用的特定特质等级。然后,一个裁判智能体聚合针对给定特质的所有三个子智能体的二元预测和支持证据,以在高、中、低之间生成最终的多类决策。
形式上,设 $y_t \in \{\text{High}, \text{Neutral}, \text{Low}\}$ 表示特质 $t$ 的离散标签。设 $A_t^{(i)}$ 表示特质 $t$ 的第 $i$ 个子智能体,其中 $i \in \{\text{High}, \text{Neutral}, \text{Low}\}$。每个子智能体产生一个二元输出 $b_t^{(i)} \in \{0, 1\}$,指示叙事是否匹配相应的特质等级模式,以及提取的文本证据 $e_t^{(i)}$ 和置信度分数 $c_t^{(i)}$。裁判智能体 $J_t$ 整合这些信号以预测最终标签:
$$ \hat{y}_t = J_t(\{b_t^{(i)}, e_t^{(i)}, c_t^{(i)}\}_{i=1}^3, x). $$
这种层次化设计允许子智能体专注于狭窄的行为线索,而裁判智能体则综合证据以进行鲁棒的特质推断。框架概览如图1所示。
### 3.2 用于子智能体的MLM微调
为了诱导人格敏感的表示,我们使用自监督掩码语言建模(MLM)目标对生活叙事微调所有子智能体。模型并非直接依赖人格标签,而是学习在上下文中预测掩码标记,从而内化与不同特质等级相关的情感和语言模式。
对于每个特质 $t$ 和特质等级智能体 $A_t^{(i)}$,我们在对应特质等级的叙事上微调一个预训练的LLM。为了同时捕获情感和结构性的语言线索,每个输入序列中30%的标记被掩码:其中15%是情感词,15%是非情感词。情感词使用SenticNet(Cambria等,2018(https://arxiv.org/html/2607.12215#bib.bib6))情感词典识别,这是一个大规模资源,将词语映射到六个情感维度:愤怒、恐惧、快乐、悲伤、厌恶和惊讶。该词典经过筛选,仅保留真正的情感词,要求至少有一个主要情感得分 $\geq 1.0$,并排除常见的非情感词,最终得到2,914个情感词。被掩码的标记替换为 `[MASK]`,从而创建用于MLM目标的训练实例。
##### LoRA微调:
每个子智能体均使用低秩适配(LoRA)进行微调,应用于 `q_proj`、`k_proj`、`v_proj` 和 `o_proj` 层(Liu等,2024(https://arxiv.org/html/2607.12215#bib.bib10))。LoRA并非更新整个权重矩阵,而是学习一个低秩权重更新,参数化为两个可训练矩阵 $A \in \mathbb{R}^{r \times d}$ 和 $B \in \mathbb{R}^{d \times r}$,其中 $r$ 是LoRA秩,$d$ 是隐藏维度。由此产生的任务向量及任务特定权重更新计算为 $\tau = \frac{\alpha}{r} BA$,其中 $\alpha$ 是缩放因子。更新后的模型参数计算如下:
$$ \boldsymbol{\theta}_{\text{merged}} = \boldsymbol{\theta}_{\text{base}} + \lambda \boldsymbol{\tau}, \qquad (1) $$
其中 $\lambda$ 控制任务特定适配的强度。实验发现,$\lambda = 0.3$ 在预训练知识和特质适配之间取得了平衡。
### 3.3 子智能体IPIP-NEO基础提示
五因素模型将每个特质分解为六个低阶层面,如NEO-PI-R所述(Costa和McCrae,2008(https://arxiv.org/html/2607.12215#bib.bib19))。层面捕获了每个域内细粒度的不同行为表达(DeYoung等,2007(https://arxiv.org/html/2607.12215#bib.bib18);Soto和John,2017(https://arxiv.org/html/2607.12215#bib.bib8))。为了利用层面级信息为域级特质推断提供更精确的信号,我们纳入了IPIP-NEO层面级键。这些键为每个层面提供了正相关和负相关的IPIP条目(Goldberg, 1999(https://arxiv.org/html/2607.12215#bib.bib42))。
每个子智能体 $A_t^{(i)}$ 基于对应于特质 $t$ 的层面集 $\mathcal{F}_t$。HIGH级智能体接收正向关键的层面锚定 $\mathcal{F}_t^H$,LOW级智能体接收负向关键的层面锚定 $\mathcal{F}_t^L$。对于NEUTRAL智能体,我们混合正负关键内容的语义,创建适中的线索 $\mathcal{F}_t^N$,保留核心行为但去除极端修饰词或降低强度。所有智能体使用的完整键列表请参见附录A(https://arxiv.org/html/2607.12215#A1),表7(https://arxiv.org/html/2607.12215#A1.T7)。该设计提供了基于心理测量的监督,并鼓励子智能体专注于有意义的行为信号,而非通用语言线索。
每个子智能体还接收一个简短的角色前言(例如,“你是基于大五模型的高神经质人格评估专家”),以进一步引导特质取向。每个子智能体输出一个结构化的预测,包括二元决策 $b_t^{(i)}$、支持证据 $e_t^{(i)}$ 和置信度分数 $c_t^{(i)}$。
### 3.4 裁判智能体评估
对于每个特质 $t$,裁判智能体 $J_t$ 接收 (i) 转录文本 $x$,(ii) 来自三个特质等级子智能体的结构化输出 $\{b_t^{(i)}, e_t^{(i)}, c_t^{(i)}\}_{i=1}^3$,以及 (iii) 特质相关的提示(包括层面相似文章
人格制图:在权重空间中绘制语言模型人格特征
本文提出了一种使用OCEAN框架分析和控制语言模型人格的方法,训练低秩适配器来操控特质,并展示了加性组合及安全性影响。
AI人格会成长吗?分析与基准测试LLM智能体在生活事件后的人格演变
本文研究LLM智能体在经历重大生活事件后人格如何演变,使用大五人格特质,并引入名为BFI-Adapt的基准,以评估14个模型中事件诱发人格变化的方向保真度。
故事塑造智能体:大语言模型行为中的叙事先验
本文探讨了任务的叙事框架(如疾病调查 vs. 谋杀之谜)如何比分配的角色更能驱动大语言模型(LLM)智能体的行为,提出了 '叙事先验' 的概念,这些先验解释了5至31倍的行为方差,且在三个领域中,有两领域与任务成功呈负相关。
用多智能体视角偏好优化学习性别歧视检测
该论文提出了MAP-PO,一个多智能体框架,通过标注行为对标注者进行聚类,并使用偏好优化为每个聚类微调独立的LLM智能体,从而在性别歧视检测任务中保留分歧。在EXIST 2024数据集上的实验表明,聚类特定训练是必要的,且共享的团队级奖励能使智能体保持校准。
多智能体LLM团队中个性组合何时重要?
本文系统研究了在多智能体LLM团队中操纵个性特质如何影响编码、研究协作和谈判任务的性能,发现影响关键取决于任务结构。