社交互动代理中的信任校准：基于大语言模型的性别化多模态行为生成研究

# 面向社交交互代理的信任校准：探究基于大语言模型的多模态行为生成中的性别差异

来源：https://arxiv.org/html/2605.19798
\(2026\)

###### 摘要

随着社交交互代理（SIA）日益融入日常生活，将用户信任校准至代理实际能力的能力将有助于确保这些代理的合理使用。本文探索了大语言模型（LLM）生成多模态行为（语言、声音、手势和面部表情模态）的能力，这些行为反映了可信度的两个关键维度：能力和善意。我们提出了一种新颖的方法，用于自动生成与这些特质特定水平相一致的行为，这是迈向实现细致且信任校准交互的第一步。通过分析由LLMs生成的大规模多模态对话数据集，我们证明了GPT-5.4能够在不同模态（文本、语调、面部表情和手势）之间产生连贯的行为。利用随机森林特征重要性分析，我们展示生成的行为与能力和善意的理论预期相一致。然而，我们也发现，当提示中指定性别时，LLMs倾向于复现社会性别刻板印象，将男性代理的行为与高能力相关联，而将女性代理的行为与高善意相关联。为了验证我们的方法，我们在Prolific上使用被试内设计进行了一项用户研究。参与者感知到生成的行为中不同水平的能力和善意，这与预期的指令相一致。

多模态行为生成，信任，虚拟代理

††版权：acm授权††期刊年份：2026††DOI：XXXXXXX.XXXXXXX††ISBN：978-1-4503-XXXX-X/2018/06††CCS：以人为中心的计算 人机交互（HCI）††CCS：以人为中心的计算 HCI中的实证研究††CCS：计算方法 人工智能参照图注图1. 研究大语言模型生成多模态行为的方法论

## 1. 引言

社交交互代理（SIA）日益在信任至关重要的高风险互动中扮演中介角色。从客户服务（Oshrat等，2022 (https://arxiv.org/html/2605.19798#bib.bib53)）、教育（Grivokostopoulou等，2020 (https://arxiv.org/html/2605.19798#bib.bib51)；Liu等，2024b (https://arxiv.org/html/2605.19798#bib.bib50)）到心理健康支持（Galland等，2025 (https://arxiv.org/html/2605.19798#bib.bib55)；Easton等，2019 (https://arxiv.org/html/2605.19798#bib.bib44)），信任塑造着我们有效协作和决策的方式。研究一致表明，信任是人类团队成功的强大预测因素，与团队绩效提升（Breuer等，2016 (https://arxiv.org/html/2605.19798#bib.bib74)；De Jong等，2016 (https://arxiv.org/html/2605.19798#bib.bib81)）和协作质量改善（Balliet和Van Lange，2013 (https://arxiv.org/html/2605.19798#bib.bib80)；Tan和Liew，2020 (https://arxiv.org/html/2605.19798#bib.bib52)）相关。当信任水平与团队成员的能力相匹配（Johnson等，2023 (https://arxiv.org/html/2605.19798#bib.bib69)）时尤其如此。事实上，当信任失准时（用户对他人的信任高于或低于其实际能力），就会出现过度依赖或依赖不足的倾向，导致团队效率下降（Lee和See，2004 (https://arxiv.org/html/2605.19798#bib.bib68)）。在人机交互的背景下，将信任校准至代理的能力因此可能成为改善协作的宝贵工具。对于具身化的SIA，非语言行为在塑造我们对可信度的感知方面起着重要作用（Metzger等，2024 (https://arxiv.org/html/2605.19798#bib.bib66)）。事实上，在面对面互动中，能够接触到伙伴非语言行为（例如，手势、面部表情和语气）的个体，在预测伙伴信任相关行为方面，比仅依赖基于文本聊天中语言信息的个体要准确得多（DeSteno等，2012 (https://arxiv.org/html/2605.19798#bib.bib82)）。因此，生成反映代理适当可信度的非语言行为，将成为校准对这些代理信任的强大工具（Metzger等，2024 (https://arxiv.org/html/2605.19798#bib.bib66)）。在本文中，我们专注于生成传达不同程度感知可信度的多模态行为，目标是实现人机交互中用户信任的校准。

心理学研究通过三个关键维度定义可信度（Mayer等，1995 (https://arxiv.org/html/2605.19798#bib.bib1)）：能力（一个人能在多大程度上对任务做出贡献）、善意（一个人有多想为受托人谋利）和诚信（一个人有多遵守一套规则）。虽然在计算机系统中诚信通常被假定，但能力和善意是动态的且依赖于上下文。例如，代理的感知能力可能随任务复杂性变化，而其善意可能根据与用户目标的一致性而变化。因此，在后续分析中，我们聚焦于能力和善意，因为生成准确反映这些维度的行为对于将用户信任校准至系统实际能力至关重要。然而，这也具有挑战性；先前的方法依赖于昂贵、专家标注的数据集或不可扩展的规则（Lee等，2013 (https://arxiv.org/html/2605.19798#bib.bib83)）。最近的工作开始探索使用大语言模型（LLMs）为社交交互代理生成多模态行为。例如，Han等，2025 (https://arxiv.org/html/2605.19798#bib.bib2) 使用LLMs生成与个性一致的行为。然而，据我们所知，尚无研究探索LLMs通过语言和非语言行为传达能力和善意的能力。在此背景下，本文研究了LLMs通过多模态行为线索表达校准后的能力和善意（可信度的关键维度）的能力，特别关注LLMs中固有的性别偏见的潜在复现。我们的目标不仅是为LLM生成的多模态行为的理论理解做出贡献，也是为了提供设计具有不同能力和善意水平的SIA代理的实用工具。为实现这些目标，我们提出以下研究问题：

- • **RQ1**：LLMs能否生成理论上合理的多模态行为线索，以反映**能力**（RQ1a）和**善意**（RQ1b）？
- • **RQ2**：当被提示以特定水平的**能力**（RQ2a）和**善意**（RQ2b）行动时，LLMs在多大程度上生成与性别刻板印象相关的多模态行为？
- • **RQ3**：LLMs能否用于生成被人类以不同水平感知到的**能力**（RQ3a）和**善意**（RQ3b）行为？

为了回答我们的研究问题，我们首先开发了一种方法，该方法受现有关于生成不同个性特征多模态对话的文献启发（Han等，2025 (https://arxiv.org/html/2605.19798#bib.bib2)），并将其应用于信任。我们利用LLM生成带有标签的对话文本，这些标签可用于产生具有不同能力和善意水平的多模态行为。通过增强的文本，生成的行为包括非语言行为（例如，面部表情、手势）和韵律（例如，语调、停顿）的信息。随后，我们分析了生成交互的大规模数据集中这些行为的分布。鉴于所研究特征（如面部表情、手势和语调）的高维度和分类性质，我们采用了基于机器学习的方法来分析生成的数据。具体而言，我们聚焦于随机森林分类器来识别最重要的特征及其交互作用。选择这种方法是因为它在分类多模态行为方面的有效性已得到证实（Axelsson和Skantze，2022 (https://arxiv.org/html/2605.19798#bib.bib43)；Gonzalez-Billandon等，2019 (https://arxiv.org/html/2605.19798#bib.bib42)），其对过拟合的鲁棒性（Gonzalez-Billandon等，2019 (https://arxiv.org/html/2605.19798#bib.bib42)），以及其可解释特征选择的能力（Axelsson和Skantze，2022 (https://arxiv.org/html/2605.19798#bib.bib43)）。虽然经典统计方法可能适用于低维数据，但对于处理包含多个特征且可能存在交互作用的数据集而言不够实用（Zhao等，2017 (https://arxiv.org/html/2605.19798#bib.bib40)）。我们假设LLMs将生成与文献一致的行为，将高能力与自信或分析性特质相关联，将高善意与热情或适应性特质相关联（H1）。关于RQ2，我们假设为男性代理生成的行为将更多与能力相关联，而为女性代理生成的行为将更多与善意相关联（H2）。最后，关于RQ3，我们假设LLMs能够生成被人类评估者感知为提示中指定能力和善意水平的多模态行为（H3）。本文的其余部分结构如下：第2节 (https://arxiv.org/html/2605.19798#S2) 介绍信任文献及相关联的多模态行为的背景，第3节 (https://arxiv.org/html/2605.19798#S3) 回顾相关工作；第4节 (https://arxiv.org/html/2605.19798#S4) 介绍我们基于LLM的生成方法、生成的数据集以及使用的分类器；第5节 (https://arxiv.org/html/2605.19798#S5) 和 第6节 (https://arxiv.org/html/2605.19798#S6) 详细说明我们的数据集分析和用户感知研究；第7节 (https://arxiv.org/html/2605.19798#S7) 讨论未来方向。

## 2. 理论基础

在本节中，我们基于Mayer的信任理论（Mayer等，1995 (https://arxiv.org/html/2605.19798#bib.bib1)）定义**能力**和**善意**，以及反映这些维度的理论上合理的多模态行为。

**能力**。在Mayer的模型中，能力代表“使一方在特定领域内具有影响力的技能、能力和特征的组合”（Mayer等，1995 (https://arxiv.org/html/2605.19798#bib.bib1)）。这一定义强调能力本质上依赖于上下文，指的是受托人在特定情况或领域中相关的具体技能、能力和特征，并且会随着时间推移根据表现而演变（Duan等，2024 (https://arxiv.org/html/2605.19798#bib.bib62)）。

研究已经确定了若干特定的非语言和言语相关行为，这些行为向观察者传递能力和可信度的信号。积极的能力信号行为包括点头、身体移动、眼神交流、微笑、身体前倾、快速语速和张开手臂（Anzabi和Umemuro，2023 (https://arxiv.org/html/2605.19798#bib.bib72)；Lutfi等，2023 (https://arxiv.org/html/2605.19798#bib.bib61)；Reece等，2023 (https://arxiv.org/html/2605.19798#bib.bib39)）。相反，某些非语言行为与较低的能力和信任感知相关，包括摸脸、双臂交叉、身体后仰、停顿和手部触碰（Lutfi等，2023 (https://arxiv.org/html/2605.19798#bib.bib61)；Lee等，2013 (https://arxiv.org/html/2605.19798#bib.bib83)；Zheng等，2025 (https://arxiv.org/html/2605.19798#bib.bib38)）。值得注意的是，研究表明，这些降低信任的行为在共同表达时（例如，跨多种模态或作为模式）比单独表达更具预测性，并且这些线索的联合表达增加直接与较少的信任行为相关（Lee等，2013 (https://arxiv.org/html/2605.19798#bib.bib83)）。这表明，观察者使用非语言行为模式而非孤立线索来评估他人的能力和可信度。

**善意**。善意是信任的基本组成部分，其核心是保持对他人积极的关系态度和保护意图。善意被描述为“受托人被认为在超越利己动机之外，想要为委托人做好事的程度”（Mayer等，1995 (https://arxiv.org/html/2605.19798#bib.bib1)）。

善意的行为表达通过特定的人际行为来体现，这些行为传递关心和支持的信号。善意可以通过关心、善意和帮助意愿自然表达（Opolski等，2019 (https://arxiv.org/html/2605.19798#bib.bib86)）。善意的行为库扩展到各种礼貌和支持性行为。关键表现包括：展示积极态度、保持对他人可用、显示分享信息或资源的意图、表现帮助意愿、表达友善以及展示对他者需求的接受性。这通过多种非语言行为表达，如微笑、开放姿态和意念手势（Calefato等，2015 (https://arxiv.org/html/2605.19798#bib.bib73)；Biancardi等，2017 (https://arxiv.org/html/2605.19798#bib.bib36)）。这些行为共同表明一个人具备表征善意可信度的关怀倾向。

**信任中的性别偏见**。研究表明，男性比女性更强烈地与能力关联，这造成了人们在评估Mayer信任模型中“能力”成分时的系统性偏见（Kubota等，2023 (https://arxiv.org/html/2605.19798#bib.bib12)；Craig和Bodenhausen，2018 (https://arxiv.org/html/2605.19798#bib.bib13)；Nunamaker等，2011 (https://arxiv.org/html/2605.19798#bib.bib46)）。这些能力偏见在发展早期出现并跨文化持续存在，年仅5-10岁的儿童就显示出对男性领导的明确偏好，并将男孩和男性与需要能力和权威的职位相关联（Santhanagopalan等，2022 (https://arxiv.org/html/2605.19798#bib.bib14)）。虽然代理性别对善意感知的影响尚未被广泛研究，但一些工作表明，女性代理往往比男性代理被视为更友好（Armando等，2022 (https://arxiv.org/html/2605.19798#bib.bib48)；Kim和Wei，2011 (https://arxiv.org/html/2605.19798#bib.bib47)）和更讨人喜欢（Nunamaker等，2011 (https://arxiv.org/html/2605.19798#bib.bib46)；Guadagno等，2007 (https://arxiv.org/html/2605.19798#bib.bib45)）。这可能导致女性代理比男性代理被视为更善意，因为善意通过温暖和安抚表达。

## 3. 相关工作

在本节中，我们介绍现有关于自动生成表达信任的多模态行为以及使用LLMs进行多模态行为生成的研究。

**具有不同程度感知可信度的行为的自动生成**。随着生成式AI变得越来越令人信服，将用户信任校准至模型能力的必要性成为一个问题，尤其是在健康或教育等敏感应用中。已经出现了几种用于在自动化系统中生成信任校准行为的计算框架。元学习方法采用策略梯度方法，在与增强感知可信度并影响信任发展动态的人机交互过程中，从四个固定可能行为的池中调整机器人动作（Gao等，2019