基于角色的生成式AI多元对齐评估框架

# 基于人格的生成式AI多元对齐评估框架
来源：https://arxiv.org/html/2605.31021

###### 摘要

当前的生成式人工智能对齐范式主要依赖单一化的基准评估框架，将人类判断的多元性简化为聚合后的统计基线，从而忽视了评估中的文化、人口统计和情境差异。我们提出了一种状态空间受限的AI评估仿真框架，用代表不同人类视角的结构化合成认知画像流形取代单一的评估函数。我们证明，现代生成式架构能够以高度一致性实例化并维持这些评估人格，从而实现一种更贴近真实世界共识变异性的、多元化的、依赖视角的基准测试。然而，我们进一步分析了这些模拟评估器在顺序推理和随机提示扰动下的稳定性，揭示了人格连贯性的系统性退化，表现为状态空间漂移和语义不一致。这些发现表明，静态对齐约束不足以在时间上维持稳健的评估行为。相反，我们认为必须在生成式系统中嵌入动态的、基于生存能力的调节机制，以保持连贯的认知仿真。通过将基于人格的评估视为潜在表示流形上的结构化动态系统，本研究为构建更具适应性、更贴近人类且对情境更敏感的AI评估方法奠定了基础。

## 1. 引言

高度先进的生成式人工智能的出现，从根本上改变了数字合成的范式。现代多模态架构已从狭窄的功能性算子演变为能够模拟复杂、交叉现实的大型系统[21, 15]。然而，随着这些模型达到前所未有的技术熟练度，用于评估它们的方法论已触及关键瓶颈[3, 7, 17]。传统基准测试主要依赖单一化的自动指标或单一的、同质化的“AI即评委”框架。这些客观方法从根本上无法捕捉真实人类判断中所蕴含的社会学细微差别、多元价值观和文化主观性。

生成式模型融入全球工作流程揭示了一个深刻的对齐挑战。尽管它们展现出非凡的创造效用，但真正的人工智能对齐不能被视作单一、通用的向量。通过同质化算法视角评估的AI系统，往往会坍缩为文化刻板印象或平均化表征，常常放大其庞大训练语料中潜伏的固有偏见[2, 4]。在我们对生成式内容创作的基础分析中，我们确定模型表现出高度的算法遵从性，但缺乏适用于多样化人类应用所需的严谨语境约束[8]。因此，稳健的AI评估需要一个与其服务的人群一样多元和交叉的框架。

为超越单一视角的局限性，近期文献已转向利用语言模型作为交互式仿真体[18, 20]。在此基础上，本文引入了一种全面的基于人格的评估范式。我们研究了生成式系统模拟不同人口统计、专业和文化身份的能力，并利用这些模拟视角对人工输出进行主观评分。关键在于，人工智能体在较长的评估迭代中维持连贯、高度特定人格的能力，是一个非平凡的状态空间稳定性挑战。随时间维持这种局部状态空间需要内部调节，与计算惯性原理具有结构上的相似性[9]。此外，映射这些不同的认知仿真，与复杂、自组织的生物流形及概率潜在空间的无监督发现有着深刻的几何相似性[14, 12]。

通过将评估视角从客观机器基线转变为连续的人工主观性流形，本研究弥合了技术基准测试与人文细微差别之间的鸿沟。为全面研究这一框架，本研究概述了三个主要目标：

1. 1. 量化评估中的人格保真度：评估生成式架构在文本和视觉合成任务中维持不同、情境感知的评估视角的能力。
2. 2. 映射算法与多元差异：系统比较人格驱动的主观评估与已建立的人类共识基线，识别对齐与算法发散的关键点。
3. 3. 建立认知仿真的理论基础：分析人格稳定性模式，将人类视角的实践仿真与更广泛的连续时间优化、自主调节及几何状态空间保持理论联系起来。

## 2. 文献综述

生成式人工智能的快速发展已将机器学习研究的焦点从语法合成转向语义和文化对齐。这种转变的基础很大程度上依赖于Transformer架构[21]、基础深度学习原理[15]，以及支配计算最优少样本学习者的缩放定律[3, 7, 6, 16]。潜在扩散模型的并行突破同样彻底改变了视觉合成，使系统能够通过阐明和优化生成设计空间来生成高保真图像[19, 13]。尽管这些模型展现出非凡的表征能力，但它们前所未有的规模不可避免地编码了系统性和社会性偏见[2]。我们之前对生成式工作流的基础研究表明，虽然模型表现出很高的创造效用，但当通过标准算法视角评估时，其输出常常陷入文化同质化，强化了隐含的人口统计刻板印象[8]。这一弱点凸显了从僵化、客观的基准测试转向能够捕捉主观多元性的框架的必要性[4, 17]。

为解决同质化评估的局限性，近期文献已转向利用大语言模型作为交互式仿真体，能够维持动态角色扮演和类人代理行为[18, 20]。然而，在扩展的随机交互序列中维持高度特定、合成的个体人格，引入了关于状态空间稳定性的深刻理论挑战。维持连贯的认知仿真不仅仅是一个提示工程任务；它从根本上是一个连续时间优化和自主调节的问题。

我们可以通过学习动态的几何特性来分析人格仿真的稳定性。在推理过程中，指定人格的连续约束在模型轨迹中类似于一个守恒量。这种保持反映了计算惯性的原理[9]，其中模拟身份抵抗由不同用户提示引入的随机扰动，就像一个无摩擦优化路径抵抗混沌发散。随时间维持这种局部状态空间需要内部生存能力约束的调节，与在能量智能范式中观察到的热力学持续性具有结构相似性[10]。在这种语境下，生成式智能体必须自我调节其内部状态，以优先考虑指定人格连贯性的“生存”，而非即时的、无约束的令牌最大化。该范式通过将连续对齐视为一个动态目标，扩展了传统的自监督表示学习框架[5]。

此外，表征多元的多元性需要将高度异质的文化和人口统计属性映射到一个统一、稳定的潜在空间。将如此不同的模态嵌入到不同、连贯簇中的机制，很大程度上借鉴了变分和对比嵌入的基础理论[14, 11]。正如无监督对比目标（例如 OmicsCL）能够成功地从异质生物模态中提取并分层出不同的、临床有意义的亚型[11]，生成式模型必须自主地将庞大的文本分布分层为离散的、自洽的人类画像。

最终，这些模拟人类视角在神经架构中的涌现和保持可以被概念化为不同的几何流。这些模拟评估器的稳定性反映了复杂生物系统中发现的自组织生存流形，其中可持续的、对齐的表征自然涌现为受内部结构约束引导的低曲率测地线路径[12]。通过将这些基于人格的评估建立在理论物理和几何原理之上，我们为理解人工智能体如何可靠地模拟多样化的人类判断奠定了坚实基础，最终推动可扩展、与人类对齐的AI前沿发展[1]。

## 3. 方法论

为系统评估生成式模型模拟和维持多元人类视角的能力，我们设计了一个状态空间受限的框架，用局部化的、身份特定的认知仿真体取代单一化基准测试。实验设计遵循四个不同阶段：构建人格流形、应用行为边界条件、部署具有预定义语义锚点的双模态评估流水线，以及执行自主评估协议。

### 3.1. 人格流形构建与属性分层

为防止生成式系统坍缩为平均化的、同质化的算法基线，我们设计了一个由40个精心详细描述的合成人格组成的离散评估流形。关键在于，这些配置文件并非依赖自动提示生成或随机身份分配，而是手动策划并明确编写。通过精心手工制作深度、交叉的人类属性矩阵，我们确保了认知状态空间的有意的、高保真分层。

模拟属性包括：

- • 人口统计轨迹：年龄（19至72岁）、不同的种族和民族传承、以及多样的性别身份。
- • 专业视角：特定领域，如软件工程、视觉艺术、调查性新闻和环境科学，决定了人格的分析或审美优先项。
- • 心理与行为特征：认知倾向（例如，高度分析性、内向、直觉创造力）以及个人爱好和阅读习惯。
- • 社会经济与生活经验：家庭结构（例如，已婚有孩子、单身外籍人士）、地理背景以及特定的人生里程碑（例如，共同创立可持续发展初创公司）。

宏观人口统计分布，总结于表I，被有意分层以涵盖全球范围，确保评估框架测试模型实现真正多元对齐的能力，而非西方中心主义的同质性。

表 I：40个模拟认知画像的宏观人口统计分布
### 3.2. 状态空间初始化与边界条件

为将大语言模型（GPT-4o）绑定到特定身份轨迹，我们通过系统初始化提示应用了严格的上下文约束。借鉴计算惯性原理[9]，这些提示作为初始边界条件，迫使网络在评估多样化内容时，对抗随机扰动以保持分配的人格。

提示明确要求系统完全“入戏”，充分利用配置文件中定义的特定词汇、专业偏见和文化世界观。通过将评估明确锚定在人格的局部状态空间中，该框架迫使底层神经架构综合出细微的、主观的判断，而非回归到客观的统计最大化。

### 3.3. 双模态流水线与预定义语义锚点

在这些模拟身份内运作时，40个人格评估了我们在生成式AI模型基础基准测试[8]中建立的、完全相同的生成输出语料库。在那项先前的研究中，为每个被评估架构——涵盖文本合成（GPT-4o）和视觉合成（DALL-E 3）——设计了50个不同提示的多样化集合。为捕捉潜在空间的固有随机性，每个提示独立执行五次，每个提示产生五个不同的输出。

虽然我们之前的研究专注于通过客观算法指标和聚合的人类基线来评估这些特定输出，但当前框架将评估负担完全转移到认知仿真体上。通过部署40个合成人格来评估人类评估过的完全相同的随机输出集，我们保持了生成方差不变。这种受控的、一对一的映射允许我们直接比较合成评估者的多元状态空间判断与先前记录的人类共识。

为保证定量严谨性同时捕捉定性主观性，评估协议要求模型输出一个连续的浮点尺度（1.0 到 5.0），并配以预定义的语义锚点（选项 1、2 或 3）。这种混合度量防止了评分逻辑中的生成幻觉，并标准化了主观输出以便进行统计比较。

评估标准及其受限的语义选项