MAVEN：一个基于紧凑对齐评估器的多模态内容宏观社会价值评估框架

# MAVEN：一种基于紧凑对齐评估器的多模态内容宏观社会价值评估框架
来源：https://arxiv.org/html/2608.18096
赵子娟1,付哲仁1,夏侯1,张立程1,刘毅2,毛哲东1,\* 1中国科学技术大学2人民日报在线传播内容认知国家重点实验室
[email protected], {fzr, zdmao}@ustc.edu.cn
###### 摘要
评估多模态内容是否与和平、公正和自由等宏观社会价值观相符，已成为一个日益紧迫的挑战。现有框架大多局限于面向安全的分类体系、仅文本的心理测量探针或单标签分类。因此，我们提出了MAVEN，一个基于国际人权文书和文化价值理论的多模态内容宏观社会价值评估层级框架。MAVEN将价值观组织为6个主要维度和72个二级指标，支持多级定量评分。基于MAVEN，我们构建了一个经过人工验证的多模态基准数据集，并提出了一种软匹配度量，用于评估视觉语言模型在各价值维度上的评估能力。针对评估器优化，我们提出了一种用于评估器蒸馏的自适应跨度多级偏好优化变体，以及一种推理时无需训练的多角色共识策略。我们在自己的基准数据集上评估了现有的开源和闭源视觉语言模型，揭示了它们在宏观社会价值判断上的共同趋势和明显差异。实验表明，我们紧凑的2B评估器与其同族的8B模型性能相当，并接近前沿闭源视觉语言模型，为可扩展的宏观社会价值评估提供了一条实用路径。我们的SA-MDPO实现和MacroValue-Bench可在以下地址获取：https://github.com/zzzzzzzzjj/MAVEN。

MAVEN：一种基于紧凑对齐评估器的多模态内容宏观社会价值评估框架
赵子娟1, 付哲仁1, 夏侯1, 张立程1, 刘毅2, 毛哲东1,\*
1中国科学技术大学
2人民日报在线传播内容认知国家重点实验室
[email protected], {fzr, zdmao}@ustc.edu.cn
## 1引言
表1：用于AI评估的价值框架比较。✓ = 完全支持，⚫= 部分支持，✗ = 不支持。宏观（宏观社会）：针对社会层面的价值，而非个体伦理或安全。多模态（多模态）：在图像-文本内容上进行操作。定量（定量）：生成序数或连续分数，而非分类标签。参见标题
图1：MAVEN层级框架与评估器优化概览。（I）MAVEN框架：包含6个主要维度和72个二级指标的宏观社会价值分类体系。二级指标通过迭代的人机协作流程构建，以确保全面覆盖和概念清晰度。（II）评估器优化：通过我们提出的SA-MDPO，从前沿教师模型蒸馏出一个紧凑的学生视觉语言模型。然后在推理时，多角色共识聚合了不同利益相关者的视角。
宏观社会价值指的是社会层面关于什么是好的、可取的共同抽象概念（例如，和平、公正）。这些价值观由制度和文化体系维持，不能简化为个体偏好（Williams Jr, 1979；Schwartz, 2006）。随着多模态内容在新闻和社交媒体上的激增，自动评估其与宏观社会价值观的契合度变得紧迫。凭借强大的跨模态理解和指令遵循能力，视觉语言模型使得这一目标成为可能：它们可以作为价值评估者，也可以作为内容生成器。实现这一潜力需要一个能够将宏观社会价值观操作化以用于多模态评估的框架。先前关于价值对齐的工作提供了有用的分类体系。然而，大多数框架并不适合基于VLM的宏观社会价值评估，存在三个局限性。首先，面向安全的分类体系针对微观伦理问题（毒性、偏见、伤害规避），在很大程度上未涵盖宏观社会价值观。其次，大多数价值导向的基准数据集依赖于仅文本的心理测量问卷，将评估与现实世界中的多模态内容脱钩。第三，当价值评估扩展到视觉语言模型时，其协议通常在单标签分类或开放式评论的层面运作，为内容级别的价值评估提供的量化粒度有限。总之，宏观社会价值治理所需的多模态和定量评估仍待探索。因此，我们提出了MAVEN（多模态宏观社会价值评估网络），这是一个基于国际人权文书和文化价值理论的层级价值框架（图1，I）。MAVEN支持对多模态内容进行多级定量评分，其细粒度信号适用于下游评估。表1将MAVEN与现有框架在上述三个要求上进行了定位。
基于MAVEN，我们构建了MacroValue-Bench，一个包含1,157个多模态项目的基准数据集，这些项目来自多样化的现实世界来源，并具有经过人工验证的标注，并引入了价值感知软匹配分数（VSMS）度量，用于评估视觉语言模型在各维度上的价值评估。我们在自己的基准数据集上评估了现有的开源和闭源视觉语言模型，揭示了它们在宏观社会价值判断上的共同趋势和明显差异。通过我们框架的评估，我们观察到虽然大型前沿视觉语言模型（如GPT-5）是 capable 的评估者，但其巨大的参数规模使得它们在大规模评估场景中不切实际。最近的证据表明，小型专用模型在聚焦的内容相关任务上可以匹配甚至超越大型通用模型。鉴于MAVEN框架下宏观社会价值的复杂性，我们引入了一种自适应跨度的多级DPO变体，将价值判断能力从前沿教师视觉语言模型蒸馏到一个紧凑的2B学生模型（图1，II）。我们还引入了多角色共识（MRC），该策略在推理时通过查询具有多重利益相关者人设的单一视觉语言模型，作为补充的推理时优化。在MacroValue-Bench上，我们紧凑的2B评估器与其同族的8B模型性能相当，并在主要维度和二级指标上接近前沿闭源基线。消融实验进一步证实了自适应跨度多级DPO和MRC在各自评估轴上提供了可衡量的增益。我们的贡献可总结如下：
- • 我们提出了MAVEN，一个支持对多模态内容中的宏观社会价值进行定量评分的层级价值框架。据此，我们构建了MacroValue-Bench用于现实世界多模态评估，并配合VSMS度量。
- • 针对评估器优化，我们引入了SA-MDPO，一种用于评估器蒸馏的自适应跨度多级偏好优化变体，以及MRC，一种无需训练的多角色共识策略。
- • 跨开源和闭源视觉语言模型的实验揭示了共同趋势和明显差异。我们使用SA-MDPO训练并在MRC下推理的紧凑2B评估器，其性能接近前沿闭源模型。
## 2相关工作
### 2.1人类价值理论
人类价值的研究跨越多个学科。在跨文化心理学中，Schwartz的文化层面价值理论（Schwartz, 1992, 2006）识别了十种在跨文化中得到验证的、动机上不同的价值类型。价值取向被建模为相互依赖而非正交的。除了Schwartz，道德基础理论提出了普世的道德关切。大规模调查项目，如世界价值观调查，记录了价值优先级如何在社会间变化。一个补充的传统通过国际人权文书来操作化宏观社会价值。《联合国宪章》确立了和平与国际合作。《世界人权宣言》阐述了公民、政治、经济和文化领域的普遍权利。《公民权利和政治权利国际公约》和《经济、社会及文化权利国际公约》使其具有法律约束力。《2030年可持续发展议程》将这一共识扩展到可持续发展，而《维也纳宣言》肯定了所有不可分割的人权。
### 2.2价值评估与对齐
##### 仅文本价值评估。许多价值基准数据集在很大程度上仅限文本。ValueBench使用重新措辞的心理测量问卷来探测LLM的价值取向，CLAVEY将概念提取器与分类器相结合用于价值标签，而ValueCompass在特定场景下衡量上下文对齐度。这些工作评估的是模型在文本中表达的价值，而非模型是否能正确评估嵌入在多模态内容中的价值。
##### 多模态价值评估与对齐。SPA-VL和Safe RLHF-V通过偏好对齐针对无害性。Ch3EF将VLM评估建立在有用-诚实-无害（hhh）轴上。然而，这些工作并未评估内容在宏观社会价值观上的定位。HumaniBench引入了七个以人为本的AI原则，但通过异构的特定任务指标而非统一的定量方案进行评估。VIVAH将价值评估构建为基于视觉的多项选择动作选择，而MORALISE基于Turiel的领域理论，在13个主题上评估道德判断。然而，两者都将评估简化为单标签分类。
## 3MAVEN框架
本节分三部分介绍MAVEN：理论基础（§2）、定量评分方案（§3.2）以及MacroValue-Bench（§3.3），这是一个经人工验证的多模态基准数据集，附带我们的价值感知软匹配度量。
### 3.1理论基础
参见标题图2：MacroValue-Bench构建和评估流程概览。（A部分）我们从四个来源收集了约3万个多模态项目，抽样了1,157个图像-文本对，使用三个前沿VLM对每对进行标注，然后通过人工标注员进行验证。每个项目带有一个结构化的维度标签。（B部分）我们使用价值感知软匹配（显示召回率方向；精确率对称）评估VLM的预测与真实标注的对比，该匹配对语义相近的跨维度预测给予部分分数。
领域专家首先基于我们的理论基础确立了六个主要维度。表2总结了该映射。
表2：MAVEN六个主要维度的理论基础。UDHR/ICCPR/ICESCR编号指文章编号。*序*表示序言。Schwartz价值缩写：*普* = 普世主义，*仁* = 仁爱，*从* = 服从，*自* = 自主，*激* = 刺激。
指标通过迭代的人机协作流程构建。基于每个维度，前沿模型提出了跨越宏观到微观层面的候选二级指标。专家随后进行筛选，过滤冗余或偏离主题的提案，并在存在覆盖缺口时重新生成候选。保留的候选被整合为每个维度12个指标，每个指标被阐述为标准化的自然语言定义，并经过迭代审查，直至所有作者达成共识。例如，*和平*包括世界和平（国家间关系）、社会和平（社会内部稳定）、网络和平（数字领域稳定）和内心和平（个体心理状态）。完整指标见附录A。MAVEN的两层结构服务于互补目的：主要维度支持大规模、低延迟的筛查，而二级指标则实现细粒度的诊断分析。
### 3.2定量评分
我们采用5点量表，这是基于经验发现，它在李克特式选项中产生了最强的人类-LLM评分一致性。每个主要维度获得一个5点分数{-2, -1, 0, +1, +2}。正值和负值分别表示对相应价值的促进和违反。每个维度的12个二级指标采用3点量表{-1, 0, +1}评分。+1表示正向参与，-1表示违反，0表示缺失或中性。设S_d表示主要维度d的分数。当S_d=0时，不施加任何非零指标约束。|S_d| ≥ 1要求维度d中至少有一个二级指标为非零且符号匹配，以保持两层之间的内部一致性。为了获得结构化且可解析的分数，我们提示每个模型输出一个标准化的JSON对象（见图2，A部分）。完整的评分方案见附录。