通过多层组合融合实现情境价值对齐

arXiv cs.AI 论文
llm-alignment value-alignment multi-agent combinatorial-fusion ethical-ai

摘要

本文提出了MCF-CVA，一种用于大型语言模型情境价值对齐的多层组合融合框架，该框架利用多个道德智能体以及扩展-约简过程来更好地捕捉伦理多元主义，并优于单智能体基线方法。

arXiv:2608.07642v1 公告类型：新 摘要：将大型语言模型（LLMs）与人类价值观对齐仍然是重大挑战，尤其是在可信人工智能方面。尽管现有的方法如RLHF、CAI及其变体已取得可喜成果，但它们通常依赖单智能体框架和统一奖励系统。这限制了它们捕捉伦理多元主义、适应多样化道德情境以及反映多智能体道德推理动态的能力。 在这项工作中，我们提出了一种利用多层组合融合进行情境价值对齐（MCF-CVA）的框架。在框架的第一层，它实例化多个道德智能体，每个智能体经过微调以代表一种独特价值观。然后，它们的输出通过分数组合和排名组合以及平均聚合和加权聚合进行组合扩展。随后，这些组合模型被约简至初始道德智能体的数量。这种扩展和约简（EAR）过程持续多层，直到达到停止标准。 MCF-CVA框架利用智能体之间的认知多样性来缓解多个智能体之间的冲突和冗余，产生更能反映情境化人类价值观的响应。使用EAR算法的框架在欧几里得分数空间和凯梅尼排名空间的双重架构上执行。实证评估表明，所提出的框架在标准指标上优于单智能体基线、多智能体单层结果以及先前的聚合方法，表明MCF-CVA框架为推进LLMs中的情境价值对齐提供了一种稳健且有效的机制。
查看原文
查看缓存全文

缓存时间: 2026/08/11 08:02 

# 基于多层组合融合的上下文价值对齐
来源：https://arxiv.org/abs/2608.07642
查看 PDF (https://arxiv.org/pdf/2608.07642) HTML（实验性）(https://arxiv.org/html/2608.07642v1)

> 摘要：使大型语言模型（LLMs）与人类价值观对齐仍然是一个重大挑战，尤其是在可信人工智能方面。尽管现有方法如 RLHF、CAI 及其变体已取得显著成果，但它们通常依赖单智能体框架和统一的奖励系统。这限制了它们捕捉伦理多元性、适应多样道德语境以及反映多智能体道德推理动态的能力。在这项工作中，我们提出了一个利用多层组合融合实现上下文价值对齐的框架（MCF-CVA）。在框架的第一层，它实例化多个道德智能体，每个智能体经过微调以代表一种独特的价值观。然后，使用分数组合和排名组合以及平均和加权聚合，对其输出进行组合式扩展。随后，这些组合模型被缩减为与初始道德智能体数量相同的模型。这种扩展与缩减（EAR）过程会持续多层，直到达到停止标准。MCF-CVA 框架利用智能体之间的认知多样性来缓解多个智能体之间的冲突和冗余，从而生成更能反映上下文人类价值观的响应。该框架使用 EAR 算法，在欧几里得分数空间和 Kemeny 排名空间的双重架构上运行。实证评估表明，所提出的框架在标准指标上优于单智能体基线、多智能体单层结果以及以往的聚合方法，这表明 MCF-CVA 框架为推进 LLMs 中的上下文价值对齐提供了一种稳健而有效的机制。

## 提交历史

来自：Yuanhong Wu [查看邮箱 (https://arxiv.org/show-email/3a1ecfb8/2608.07642)] **[v1]** 2026年8月7日星期五 16:22:33 UTC (6,049 KB)

相似文章

ContextAdapt：大语言模型的情境适应与价值对齐评估

arXiv cs.CL

本文提出 ContextAdapt，一个评估框架，用于测试 12 个大语言模型在不同专业领域（医学、法律、金融、国家安全）中对诚实、自主性和保密性等价值观的适应能力。模型在恰当性评分上表现较高，但无法一致地应用特定领域的论证依据，暴露出在利害关系变化时出现的局部性失败。