CUSP: 多智能体多模态推理的可分解集体不确定性

# CUSP：面向多智能体多模态推理的可分解集体不确定性  
来源：https://arxiv.org/html/2609.05708  

Chung-En Johnny Yu  
机构：西佛罗里达大学  
地点：美国佛罗里达州彭萨科拉  
邮箱：[[email protected]](mailto:)  

David Garcia  
机构：西佛罗里达大学  
地点：美国佛罗里达州彭萨科拉  
邮箱：[[email protected]](mailto:)  

Brian Jalaian  
机构：西佛罗里达大学  
地点：美国佛罗里达州彭萨科拉  
邮箱：[[email protected]](mailto:)  

Nathaniel D. Bastian  
机构：美国军事学院  
地点：美国纽约州西点  
邮箱：[[email protected]](mailto:)  

###### 摘要  
聚合异构视觉语言模型（VLMs）可以提升多模态推理能力，但无论是单个模型的置信度还是聚合答案的置信度，都难以衡量系统层面的可靠性。我们提出CUSP（基于语义观点池化的集体不确定性），这是一种无需训练的不确定性量化框架，能够将多个VLM的响应映射到共享语义响应空间，将其池化为池化语义观点，并报告两个互补的系统级信号：集体不确定性（池化观点的离散度）和詹森-香农散度（JSD，模型层面观点之间的冲突）。在该池化语义观点中，未归一化的集体熵可以精确分解为各模型单语义熵的均值和JSD，从而将总离散度与模型冲突区分开来。CUSP无需token logits或校准标签，既适用于开放权重VLM，也适用于商用VLM。在静态多VLM集成中，集体不确定性在小模型体系中是最强信号（预测错误检测的AUROC为0.764，拒绝决策的AUARC为0.889），比不确定性基线多数投票和朴素选择高出4.7至15.8个百分点，并且随着集成规模扩大，其优势进一步扩大；JSD在商用模型体系中表现最强（AUROC为0.819，AUARC为0.910），在难题答案的模型冲突排序中AUROC高达0.982。池化预测的准确性也比单模型平均提高了5.6至13.0个百分点。在多步骤多智能体系统的完整运行轨迹中，子智能体的集体不确定性对系统故障的排序优于随机水平（AUROC为0.619），并在所评估的信号中提供了最佳的拒绝决策排序（AUARC为0.699）。

## 1 引言  
视觉语言模型（VLMs）正越来越多地应用于错误代价高昂的场景，例如医疗决策支持和多机器人自主性（Li et al., 2025b; Chen et al., 2024）。不确定性信号使这些系统能够在做出决策前选择拒绝、请求验证或收集更多证据（Shorinwa et al., 2025; Liu et al., 2025b）。虽然结合异构VLM可以提升多模态推理能力和鲁棒性（Liu et al., 2025a; Xie et al., 2024; Chen et al., 2025），但聚合也可能累积不确定性：模型可能本身不确定或自信地冲突，而草率的聚合会放大它们的错误（Lu et al., 2024; Cemri et al., 2025）。因此，单个模型的置信度或聚合答案的置信度都无法表征系统级可靠性。大多数UQ方法仅描述单个模型和单个响应，因此单模型分数无法描述组合系统：闭源API可能限制token概率（Finlayson et al., 2024），基于采样的估计需要为每个模型重新计算（Farquhar et al., 2024; Zhang et al., 2024）。集成方法聚合并行预测，有时会测量多样性，但无法将总不确定性分解为离散度和冲突（Qu et al., 2025; Zhang et al., 2025b; Kruse et al., 2025）；而智能体和轨迹方法则跟踪单个智能体的序列步骤（Han et al., 2024; Zhao et al., 2025）。系统级信号必须将异构观点对齐到共享语义响应空间，并区分池化不确定性与模型冲突。

**图1：CUSP概览**  
采样的VLM响应被映射到共享语义响应空间，池化为语义观点，并通过集体不确定性和JSD进行汇总。

我们引入CUSP（基于语义观点池化的集体不确定性），这是一个针对异构VLM系统的无需训练的框架（图1）。CUSP将每个模型的采样自由形式响应映射到共享语义空间，形成基于含义的经验模型层面观点，并对这些观点进行均匀池化。它报告集体不确定性（池化观点的离散度）和詹森-香农散度（JSD，模型层面观点之间的冲突），而无需logits或校准标签。未归一化的池化熵可以精确分解为单语义熵的均值和JSD，从而将平均模型不确定性与冲突区分开来。因此，系统可能因模型一致犹豫或自信地分歧而具有相同的集体不确定性，而JSD可以区分这些情况，并不作为预测错误的代理指标。

我们在静态集成和多步骤、多智能体证据获取轨迹中评估了这两个信号，将验证范围扩展到单轮对话之外，但并不声称CUSP控制该轨迹。我们的贡献是：（1）CUSP，一个无需训练的语义观点池化框架，可从多个异构VLM中生成集体不确定性和JSD，无需logits或校准标签；（2）广义JSD分解的具体实现，将池化离散度分解为平均单模型不确定性和模型冲突；（3）跨静态模型体系、集成规模和多步骤多智能体轨迹的评估，用于预测错误检测、拒绝决策和冲突诊断。

## 2 相关工作  
**针对单个LLMs和VLMs的不确定性量化（UQ）**。  
针对单个LLMs的UQ包括基于token概率和基于采样的方法，具有不同的模型访问要求。基于token和概率的方法从输出token分布中推导不确定性，并可以标记无支持的主张（Fadeeva et al., 2024; Ling et al., 2024）。商业API可能限制token概率信息，而更完整的logit访问可能暴露专有模型信息（Finlayson et al., 2024）。更根本的是，在长序列中，词汇不同的生成通常表达相同的含义，因此token概率离散度无法追踪语义层面的不确定性（Farquhar et al., 2024）。基于一致性的方法通过多个采样响应估计不确定性（Lin et al., 2023; Xiong et al., 2023），而语义熵通过先聚类语义相似的生成再测量离散度来细化这一想法（Farquhar et al., 2024）。这些方法适用于黑盒部署，因为它们既不需要logits也不需要模型训练。针对VLM的UQ相对未被充分探索，除了语言生成变异性外，还必须应对视觉证据的模糊性（Li et al., 2024b; Xiao et al., 2025; Liu et al., 2025b）。现有工作通常使用不确定性来支持训练（Ji et al., 2023）、解码或精炼（Fang et al., 2024; Li et al., 2025a）或推理（Zhi et al., 2025），而不是报告模型级可靠性信号。最接近的一致性方法是VL-Uncertainty，它通过在扰动的多模态输入下对VLM进行采样来检测幻觉，并将语义熵适配到视觉场景（Zhang et al., 2024）。跨这两种模态，这些方法描述的是单个模型和单个响应，它们仍然开放的问题是：不确定性应如何跨多个异构模型组合。

**多模型集成聚合与不确定性**。  
另一条研究路线聚合多个模型的输出以提高准确性和鲁棒性，方法包括多数投票、置信度加权和更大的异构集成（Li et al., 2024a; Ai et al., 2025; Lu et al., 2024; Chen et al., 2025）。集成层面的不确定性受到的关注较少，而解决这一问题的方法并未达到系统级可靠性信号。UQ-Merge使用不确定性指导多模态聚合，但不量化合并系统的不确定性（Qu et al., 2025），而Consensus Entropy根据不确定性对VLM响应加权，但既不评估系统级幻觉检测，也不评估拒绝决策（Zhang et al., 2025b）。MUSE应用詹森-香农散度（JSD）来识别和聚合一个经过良好校准的LLMs子集（Kruse et al., 2025）。该用法将JSD用作选择和聚合标准；它没有将该散度与池化语义观点的总不确定性联系起来，也没有将该不确定性分解为平均单模型不确定性和冲突。多智能体管道的可靠性研究进一步表明，草率的聚合可能将个人错误传播到共享输出中（Cemri et al., 2025）。仍然缺失的是一种聚合不确定性，它能区分池化语义观点的离散度与单个模型观点之间的冲突，并对两者提供精确解释。

**轨迹级和智能体不确定性**。  
智能体系统中的不确定性将问题从单个响应转移到不确定性如何在多步骤轨迹中累积。现有方法追踪单个智能体的这种累积：UALA使用逐步不确定性来控制智能体何时行动或调用外部工具（Han et al., 2024），SAUP在不确定性沿轨迹传播时根据情境重要性对每一步的不确定性进行加权（Zhao et al., 2025），基于信息论和记忆的变体以相关方式分解或管理轨迹不确定性（Duan et al., 2025; Zhang et al., 2026）。最近的多智能体视觉推理系统使用不确定性感知控制、交互监控或智能体多样性（Zhang et al., 2025a; Zhou et al., 2025; Feng et al., 2025）；最近的一篇综述编目了开放性问题（Oh et al., 2026）。这些方法集中于单个智能体的顺序状态或最终答案的可靠性，它们没有联合表征多个并发异构智能体的智能体内不确定性、它们在每一轮的观点冲突以及整个轨迹所携带的风险。我们通过构建共享语义响应空间并对其异构VLM的语义观点进行系统级池化来填补这一空白。未归一化的集体熵可以精确分解为平均单模型不确定性和JSD，从而为这两个信号提供精确的关系。我们在静态多VLM集成和多步骤多智能体证据获取轨迹中评估它们。

## 3 方法  
我们考虑一个包含\(K\)个现成视觉语言模型（VLMs）的系统，\(\mathcal{M}=\{M_1,\ldots,M_K\}\)。每个\(M_k\)既可以作为静态多模型系统中的独立组件，也可以作为多智能体系统中的一个智能体。给定一个由图像\(I\)和文本查询\(q\)组成的多模态输入\(x=(I,q)\)，每个模型\(M_k\)生成固定数量的\(N\)个自由形式响应，记为\(\mathcal{Y}_k=\{y_k^1,\ldots,y_k^N\}\)。每个响应都被映射到共享语义响应空间。语义熵最初用于通过根据语义含义对生成进行分组来估计单个LLM自由形式生成的不确定性（Kuhn et al., 2023）。我们使用经验类频率将这一含义空间构建适配到VLM输出。

**将响应映射到共享语义响应空间**。  
令\(\mathcal{Y}=\bigcup_{k=1}^K\mathcal{Y}_k\)表示池化响应集。一个语义映射过程构建共享语义响应空间\(\mathcal{S}_x=\{s^1,\ldots,s^J\}\)。在自由形式任务中，一个基于LLM的语义等价判断器将表达相同含义的响应聚类。每个\(s^j\)表示一个离散的语义等价类响应，而不是连续嵌入空间中的一个点。我们将语义聚类表示为一个硬分配函数\(g_x:\mathcal{Y}\rightarrow\{1,\ldots,J\}\)，其中\(g_x(y)=j\)表示响应\(y\)被分配到语义类\(s^j\)。在形式上不同但相对于\(x\)语义等价的响应被映射到相同的类索引。

**形成每个模型的概率观点**。  
对于模型\(M_k\)，我们在共享语义响应空间上构建一个经验分类分布。分配给语义响应类\(s^j\)的概率质量通过模型采样响应中被分配到该类的相对频率估计：
\[
\hat{p}_{k}(s^j \mid x) = \frac{1}{N} \sum_{n=1}^{N} \mathbf{1}\left[g_x(y_k^n) = j\right].
\]
其中\(\mathbf{1}[\cdot]\in\{0,1\}\)是指示函数。这得到概率向量\(\hat{\mathbf{p}}_{k}=[\hat{p}_{k}(s^1 \mid x),\ldots,\hat{p}_{k}(s^J \mid x)]\)。对于\(M_k\)采样响应中不存在的语义类，相应的经验概率质量为零。由于每个采样响应都被精确分配到一个语义类，所有模型都在相同的支撑集上表示，每个观点都是有效的分类分布。