你由提示定义：农业食品视觉语言模型中的提示质量、领域偏移与不确定性

# 你的提示决定你的表现：农业食品视觉语言模型中的提示质量、领域偏移与不确定性
来源：https://arxiv.org/html/2608.18116
作者：Andrea Morales-Garzón1，Salvador Lopez-Joya1，Miguel López-Pérez1，Maria J. Martin-Bautista1
1 格拉纳达大学计算机科学与人工智能系
邮箱：[email protected], [email protected], {mlopez,mbautis}@decsai.ugr.es

## 1 引言

视觉语言模型（VLMs），例如CLIP\[17 (https://arxiv.org/html/2608.18116#bib.bib2)\]和SigLIP\[21 (https://arxiv.org/html/2608.18116#bib.bib12)\]，通过将图像与类别的自然语言描述对齐，实现零样本分类。在此设定中，文本提示的构建对模型性能起着关键作用。一种被广泛采用的提高鲁棒性的策略是*提示集成*\[10 (https://arxiv.org/html/2608.18116#bib.bib27)\]，即使用多个提示模板来预测每个类别，并将其输出进行聚合。其潜在假设是，多样化的提示池可以缓解较弱的单个提示引入的变异性\[16 (https://arxiv.org/html/2608.18116#bib.bib28)\]。

实际上，提示集成并非总是有益的。当在通用数据上训练的VLM被应用于专门领域时，提示工程变得极具挑战性。初步实验观察到，添加更多提示有时会降低性能，特别是当提示池中包含对齐不良或有噪声的模板时\[13 (https://arxiv.org/html/2608.18116#bib.bib7)\]。这引发了一个基本问题：*如何使提示集成对提示质量具有鲁棒性，以及哪些提示值得被信任？*

零样本提示集成（ZPE）通过为具有更强判别信号的提示分配更高权重来解决此问题，权重估计无需任何外部验证集\[1 (https://arxiv.org/html/2608.18116#bib.bib1)\]。尽管ZPE已被证明在一般设置中能比均匀集成提高准确性，但其在领域偏移场景中的行为仍未被充分探索。特别是，当模型在其训练分布之外运行时，驱动ZPE的不一致信号是否仍携带有意义的信息尚不清楚。

本研究针对特定的农业食品领域（包括食品分类和与农业相关的任务，如植物病害识别）探讨了这些问题。我们基于以下两点观察，将食品相关数据集视为*分布内*（ID）代理：（i）CLIP在Food-101等食品数据集上的零样本准确率接近完全监督性能（Radford et al., 2021），表明网络爬取的预训练语料库中包含了丰富的食品图像；（ii）这些语料库中占主导地位的平台（如Pinterest、Shopify）主要包含食品和消费内容，而农业病理图像则局限于专业存储库，因此对于这些模型来说，农业病理图像本质上属于*分布外*（OOD）。我们自己的结果也证实了这一点：我们在食品领域基准测试中观察到了稳健的性能，但在OOD的农业和豆类疾病数据集中看到了显著差距，这凸显了VLM对领域特定词汇和细粒度视觉变化的敏感性。我们的实证研究揭示了一个微妙的图景：在ID条件下，ZPE带来的收益有限，因为均匀集成已经表现良好；但在OOD条件下，当领域偏移严重时，ZPE变得显著更有用。

基于这一发现，我们提出了PID（基于提示的不一致检测）方法，该方法将ZPE集成内的提示不一致性重新用作认知不确定性的代理。PID充当故障检测器，在不修改预测管道或增加额外计算成本的情况下，提高了模型在领域偏移下的可靠性。通过基于不一致性不确定性估计来筛选预测，PID提供了一种原则性的方法，恰好在标准置信度度量趋于失效的OOD场景中，标记出不可靠的输出。

本文的主要贡献包括：

- • 我们在ID和OOD条件下评估了ZPE在多个农业食品领域的表现，表明其收益取决于具体场景：在ID数据下收益甚微，但在OOD数据下效果显著。
- • 我们识别了OOD设置中（特别是在农业和豆类疾病基准测试中）的一致性能差距，并将其与食品分类中稳健的ID结果进行了对比。
- • 我们引入了PID，一种作为质量门控的认知不确定性信号的提示不一致性度量，展示了其作为OOD选择性预测可靠性代理的有效性。
- • 我们从词汇角度分析了提示质量，表明指代具体视觉内容的术语与更高的ZPE分数相关，而更抽象或视觉性较弱的词语往往对应质量较低的提示。

## 2 相关工作

VLM的最新进展，特别是CLIP\[17 (https://arxiv.org/html/2608.18116#bib.bib2)\]的引入以来，表明强大的零样本性能不仅依赖于预训练模型，还依赖于我们如何通过语言与其交互。这激发了一系列日益增长的研究，探索如何设计、选择和聚合提示，以及如何评估其预测的可靠性。本节回顾了关于VLM的提示工程、零样本VLM的校准、农业食品图像分类以及集成中不确定性估计的先前研究。

#### 面向VLM的提示工程\.
提示设计在零样本性能中起着关键作用，因为同一类别的不同表述可能导致不同的预测。Menon和Vondrick提出了通过描述进行分类的方法，即用一组由LLM自动生成的描述符替代类别名称提示。模型不再查询“一只老虎的照片”，而是检查其判别特征（条纹、爪子、体型）。这产生了更好的准确性和可解释性，因为每个分类决策都基于可验证的视觉属性\[11 (https://arxiv.org/html/2608.18116#bib.bib3)\]。像CoOp和CoCoOp\[24 (https://arxiv.org/html/2608.18116#bib.bib5),23 (https://arxiv.org/html/2608.18116#bib.bib4)\]这样的学习式提示调优方法，用可学习的上下文向量替代固定模板，提高了在已见类别上的准确性，但代价是需要标注数据且零样本泛化能力降低——而ZPE通过完全无监督的方式避免了这些限制。ZPE根据判别信号为大型提示池中的提示分配权重，并产生加权平均的集成预测\[1 (https://arxiv.org/html/2608.18116#bib.bib1)\]。在我们的工作中，我们基于ZPE并将其扩展到农业食品领域，从词汇角度分析提示质量，并利用提示不一致性作为故障检测的不确定性信号。

#### 零样本模型的校准\.
校准在现代神经网络中已被广泛研究，人们通常观察到高准确性并不一定意味着良好校准的预测。深度神经网络被证明存在系统性的过度自信，这种现象随着模型深度、宽度、批归一化和权重衰减的增加而变得更加显著\[5 (https://arxiv.org/html/2608.18116#bib.bib8)\]。温度缩放被引入作为一种简单但非常有效的后处理方法，通过单个参数重新缩放logits，在不影响分类准确性的情况下改善校准。近期的工作在大规模视觉模型的背景下重新审视了这些发现。Minderer等人评估了多种架构，包括Vision Transformers、MLP-Mixers以及像CLIP这样的大型预训练模型\[12 (https://arxiv.org/html/2608.18116#bib.bib11)\]，表明现代架构通常校准得更好，并且在分布偏移下，校准甚至可以随模型规模而改善。在我们的工作中，我们没有进行显式的校准，但表明ZPE中的提示不一致性与领域偏移下的不可靠预测相关，提供了一种互补的、无需标签的可靠性信号。

#### 农业食品图像分类\.
近期工作开始探索视觉语言模型在农业和食品相关领域的应用，其中细粒度识别、领域偏移和有限监督带来了重大挑战。AgriCLIP\[14 (https://arxiv.org/html/2608.18116#bib.bib14)\]和\[7 (https://arxiv.org/html/2608.18116#bib.bib15)\]等研究表明，尽管CLIP和BLIP-2\[9 (https://arxiv.org/html/2608.18116#bib.bib24)\]提供了强大的基线，但它们在需要精细农业专业知识、环境鲁棒性或上下文信息推理的任务中性能显著下降。同样，E-CLIP\[22 (https://arxiv.org/html/2608.18116#bib.bib16)\]和\[6 (https://arxiv.org/html/2608.18116#bib.bib17)\]提出了混合架构，将CLIP嵌入与检测头或结构化植物特征相结合，以提高作物和植物病害识别的鲁棒性。

为了解决领域特定数据缺乏的问题，已经提出了几个多模态数据集，包括VL-PAW\[19 (https://arxiv.org/html/2608.18116#bib.bib18)\]、AgriCoT\[18 (https://arxiv.org/html/2608.18116#bib.bib19)\]、WisWheat\[20 (https://arxiv.org/html/2608.18116#bib.bib20)\]和AgMMU\[4 (https://arxiv.org/html/2608.18116#bib.bib21)\]，它们为农业决策引入了图像-文本对、推理任务和专家级注释。

在评估方面，Food-101\[2 (https://arxiv.org/html/2608.18116#bib.bib22)\]仍然是细粒度食品识别的标准基准，包含101个类别，由于多样化的现实世界成像条件，其类内变异性很大。尽管相对简单，但它仍然是视觉语言模型的关键参考。例如，Beans是一个三类植物病害数据集（角斑病、豆类锈病和健康），具有显著的领域差距，因为其标签需要专门的植物学知识，而这些知识在通用预训练中很大程度上是缺失的。因此，零样本模型的表现通常接近随机水平，这使其成为在分布偏移下测试鲁棒性的有用压力测试。

#### 集成中的认知不确定性\.
集成不一致性已被确立为认知不确定性的实用代理，它捕捉了由于训练信号不足或不匹配而导致的模型不自信程度\[8 (https://arxiv.org/html/2608.18116#bib.bib25)\]。集成成员之间的多样性是此属性的关键：更多样化的预测与更高的不确定性相关，特别是在分布偏移下\[3 (https://arxiv.org/html/2608.18116#bib.bib10)\]。关键的是，基于集成的不确定性估计在数据集偏移下会优雅但可检测地退化，使得不一致性恰好在OOD场景中成为可靠的信号\[15 (https://arxiv.org/html/2608.18116#bib.bib9)\]。在提示集成的背景下，我们将提示预测之间的不一致性解释为领域偏移下认知不确定性的指标：当模型在其训练分布之外运行时，从不同语言角度探查同一类别的提示不太可能一致，从而产生可检测的不一致信号。PID直接实现了这一直觉，无需额外的训练或分布假设。

## 3 方法论

### 3.1 零样本分类

给定图像x和一组类别名称{c₁,...,c_C}，VLM将图像编码为向量 **v** = f_θ(x) ∈ ℝ^D，将每个文本提示p编码为向量 **t**_{p,c} = g_φ(tmpl_p(c)) ∈ ℝ^D。在提示p下，类别c的logit为：

L_c^{(p)}(x) = α · ⟨**v**(x), **t**_{p,c}⟩，      (1)

其中α是学习得到的logit缩放因子。单个提示的预测为 ĉ^{(p)} = arg max_c L_c^{(p)}(x)。我们评估了两个VLM家族：CLIP\[17 (https://arxiv.org/html/2608.18116#bib.bib2)\]使用对比损失（α≈100）；SigLIP\[21 (https://arxiv.org/html/2608.18116#bib.bib12)\]使用sigmoid损失（α≈117），去除了对批归一化的依赖。

### 3.2 零样本提示集成（ZPE）

提示的选择显著影响零样本准确性，但从业者常常任意选择模板。在\[1 (https://arxiv.org/html/2608.18116#bib.bib1)\]中，作者提出了ZPE，这是一种自监督加权方案，为具有更强判别信号的提示分配更高的重要性，无需任何标签。

给定一个包含P个提示的池，对N张测试图像进行评估，ZPE计算每个提示在完整测试集上的标量质量分数，然后使用这些分数对集成进行加权。这是一个转导过程：在做出任何单个预测之前，必须查看所有N张图像。

#### 提示评分\.
提出了两种评分变体\[1 (https://arxiv.org/html/2608.18116#bib.bib1)\]：

（1）原始分数（算法1）。分数是测试集上最大logit的平均值：

s_{\mathrm{raw}}^{(p)} = (1/N) Σ_{i=1}^N max_c L_c^{(p)}(x_i)。      (2)

（2）归一化分数（算法2）。首先通过对数据分布（近似为测试集均值）下的期望logit进行中心化处理logits：

s_{\mathrm{norm}}^{(p)} = (1/N) Σ_{i=1}^N max_c (L_c^{(p)}(x_i) - μ̂_c^{(p)})，      (3)

其中 μ̂_c^{(p)} = (1/N) Σ_i L_c^{(p)}(x_i) 是 E[L_c^{(p)}] 的估计值。这种中心化消除了每个提示的无条件logit偏差，使不同模板之间的分数具有可比性。

#### 加权预测\.
分数通过一个温度为 τ > 0 的softmax转换为提示权重，集成预测为：

ĉ^{ZPE} = arg max_c Σ_{p=1}^P w_p · L_c^{(p)}(x)，      (4)
w_p = e^{s^{(p)}/τ} / Σ_{p'} e^{s^{(p')}/τ}。      (5)

当 τ → ∞ 时，公式(4)恢复为均匀集成；较小的τ使权重集中在最佳得分的提示上。我们通过在0.1到10.0之间进行网格搜索，并选择在留出的验证集上使分类准确率最大化的值来选择 τ*。

### 3.3 基于提示的不一致检测（PID）

ZPE将集成简化为单点预测，丢弃了提示*不一致性*中编码的信息。我们提出PID，将这种不一致性重新用作每样本的故障检测器：给定图像x，模型出错的可能性有多大？

PID添加了一个置信度分数 κ(x)，支持选择性预测：对高 κ 的样本进行预测，对低 κ 的样本拒绝预测。它*不*改变预测的类别或其概率。

#### 质量门控的不一致性\.
令 q_p(x) = softmax(L^{(p)}(x)) 为提示p的类别分布，μ(x) = Σ_p w_p q_p(x) 为ZPE的集成概率分布。