一致性存在可计算的盲点：视觉语言图表读取中无标签可靠性的交换理论

arXiv cs.LG 论文
vision-language reliability equivariance consistency label-free figure-reading

摘要

本文提出了一种用于视觉语言图表读取中无标签可靠性的交换理论，表明基于一致性的方法存在可计算的盲点，并引入了一种通过循环重标记增强的等变一致性评分。

arXiv:2608.05675v1 公告类型：新 摘要：视觉语言模型的无标签可靠性依赖于不变性：扰动输入后，忠实读取器的答案不应改变。这存在一个已知的盲点：系统性误读能够经受住扰动并被认证为错误。我们证明这个盲点不仅是存在的，而且是可计算的：当且仅当两种操作可交换时，错误对某次编辑不可见；因此，一组编辑无法覆盖的错误构成了它们的联合中心化子，这个集合会随编辑的增加而收缩，并且可以被明确写出，而不是靠猜测。我们转而利用互补关系——等变性：编辑图表的数据后，正确答案必须按可计算量改变。两个匹配的编辑被证明对仿射读取错误是完备的；没有一组交换编辑对标签排列是完备的，而循环重标记填补了大部分差距。我们将该理论实例化为等变一致性评分（Equivariance-Consistency Score），一种无标签、无需训练的检测器，并发布了REND-EQUIV，在相同数据上配对匹配的不变性与等变性集合。预测的顺序在三个模型和一个手工标注的群体上成立，该群体的选择方式规避了唯一的一处循环性；另一种基于不变性的方法证实该盲点属于关系本身，而非任何具体实现；循环重标记在匹配的真实样本上带来了预期的增益。同样的刻画还解释了分类器蜕变测试文献中报道的该顺序反转：可检测性是关系与故障类别的联合属性，而绝不是关系单独决定的。
查看原文
查看缓存全文

缓存时间: 2026/08/07 07:51 

# 一致性具有可计算的盲点：视觉-语言图表读取的无标签可靠性交换理论
来源：https://arxiv.org/abs/2608.05675
查看PDF（https://arxiv.org/pdf/2608.05675）

> 摘要：视觉-语言模型的无标签可靠性依赖于不变性：扰动输入，忠实读者的答案不应改变。这有一个已知的盲点：系统性的误读能在扰动后存活，并被错误地认证为正确。我们证明这个盲点不仅是真实存在的，而且是可计算的：当且仅当误差与编辑可交换时，该误差对编辑不可见，因此测试套件无法触及的误差构成其联合中心化子——这一集合随编辑的增多而收缩，并且可以被明确写出而非猜测。我们转而利用互补关系——等变性：编辑图表数据后，正确答案必须按可计算量改变。两个匹配的编辑被证明对仿射读取误差是完备的；没有一组交换编辑对标签置换是完备的，而循环重标记填补了大部分差距。我们将理论实例化为等变性-一致性分数（Equivariance-Consistency Score），一种无标签、无需训练检测器，并发布REND-EQUIV，在相同数据上配对匹配的不变性与等变性集合。预测的排序在三个模型以及一个手工标注、避免了选择过程中的单一循环性的人群上成立；第二个基于不变性家族的方法确认该盲点属于关系本身，而非任何实现；循环重标记在匹配的真实样本上带来了预测的增益。同样的刻画解释了分类器蜕变测试文献中报道的该排序的逆向现象：可检测性是关系与故障类别的联合属性，绝不只是关系本身的属性。

## 提交历史

来自：Rasul Khanbayov \[查看电子邮件](https://arxiv.org/show-email/0cfff27e/2608.05675)\] **\[v1\]** 2026年8月6日星期四 07:14:58 UTC（266 KB）

相似文章

视觉的代价：在单一范式中实现可信的多模态推理

Hugging Face Daily Papers

本文挑战了当前视觉语言模型忠实地融合多模态数据的假设，提出了一种基于信息论的 Modality Translation Protocol，并引入了新指标（Toll、Curse、Fallacy of Seeing）来评估可信度，而非传统的多模态增益。