perception-benchmarks

本文通过因果干预审计多模态大语言模型中的视觉工具使用，揭示尽管总体准确率有所提升，返回的观察结果往往缺乏因果效应。它识别出诸如“不看就调用”和“不做规划就看”等失败模式，并引入了“视觉工具使用的幻觉”这一概念。