visual-tool-use

本文介绍了 OpenVisTool，一个用于合成指导性视觉工具使用轨迹的开放框架，以及相应的数据集（OpenVisTool-42K）和基准。研究表明，在基于因果关系的监督下进行微调，能在多种模型骨干上提升视觉工具使用性能。

本文通过因果干预审计多模态大语言模型中的视觉工具使用，揭示尽管总体准确率有所提升，返回的观察结果往往缺乏因果效应。它识别出诸如“不看就调用”和“不做规划就看”等失败模式，并引入了“视觉工具使用的幻觉”这一概念。