visual-task-semantics

本文介绍了可视化任务语义（VTS），一种受控干预方法，用于研究多模态大语言模型在图像中而非文本中被提问时的情况。研究显示，在所有测试模型和任务上，准确率均出现一致下降，并提出了提示区域对齐（prompt-region grounding）以恢复干净的任务表示，将VTS准确率从58.0提升至66.3。