visual-representations

本文首次系统性地实证研究了使用可视化仓库表示来增强基于LLM的编码智能体，结果表明，将可视化图作为补充模态集成，可以在保持或提高问题解决准确率的同时，将令牌消耗降低高达26%。

本文提出了一种用于探测多模态大语言模型内部视觉表征的因果框架，揭示了实体与抽象概念在编码方式上的差异。研究强调增加模型深度对于编码抽象概念至关重要，并揭示了当前多模态大语言模型在感知与推理之间的脱节。