标签
本文提出了 Scaffolding Minds 方法，通过学习一个专用的脚手架编码器来获得优化的隐空间视觉目标表示，并同时学习强化学习采样器的均值和方差，将隐空间推理基线在 Frozen Lake 空间规划任务上提升 +9.5 分，并在九个视觉推理基准上平均提升 +5.6 分。
本文识别了像素级别的隐形元数据痕迹，这些痕迹被视觉编码器用作捷径，导致在元数据分布偏移下出现性能下降。在预训练期间和之后采取的缓解策略，能降低对目标元数据和未见元数据的敏感性，同时不牺牲下游性能。
展示了通过在图像上优化以最大化目标描述的概率，在现代LLM上产生的深度梦境效果；Gemma 12B（无视觉编码器）在画布上印出可识别的物体，而E4B（有视觉编码器）则漂移为纹理。
SAGA框架利用冻结的多模态大语言模型，通过分组相对策略优化为视觉编码器提供属性感知监督，在细粒度基准上将零样本图像检索性能提升3-6个百分点。
Tuna-2 是一个统一的多模态模型，通过直接从像素嵌入处理视觉理解与生成任务，无需预训练视觉编码器，达到了最先进的性能水平。