标签
Spatial-Interactor是一个框架，通过与物理世界的交互训练视觉语言模型以增强空间推理能力，采用三级课程和两阶段训练策略来改进状态转移建模和长期集成。
本文提出一种多模态学习的信息论分析，揭示了捕捉样本特定交互的必要性，并提出了DMIL范式，通过变分分解和微调显式建模和学习这些交互，实现了优越性能。