latent-visual-reasoning

本文介绍了因果视觉循环推理（CVRR），一种强制进行循环隐藏状态计算的视觉推理方法，它在基准测试中提升了性能，同时区分了潜在信息性和实际预测用途。

该论文挑战了“监督潜变量与视觉目标之间的余弦对齐能提高视觉语言模型准确性”的假设，发现了强烈的负相关。引入了PRISM诊断方法，揭示答案是从潜变量下游解码的，而非潜变量内部，并且辅助损失通过共享参数重塑了语言模型。

介绍了Future-L1，一种交错潜在视觉推理框架，通过在潜在空间中保持视觉语义来改进视频事件预测。在FutureBench和TwiFF-Bench基准上取得了最先进的结果。