large-multimodal-models

This paper proposes a modality transfer task for Large Multimodal Models (LMMs) in GIS workflows and finds that current OpenAI LMMs struggle to transfer spatial information between image and text modalities, highlighting a critical bottleneck for autonomous GIS agents.

介绍了ReGraph，一个具有显式过程结构和食谱推理思维链（RR-CoT）轨迹的大规模食谱图数据集，以及一个两阶段的食谱图学习（RGL）框架，使LMMs能够从食物图像生成细粒度的烹饪工作流。

本文介绍了MM-CreativityBench，这是一个用于在物理约束环境下评估大型多模态模型创造性工具使用的基准，并提出了基于功能可见性的对齐方法，利用直接偏好优化来减少幻觉并提高基于事实的推理。