visual-degradation

SpaceDG是一个大规模数据集和基准测试，用于评估多模态语言模型在运动模糊、低光照等视觉退化条件下的空间推理鲁棒性，揭示了显著的性能差距，并表明在SpaceDG上进行微调可在不降低干净图像性能的前提下提升鲁棒性。

本文介绍了 ROMA，这是一种强化学习微调框架，旨在提高多模态大语言模型（MLLMs）对模糊和压缩伪影等视觉退化的鲁棒性。该框架通过双重前向传播策略和专门的正则化技术实现这一目标，在保持干净输入准确性的同时，提升了推理基准测试的性能。