fine-grained-object-understanding

SWIM是一种新颖的训练策略，仅使用文本提示即可对齐视觉和语言表征以实现细粒度对象理解，并在训练期间利用掩码监督来改善跨模态注意力。该方法引入了NL-Refer数据集，并在细粒度对象理解基准测试中取得了优于基于视觉提示的方法的性能。