论文页面 - 一览无余：基于SimLoss的单次细粒度图像描述生成

来源：https://huggingface.co/papers/2609.00591 作者：

, , , , , , , , , ,

摘要

SimLoss采用嵌入空间对比监督机制，以远低于多阶段方法的延迟，实现质量相当的单次细粒度图像描述生成。

一幅图像可能胜过千言万语，但多数描述模型仅用寥寥数语概括。现代视觉语言模型（https://huggingface.co/papers?q=vision-language%20model）能生成流畅的高层描述，却常遗漏使图像具有视觉特异性的属性、数量、纹理、材质及空间关系等细节。近期的多阶段系统通过生成、分解、验证和重写流程恢复了部分细节，但代价是推理延迟大幅增加。我们提出SimLoss（https://huggingface.co/papers?q=SimLoss）——一种无需参考的嵌入空间目标函数（https://huggingface.co/papers?q=embedding-space%20objective），专为单次细粒度图像描述生成（https://huggingface.co/papers?q=fine-grained%20image%20captioning）设计。SimLoss（https://huggingface.co/papers?q=SimLoss）通过InfoNCE对比损失（https://huggingface.co/papers?q=InfoNCE%20contrastive%20loss）训练视觉语言模型（https://huggingface.co/papers?q=vision-language%20model），使其投影隐状态表征与冻结图像嵌入对齐，在解码任何文本之前提供密集视觉监督信号，且无需人工撰写的细粒度描述或多阶段流程生成的伪描述。我们将其具体实现为SimLoss FFT（https://huggingface.co/papers?q=SimLoss%20FFT），通过本地嵌入模型反向传播；以及SimLoss GRPO（https://huggingface.co/papers?q=SimLoss%20GRPO），将该模型视为黑盒奖励机制。与单次生成、多阶段验证、奖励优化及感知感知基线相比，全可微分调优变体SimLoss FFT（https://huggingface.co/papers?q=SimLoss%20FFT）实现了最高精度，同时F1分数接近多阶段方法，且保持单次推理（https://huggingface.co/papers?q=single-pass%20inference）速度，运行效率约为多阶段流程的20倍。基于奖励的变体SimLoss GRPO（https://huggingface.co/papers?q=SimLoss%20GRPO）则取得了最强的召回率。这些结果共同表明，嵌入空间监督能够以单次描述器的延迟水平，恢复多阶段验证的质量。

查看arXiv页面（https://arxiv.org/abs/2609.00591）查看PDF（https://arxiv.org/pdf/2609.00591）项目页面（https://srynsh.github.io/SimLoss-Image-Captioning/）添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2609.00591）

在智能助手中获取本文：

hf papers read 2609\.00591

尚未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

暂无模型关联本文

在模型README.md中引用arxiv.org/abs/2609.00591以从本页建立链接。

引用本文的数据集0

暂无数据集关联本文

在数据集README.md中引用arxiv.org/abs/2609.00591以从本页建立链接。

引用本文的空间0

暂无空间关联本文

在空间README.md中引用arxiv.org/abs/2609.00591以从本页建立链接。

包含本文的收藏集1