论文页面 - DRIFT: 一种用于解码视觉-语言模型中连续输出的残差流适配器

来源: https://huggingface.co/papers/2606.05758

摘要

DRIFT 是一个框架，通过结合粗预测与基于流匹配的迭代精化，适配预训练的视觉-语言模型以进行连续解码任务，从而在感知和规划任务上提升性能。

许多现代视觉-语言模型 (https://huggingface.co/papers?q=vision-language%20models) (VLM) 构建在离散令牌 (https://huggingface.co/papers?q=discrete%20tokens) 的自回归解码 (https://huggingface.co/papers?q=autoregressive%20decoding) 之上。虽然基于文本的输出接口支持可扩展的预训练以及跨多样任务的强零样本泛化能力，但它们并不适合需要精确连续输出 (https://huggingface.co/papers?q=continuous%20outputs) 的问题，例如定位事件的时间边界或生成机器人控制 (https://huggingface.co/papers?q=robotic%20control) 动作。为了解决这一挑战，我们提出了 DRIFT，一个用于适配预训练 VLM 到连续解码任务的通用框架。DRIFT 结合了一个基础预测器 (https://huggingface.co/papers?q=base%20predictor)（提供目标输出的粗估计）和一个基于流匹配 (https://huggingface.co/papers?q=flow%20匹配) 的生成式精化模块 (https://huggingface.co/papers?q=generative%20refinement%20module)（迭代改进预测）。这种残差公式 (https://huggingface.co/papers?q=residual%20formulation) 将生成建模问题从学习全局输出分布 (https://huggingface.co/papers?q=global%20output%20distribution) 转化为在强先验周围建模局部残差分布 (https://huggingface.co/papers?q=localized%20residual%20distribution)，从而显著简化优化过程。我们在感知和规划任务上（包括视觉定位 (https://huggingface.co/papers?q=visual%20grounding) 和机器人控制 (https://huggingface.co/papers?q=robotic%20control)）评估了 DRIFT。在跨 MLLMs、VLAs 和 WAMs 的多个任务和架构中，DRIFT 始终优于一组强大的基于回归和生成的解决方案。

查看 arXiv 页面 (https://arxiv.org/abs/2606.05758) | 查看 PDF (https://arxiv.org/pdf/2606.05758) | 项目页面 (https://dragonlzm.github.io/DRIFT/) | GitHub0 (https://github.com/dragonlzm/DRIFT) | 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.05758)

引用此论文的模型0

无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.05758 以从此页面链接。

引用此论文的数据集0

无数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.05758 以从此页面链接。

引用此论文的 Space0

无 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.05758 以从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。