论文页面 - WinARDet：用于长时程视觉-语言定位的压缩窗口自回归

来源：https://huggingface.co/papers/2610.19419

摘要

压缩窗口自回归（Compressed Window Auto-Regression）将长答案序列划分为多个窗口，采用受限的自回归机制与压缩的潜在历史，在密集视觉-语言定位任务中防止注意力被劫持以及框的重复生成。

基于 MLLM 的检测器将视觉-语言定位表述为自回归坐标生成（https://huggingface.co/papers?q=autoregressive%20coordinate%20generation），然而在密集场景中，它们往往会陷入框重复循环，反复输出相同的框，直到解码预算耗尽。我们将这一失败归因于历史答案的注意力劫持：在全历史自回归下，不断增长的答案历史中重复出现的坐标 token 会吸引过多注意力，挤占用于关注新视觉证据所必需的注意力汇聚点（attention sinks）（https://huggingface.co/papers?q=attention%20sinks）。为打破这一循环，本文提出了压缩窗口自回归（Compressed Window Auto-Regression）（https://huggingface.co/papers?q=Compressed%20Window%20Auto-Regression)（WinAR）。这一新机制将长答案序列划分为连续的生成窗口，将完整的 token 级自回归限制在当前窗口内，同时将每个先前窗口压缩为一组固定的潜在 token（latent tokens）（https://huggingface.co/papers?q=latent%20tokens），用于条件化后续解码。该设计减少了对原始历史坐标的重复暴露——正是这种暴露引发了注意力劫持——同时保留了对连贯的多对象生成至关重要的跨窗口依赖（cross-window dependencies）（https://huggingface.co/papers?q=cross-window%20dependencies）。在每张图像包含 200-2,000 个对象的 RSDense（https://huggingface.co/papers?q=RSDense）数据集上，我们的模型 WinARDet（https://huggingface.co/papers?q=WinARDet）相比基线将 RexOmni F1 分数（IoU=0.5）从 32.16 提升至 39.36，同时将冗余率从 35.48% 降低至 13.00%。WinARDet（https://huggingface.co/papers?q=WinARDet）还能跨解码策略和输出格式进行泛化，包括并行框解码（parallel box decoding）（https://huggingface.co/papers?q=parallel%20box%20decoding）和多边形生成（polygon generation）（https://huggingface.co/papers?q=polygon%20generation），为跨场景密度的长时程视觉-语言定位提供了一个实用范式。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19419) 查看 PDF (https://arxiv.org/pdf/2610.19419) 项目页面 (https://github.com/facias914/WinARDet) GitHub17 (https://github.com/facias914/WinARDet) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.19419)

在你的智能体中获取这篇论文：

hf papers read 2610\.19419

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型 1

facias/WinARDet 更新于5天前 (https://huggingface.co/facias/WinARDet)

引用本论文的数据集 0

暂无数据集关联本论文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.19419 即可从此页面关联。

引用本论文的 Space 0

暂无 Space 关联本论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.19419 即可从此页面关联。

收录本论文的收藏夹 0

暂无收藏夹收录本论文。

将本论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面关联。