RF-DETR：面向实时检测Transformer的神经架构搜索
摘要
RF-DETR提出了一种轻量级检测Transformer，通过权重共享神经架构搜索实现最先进的实时目标检测，在COCO和Roboflow100-VL上优于先前方法，同时运行速度快达20倍。
查看缓存全文
缓存时间: 2026/05/23 18:25
论文页面 - RF-DETR：面向实时检测变换器的神经架构搜索
来源：https://huggingface.co/papers/2511.09554 发布于 2025年11月12日
摘要
RF-DETR，一种轻量级检测变换器，利用权重共享NAS优化准确率和延迟，使其适用于多种数据集的实时检测。
开放词汇检测器（https://huggingface.co/papers?q=Open-vocabulary%20detectors）在COCO（https://huggingface.co/papers?q=COCO）上取得了令人瞩目的性能，但往往难以泛化到包含预训练中不常见的分布外类别的真实世界数据集。我们并非简单地对一个重型视觉语言模型（https://huggingface.co/papers?q=vision-language%20model）（VLM）进行微调以适应新领域，而是提出RF-DETR，一种轻量级专用检测变换器（https://huggingface.co/papers?q=detection%20transformer），它通过权重共享神经架构搜索（https://huggingface.co/papers?q=weight-sharing%20neural%20architecture%20search）（NAS（https://huggingface.co/papers?q=NAS））为任意目标数据集发现准确率-延迟帕累托曲线。我们的方法（https://huggingface.co/papers?q=ap）在目标数据集上微调预训练的基础网络，并在无需重新训练的情况下评估数千种具有不同准确率-延迟权衡的网络配置。此外，我们重新审视了NAS（https://huggingface.co/papers?q=NAS）的“可调节旋钮”，以提升DETR向不同目标领域的迁移能力。值得注意的是，RF-DETR在COCO（https://huggingface.co/papers?q=COCO）和Roboflow100-VL（https://huggingface.co/papers?q=Roboflow100-VL）上显著超越了以往的先进实时方法（https://huggingface.co/papers?q=real-time%20methods）。RF-DETR（nano）在COCO（https://huggingface.co/papers?q=COCO）上达到48.0 AP（https://huggingface.co/papers?q=AP），在类似延迟下比D-FINE（nano）高出5.3 AP（https://huggingface.co/papers?q=AP）；RF-DETR（2x-large）在Roboflow100-VL（https://huggingface.co/papers?q=Roboflow100-VL）上比GroundingDINO（tiny）高出1.2 AP（https://huggingface.co/papers?q=AP），同时运行速度快20倍。据我们所知，RF-DETR（2x-large）是首个在COCO（https://huggingface.co/papers?q=COCO）上超过60 AP（https://huggingface.co/papers?q=AP）的实时检测器。我们的代码位于 https://github.com/roboflow/rf-detr
查看 arXiv 页面（https://arxiv.org/abs/2511.09554）查看 PDF（https://arxiv.org/pdf/2511.09554）项目页面（https://rfdetr.roboflow.com/1.3.0/）GitHub 7.27k（https://github.com/roboflow/rf-detr）加入收藏（https://huggingface.co/login?next=%2Fpapers%2F2511.09554）
在您的代理中获取本论文：
hf papers read 2511.09554
没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash
引用本论文的模型36
stevenbucaille/rf-detr-small 目标检测 • 32.1M • 更新于4月14日 • 78 • 1（https://huggingface.co/stevenbucaille/rf-detr-small）
Roboflow/rf-detr-medium 目标检测 • 33.7M • 更新于3天前 • 116 • 1（https://huggingface.co/Roboflow/rf-detr-medium）
Roboflow/rf-detr-seg-xxlarge 图像分割 • 38.6M • 更新于3天前 • 312 • 1（https://huggingface.co/Roboflow/rf-detr-seg-xxlarge）
Roboflow/rf-detr-segmentation 图像分割 • 34.2M • 更新于3天前 • 31 • 1（https://huggingface.co/Roboflow/rf-detr-segmentation）
浏览引用本论文的36个模型（https://huggingface.co/models?other=arxiv:2511.09554）
引用本论文的数据集0
没有数据集链接此论文
请在数据集的 README.md 中引用 arxiv.org/abs/2511.09554 以将其链接到此页面。
引用本论文的 Spaces4
包含本论文的收藏集4
相似文章
@Phoenixyin13: 在目标检测界，一直有两个门派： YOLO 派，传统豪强，走的是天下武功，唯快不破的路线。速度极快，是工业界、无人机、监控摄像头的绝对霸主。 Transformer 派，学院派贵族，脑子聪明精度极高，但由于算力消耗太大，过去像个林黛玉，在需…
ICLR2026上提出的RF-DETR模型结合了Transformer的高精度和实时性，在100个真实场景中取得高分，并提供从Nano到2XL的多种规模，有望替代YOLO在实时检测领域的地位。
@_avichawla: 英伟达研究人员构建了一种新的Transformer变体。对层结构做了一个小改动：- 解码速度提升1.7倍 - long-…
英伟达研究人员推出了SparDA，这是一种新的Transformer变体，它增加了一个第四投影（Forecast）来预测下一层的KV块，从而支持从CPU内存预取并降低选择成本，实现了解码速度提升1.7倍，并在长程推理任务上准确率提升6.5个百分点。
CamoNAS：面向增强伪装目标检测的神经架构搜索
介绍了CamoNAS，一种用于伪装目标检测的频率感知多分辨率神经架构搜索框架，在四个基准测试上取得了最先进的结果。
用于设备端故障检测的轻量级Transformer模型：资源受限部署的基准研究
一项基准研究，在三个公开数据集上对比了传统机器学习方法（随机森林、XGBoost、SVM、逻辑回归）与轻量级Transformer变体（DistilBERT、TinyBERT、MobileBERT）在设备端故障检测中的表现。传统机器学习在远小得多的资源占用下实现了有竞争力的准确率，而TinyBERT-4L是最便于部署的Transformer模型。
优化Transformer神经网络在FPGA上的实时异常检测
本文探讨了在FPGA上优化Transformer神经网络推理以实现金融时间序列的实时异常检测，并在PYNQ-Z2开发板上展示了高效的实现。