YOLO-PEFT:YOLO系列上的参数高效微调
摘要
YOLO-PEFT 是一个结构感知框架,将适配器放置建模为约束规划问题,用于 YOLO 检测器的参数高效微调,在降低内存占用的同时取得了优于全量微调的 mAP。
查看缓存全文
缓存时间: 2026/08/10 06:13
论文页面 - YOLO-PEFT:YOLO 家族上的参数高效微调
摘要
从语言模型迁移而来的通用参数高效微调(PEFT)方法在实时检测器上可能会静默失败,因为检测器中的异构算子与检测专用组件引入了常规 Transformer 堆叠中不存在的放置约束。我们提出 YOLO-PEFT,一个结构感知框架,将适配器放置形式化为可审计的约束规划问题。给定检测器图、PEFT 请求和资源预算,YOLO-PEFT 分配算子与语义角色,评估显式的算子有效性、检测器语义、图接口和部署谓词,为每个被排除的模块记录原因代码,并在训练前要么输出一个有预算的目标模块计划,要么返回 Refuse。在官方 VOC07+12 trainval 到 VOC07 测试协议下,规划器选择的 RS-LoRA 在 YOLO11s 和 YOLO12s 上分别达到 0.7138 和 0.7307 mAP50-95,而 Full-SFT 为 0.6428 和 0.6662。在 RT-DETR-L 上,所有七个评估的 LoRA 家族配置都超过了预定义的灾难性阈值,支持在评估覆盖范围内做出校准的 Refuse-to-Full-SFT 决策。一项受控的 YOLO11 审计进一步表明,LoRA 将峰值训练内存减少了 43.9%,尽管训练时间延长了 1.72 倍。在评估的检测器家族、放置策略和校准覆盖范围内,YOLO-PEFT 用显式、可检查的规划取代了手动的目标模块试错,同时保留了经过验证的训练-保存-合并-导出路径;对未见过的检测器架构的拒绝仍然是一个开放的验证问题。项目页面:github.com/Tencent/YOLO-Master
查看 arXiv 页面 (https://arxiv.org/abs/2608.07051) 查看 PDF (https://arxiv.org/pdf/2608.07051) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.07051)
在你的代理中获取这篇论文:
hf papers read 2608\.07051
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2608.07051,即可从此页面链接它。
引用此论文的数据集 0
没有数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2608.07051,即可从此页面链接它。
引用此论文的 Space 0
没有 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2608.07051,即可从此页面链接它。
包含此论文的收藏 0
没有收藏包含此论文
将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接它。
相似文章
@HuggingPapers:YOLO-PEFT 腾讯研究人员提出一种结构感知框架,将适配器放置转化为可审计的约束规划…
腾讯研究人员提出YOLO-PEFT,一种结构感知框架,将适配器放置视为约束规划,在YOLO检测器上优于全量微调,同时使用的可训练参数显著更少。
ShadowPEFT:面向参数高效微调的阴影网络
ShadowPEFT 提出一种集中式参数高效微调方法,通过深度共享的阴影模块细化 Transformer 层表示,在可训练参数量与 LoRA/DoRA 相当的情况下实现同等甚至更优的性能。
超越LoRA:你能击败最流行的微调技术吗?
探讨LoRA是否是最佳参数高效微调技术,并介绍PEFT库中用于比较方法的工具。
关于PEFT的规模化:迈向万亿参数的百万个性化模型
本文探索将参数高效微调(PEFT)用作持久化个性化模型的紧凑基底,研究了向上、向下和向外扩展,并介绍了用于管理适配器的MinT。
Energy- and Memory-Efficient PEFT Methods for Personalized On-Device SLMs on Consumer GPUs
The paper compares five parameter-efficient fine-tuning methods on four small language models for on-device personalization, finding LoRA+ best for energy efficiency and QLoRA best for memory-limited deployment.