YOLO-PEFT:YOLO系列上的参数高效微调

Hugging Face Daily Papers 论文

摘要

YOLO-PEFT 是一个结构感知框架,将适配器放置建模为约束规划问题,用于 YOLO 检测器的参数高效微调,在降低内存占用的同时取得了优于全量微调的 mAP。

从语言模型迁移而来的通用参数高效微调(PEFT)方法在实时检测器上可能会静默失败,因为检测器的异构算子与检测专用组件施加了常规 Transformer 堆栈中不存在的放置约束。我们提出 YOLO-PEFT,一个结构感知框架,将适配器放置建模为可审计的约束规划问题。给定检测器图、PEFT 请求和资源预算,YOLO-PEFT 分配算子与语义角色,评估显式的算子有效性、检测器语义、图接口和部署谓词,为每个被排除的模块记录原因代码,并在训练之前输出带预算的目标模块计划或返回“拒绝”(Refuse)。在官方 VOC07+12 trainval 到 VOC07 test 协议下,规划器选择的 RS-LoRA 在 YOLO11s 和 YOLO12s 上分别达到 0.7138 和 0.7307 mAP50-95,而 Full-SFT 分别为 0.6428 和 0.6662。在 RT-DETR-L 上,所有七种评估的 LoRA 族配置均超过预定义的灾难性阈值,支持在评估覆盖范围内做出校准的“拒绝到 Full-SFT”决策。一项受控的 YOLO11 审计进一步表明,LoRA 将峰值训练内存降低了 43.9%,尽管训练时间延长了 1.72 倍。在评估的检测器家族、放置策略和校准覆盖范围内,YOLO-PEFT 用显式、可检查的规划取代了手动目标模块试错,同时保留了经过验证的训练-保存-合并-导出路径;对未见检测器架构的拒绝仍是一个开放的验证问题。项目页面:github.com/Tencent/YOLO-Master
查看原文
查看缓存全文

缓存时间: 2026/08/10 06:13

论文页面 - YOLO-PEFT:YOLO 家族上的参数高效微调

摘要

从语言模型迁移而来的通用参数高效微调(PEFT)方法在实时检测器上可能会静默失败,因为检测器中的异构算子与检测专用组件引入了常规 Transformer 堆叠中不存在的放置约束。我们提出 YOLO-PEFT,一个结构感知框架,将适配器放置形式化为可审计的约束规划问题。给定检测器图、PEFT 请求和资源预算,YOLO-PEFT 分配算子与语义角色,评估显式的算子有效性、检测器语义、图接口和部署谓词,为每个被排除的模块记录原因代码,并在训练前要么输出一个有预算的目标模块计划,要么返回 Refuse。在官方 VOC07+12 trainval 到 VOC07 测试协议下,规划器选择的 RS-LoRA 在 YOLO11s 和 YOLO12s 上分别达到 0.7138 和 0.7307 mAP50-95,而 Full-SFT 为 0.6428 和 0.6662。在 RT-DETR-L 上,所有七个评估的 LoRA 家族配置都超过了预定义的灾难性阈值,支持在评估覆盖范围内做出校准的 Refuse-to-Full-SFT 决策。一项受控的 YOLO11 审计进一步表明,LoRA 将峰值训练内存减少了 43.9%,尽管训练时间延长了 1.72 倍。在评估的检测器家族、放置策略和校准覆盖范围内,YOLO-PEFT 用显式、可检查的规划取代了手动的目标模块试错,同时保留了经过验证的训练-保存-合并-导出路径;对未见过的检测器架构的拒绝仍然是一个开放的验证问题。项目页面:github.com/Tencent/YOLO-Master

查看 arXiv 页面 (https://arxiv.org/abs/2608.07051) 查看 PDF (https://arxiv.org/pdf/2608.07051) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.07051)

在你的代理中获取这篇论文:

hf papers read 2608\.07051

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.07051,即可从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.07051,即可从此页面链接它。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.07051,即可从此页面链接它。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接它。

相似文章

ShadowPEFT:面向参数高效微调的阴影网络

arXiv cs.CL

ShadowPEFT 提出一种集中式参数高效微调方法,通过深度共享的阴影模块细化 Transformer 层表示,在可训练参数量与 LoRA/DoRA 相当的情况下实现同等甚至更优的性能。