parameter-efficient

标签

Cards List
#parameter-efficient

GRASP: 梯度对齐顺序参数迁移——面向内存高效的多源学习

arXiv cs.LG ↗ · 2026-06-16 缓存

GRASP提出一种多源迁移学习方法,顺序合并源模型到单个目标模型,内存占用恒定O(1),使用基于梯度的参数对齐避免负迁移。实验表明其性能优于集成方法且内存效率更高。

0 人收藏 0 人点赞
#parameter-efficient

LoRA优化中缩放因子的潜藏威力

arXiv cs.AI ↗ · 2026-06-12 缓存

本文揭示了LoRA优化中缩放因子α比学习率更具影响力,并提出了LoRA-α框架,通过将α恢复到其理论原则区间,提升了性能并简化了超参数搜索。

0 人收藏 0 人点赞
#parameter-efficient

使用ART微调多模态大语言模型:基于艺术强化训练

Hugging Face Daily Papers ↗ · 2026-06-10 缓存

ART(基于艺术强化训练)通过梯度反向传播优化原始视觉输入,实现对冻结的多模态大语言模型的参数高效微调,其性能与LoRA相当,同时支持为vLLM等高吞吐引擎预编译的计算图。

0 人收藏 0 人点赞
#parameter-efficient

顺序至关重要:LLaMA的序列微调实现连贯的自动化作文评分

arXiv cs.CL ↗ · 2026-06-10 缓存

本文研究了使用与话语结构对齐的课程对LLaMA-3.1-8B进行序列微调用于自动化作文评分,结果表明与独立或随机训练相比,连贯性和性能均有提升。

0 人收藏 0 人点赞
#parameter-efficient

@FinanceYF5: 西班牙 Multiverse Computing 的 Aizpurua 团队提出用小块量子电路为预训练大模型扩容:不堆参数,而把复杂数学关系压进量子电路。 给 Llama 3.1 8B 只加约 6000 个参数(不到原模型万分之一),困惑…

X AI KOLs Following ↗ · 2026-06-08 缓存

西班牙 Multiverse Computing 的 Aizpurua 团队提出用小块量子电路为预训练大模型扩容,仅给 Llama 3.1 8B 增加约 6000 个参数即可降低困惑度 1.4%,验证了量子电路辅助大模型扩展的可行性。

0 人收藏 0 人点赞
#parameter-efficient

基于可学习秩的参数高效微调

arXiv cs.CL ↗ · 2026-06-04 缓存

来自阿德莱德大学的研究人员提出了 LR-LoRA(可学习秩 LoRA),这是一种参数高效微调方法,在训练过程中动态学习每个 Transformer 层的适配器秩,而非使用固定的全局秩。LR-LoRA 在语言理解和常识推理基准测试上达到了最先进的性能,超越了固定秩 LoRA 基线。

0 人收藏 0 人点赞
#parameter-efficient

LoomVideo:统一多模态输入的视频生成与编辑

Hugging Face Daily Papers ↗ · 2026-06-04 缓存

LoomVideo提出了一种5B参数的统一架构用于视频生成和编辑,通过新颖的条件机制和多模态对齐减少计算开销,实现了具有竞争力的性能和更快的推理速度。

0 人收藏 0 人点赞
#parameter-efficient

SALSA:通过学习的引导激活向量实现语音感知LLM的自适应

arXiv cs.CL ↗ · 2026-06-02 缓存

SALSA提出了一种轻量级自适应方法,用于语音感知的大语言模型,通过监督目标学习逐层引导向量,在域外语音基准上取得了显著改进(相对提升高达46.8%),并表明引导编码器层(尤其是较深层)比修改LLM主干更有效。

0 人收藏 0 人点赞
#parameter-efficient

CSULoRA: 最接近安全更新的低秩适应

arXiv cs.LG ↗ · 2026-06-01 缓存

CSULoRA是一种事后方法,用于纠正训练后的LoRA适配器,以在保持实用性的同时保留安全对齐,该方法利用最接近安全更新估计。

0 人收藏 0 人点赞
#parameter-efficient

小巧但可信:高效视觉语言推理用于时间序列异常检测

Hugging Face Daily Papers ↗ · 2026-05-28 缓存

本文提出 VisAnomReasoner,一个参数高效的视觉语言模型,在带自然语言解释的新基准 VisAnomBench 上微调,在时间序列异常检测中精度和 F1 提升超过 21 个百分点,并展现出强大的跨基准泛化能力。

0 人收藏 0 人点赞
#parameter-efficient

符号胜过浮点:用于设备上微调的Low-Rank Double-Binary Adaptation

arXiv cs.LG ↗ · 2026-05-26 缓存

LoRDBA将LoRA的浮点低秩因子替换为二元符号载体和通道级缩放,实现了高效的设备上微调,显著减少了占用空间,延迟开销极小,质量与fp16相当。

0 人收藏 0 人点赞
#parameter-efficient

面向多模态在线分布式工业异常检测的参数高效多类智能调度

arXiv cs.LG ↗ · 2026-05-26 缓存

本文提出MODIAD,一种面向多模态在线分布式工业异常检测的框架,通过多类智能调度问题和资源高效类级低秩自适应(REC-LoRA)策略解决资源约束问题。在MVTec 3D-AD和Eyecandies数据集上的实验展示了卓越的性能和效率。

0 人收藏 0 人点赞
#parameter-efficient

FuRA:基于频谱预条件的全秩参数高效微调

arXiv cs.LG ↗ · 2026-05-25 缓存

FuRA 提出了一种基于频谱预条件的全秩参数高效微调方法,通过块张量列车分解实现,在保持 LoRA 级别效率的同时达到比全微调更高的准确率。它在 LLM 和 VLM 任务上优于 LoRA 和全微调。

0 人收藏 0 人点赞
#parameter-efficient

从参数到数据:一种任务参数引导的高效LLM对齐微调流水线

arXiv cs.LG ↗ · 2026-05-22 缓存

P2D是一个统一框架,利用任务敏感的注意力头进行数据选择和结构剪枝,通过仅更新10%的头部和10%的数据,实现了8.3个百分点的性能提升和7.0倍的加速。

0 人收藏 0 人点赞
#parameter-efficient

@techNmak: 每个人都在微调LLM,但几乎没人真正理解模型内部到底在更新什么。以下是5种技术…

X AI KOLs Timeline ↗ · 2026-05-21

介绍了五种参数高效微调技术:LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+,详细说明了每种技术在适配过程中如何修改模型权重。

0 人收藏 0 人点赞
#parameter-efficient

HELLoRA:面向混合专家模型的热门专家层级别低秩适配

arXiv cs.LG ↗ · 2026-05-20 缓存

HELLoRA 为混合专家模型引入了激活感知的适配器放置策略,仅将 LoRA 附加到热门专家上,从而减少参数和 FLOPs,同时提升在推理、代码和安全任务上的性能。

0 人收藏 0 人点赞
#parameter-efficient

利用更优词元加速学习:面向专业文本摘要的参数高效词表适配

arXiv cs.CL ↗ · 2026-05-19 缓存

本文提出了一种针对专业领域LLM文本摘要的参数高效词表适配方法,通过扩充预训练分词器中的领域专用词元并选择性替换训练不足的词元,将训练时间减少35-55%,参数数量减少高达37%。

0 人收藏 0 人点赞
#parameter-efficient

@_vmlops:在单GPU上微调12B模型已成现实 大多数人以为需要庞大的GPU集群才能微调大型语言模型…

X AI KOLs Timeline ↗ · 2026-05-17 缓存

Hugging Face 的 PEFT 库实现了在单张 GPU 上对大型模型进行参数高效微调,在降低计算和存储成本的同时保持性能。

0 人收藏 0 人点赞
#parameter-efficient

PEML:面向优化连续提示的参数高效多任务学习

arXiv cs.CL ↗ · 2026-05-15 缓存

PEML提出了一种参数高效的多任务学习方法,通过低秩自适应共同优化连续提示和模型权重。在多个基准测试上,平均准确率提升高达6.67%。

0 人收藏 0 人点赞
#parameter-efficient

参数高效的多视角熟练度评估:从判别式分类到生成式反馈

Hugging Face Daily Papers ↗ · 2026-05-05 缓存

本文针对 Ego-Exo4D 数据集提出了三种参数高效的多视角熟练度评估方法,实现了从判别式分类到生成式反馈的转变。与基于视频 Transformer 的基线模型相比,所提出的模型在参数量和训练轮次大幅减少的同时,取得了最先进的准确率。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈