low-rank-adaptation

标签

Cards List
#low-rank-adaptation

相同秩,不同需求:重新思考联邦学习中的 LoRA 再分配

arXiv cs.LG ↗ · 昨天 缓存

本文提出了 RASA,一种用于在联邦学习中重新分配聚合 LoRA 更新的接收方感知框架,表明谱截断所造成的响应误差可以比输入感知读出方法高出任意倍数,并取得了在 DomainNet-100 上提升 3.23 个百分点、在 SuperNI 上 ROUGE-L 得分最高提升 8.33 分等成效。

0 人收藏 0 人点赞
#low-rank-adaptation

将语言模型折叠进自身

arXiv cs.CL ↗ · 4天前 缓存

Concertina 技术报告提出将教师模型中每 N 个相邻层折叠为一个共享块并执行 N 次,配合低秩修正与逐词元门控,从教师权重直接构建学生模型。在 Qwen3-4B 上蒸馏得到的 22.7 亿参数模型仅使用 220 亿词元,即在八个基准上平均保留了教师模型 84% 的能力。

0 人收藏 0 人点赞
#low-rank-adaptation

PROLA:用于预测性时空天气降尺度的主方向正交低秩适应

Hugging Face Daily Papers ↗ · 2026-11-08 缓存

本文提出了 PROLA,一种主方向正交低秩适配方法,将固定的秩预算分配给预训练权重的主方向及其正交补空间,并引入了一项预测性时空天气降尺度任务。在该任务中,PROLA 在多种数据集上的表现均优于现有的低秩适配基线方法。

0 人收藏 0 人点赞
#low-rank-adaptation

面向参数高效微调的层级低秩重参数化

arXiv cs.CL ↗ · 2026-10-28 缓存

提出一种层级低秩重参数化方法,将PEFT方法的可训练参数重组为近似方阵并递归进行低秩分解,可在压缩约一个数量级参数的同时保持甚至提升LoRA/DoRA在常识推理与数学推理任务上的性能。

0 人收藏 0 人点赞
#low-rank-adaptation

低成本 LoRA:面向适配器集群的功能感知事后压缩

arXiv cs.AI ↗ · 2026-10-28

一篇新的 arXiv 论文提出了功能秩分配(FRA),这是一种无需标注的方法,通过功能秩失真前沿和共享秩预算下的适配器群级极小极大分配,压缩大规模 LoRA 适配器群。在来自三个公开适配器群的 78 个适配器上,该方法相较于均匀谱压缩,提升了最坏情况和尾部效用。

0 人收藏 0 人点赞
#low-rank-adaptation

别忘记你刚刚学到的:自主纠错将智能体的错误转化为持久的经验教训

arXiv cs.AI ↗ · 2026-10-26

提出 Self-Direction 机制,让智能体在任务失败后自我反思并将教训蒸馏进轻量级 LoRA 适配器,构建可持久复用的教训库,在 GAIA、Claw-Eval 和 Terminal-Bench 2.1 上将成功率提升 8.9 至 17.0 个百分点,并显著减少重复犯错。

0 人收藏 0 人点赞
#low-rank-adaptation

水印适用性:基于Logit的水印度量并提升语言模型兼容性

arXiv cs.CL ↗ · 2026-10-19 缓存

论文提出“watermarkability”指标来量化语言模型与基于logit的水印规则的兼容性,并通过两阶段方法(目标集条件LoRA加闭环控制器)在保持高水印可靠性的同时显著降低困惑度增加。

0 人收藏 0 人点赞
#low-rank-adaptation

ToPA:用于表达力与高效微调的分块Toeplitz适应方法

arXiv cs.AI ↗ · 2026-10-19 缓存

ToPA 提出了一种基于分块Toeplitz矩阵的参数高效微调方法,避免了低秩和稀疏结构的限制,在21个NLP和CV数据集、5种模型架构上验证了其表达力与训练稳定性。

0 人收藏 0 人点赞
#low-rank-adaptation

MorphAct:随所处世界而变化的机器人策略

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

MorphAct 提出一种上下文参数化框架,通过两个耦合的低秩生成器动态调整机器人策略参数,缓解不同交互上下文中相互冲突的参数更新,在 LIBERO、Meta-World 及真实机器人实验中相比多个 VLA 骨干网络最高提升 16.30%。

0 人收藏 0 人点赞
#low-rank-adaptation

Cortex:将上下文整合到参数化记忆中

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

论文提出 Cortex 方法,通过生成前瞻性查询并将上下文条件化输出蒸馏为可合并的低秩或结构化前馈网络更新,实现将上下文增益固化到参数记忆中,在保留 99.8% 原有非目标任务性能的同时恢复 88.9% 的上下文增益。

0 人收藏 0 人点赞
#low-rank-adaptation

冻结解码器,修复编码器:面向基于SVD的KV-Cache压缩的参数高效适配

arXiv cs.LG ↗ · 2026-10-09 缓存

本文档研究了基于SVD的KV缓存压缩中"仅编码器修复"的参数高效微调方法,发现当为每个实验组单独调整学习率后,仅训练编码器(冻结解码器)以3倍更少的可训练参数和3倍更少的优化器内存即可达到与全量微调相同的精度,同时揭示了共享学习率在比较不同参数量微调方案时的常见实验缺陷。

0 人收藏 0 人点赞
#low-rank-adaptation

MuLoRA:用于持续学习的谱均衡低秩适配方法

arXiv cs.LG ↗ · 2026-10-05 缓存

MuLoRA 提出了一种面向持续学习的谱均衡低秩适配方法。该方法识别出 LoRA 更新中的「谱可塑性坍缩」现象,并通过历史白化和基于动量的正交化加以应对,在类别增量基准的 16 项指标中有 15 项取得了最佳平均准确率。

0 人收藏 0 人点赞
#low-rank-adaptation

PALM:金融语言模型的特定时间点适应方法

arXiv cs.LG ↗ · 2026-09-29 缓存

本文提出PALM,这是一种低秩适配器方法,可将金融语言模型适应到特定时间点,无需完全重新训练,从而减少金融回测中的前瞻偏差和计算成本。

0 人收藏 0 人点赞
#low-rank-adaptation

通过ℓp正则化在大语言模型中实现低秩适应的自动秩分配

arXiv cs.LG ↗ · 2026-09-25 缓存

本文介绍了一种基于ℓp正则化的自动秩分配方法ℓp-LoRA,该方法用于低秩适应,并在自然语言处理任务上展示了具有竞争力的性能。

0 人收藏 0 人点赞
#low-rank-adaptation

ChainDoRA: 基于Tensor-Train分解的权重分解低秩适应用于参数高效的大语言模型微调

arXiv cs.CL ↗ · 2026-09-23 缓存

本文提出了ChainDoRA,一种针对大语言模型的参数高效微调方法,它结合了Tensor-Train分解和权重分解低秩适应,实现了可训练参数90.62%的减少,并在LoRA和DoRA的基础上提高了准确率。

0 人收藏 0 人点赞
#low-rank-adaptation

LoRA增强对比学习与SAS视觉Transformer

arXiv cs.AI ↗ · 2026-09-21 缓存

本文提出了一种参数高效的适应框架,利用LoRA和对比学习增强视觉Transformer,用于合成孔径声呐图像中的自动目标识别。

0 人收藏 0 人点赞
#low-rank-adaptation

LARA:用于冻结的LLMs的小型可组合行为 [P]

Reddit r/MachineLearning ↗ · 2026-09-16

LARA是一个研究项目和PyTorch库,使用低秩残差适配器为冻结的大型语言模型启用模块化、可组合的行为,允许高效的训练和推理时多种行为的融合。

0 人收藏 0 人点赞
#low-rank-adaptation

FLoKD:用于无线网络上联邦低秩LLM的自适应知识蒸馏

arXiv cs.AI ↗ · 2026-09-15 缓存

本文提出FLoKD,一种用于无线网络上联邦LoRA微调LLM的自适应知识蒸馏框架,可将通信开销降低50-65%,同时保持竞争性能。

0 人收藏 0 人点赞
#low-rank-adaptation

基于模型的强化学习的摊销低秩适应

arXiv cs.LG ↗ · 2026-09-14 缓存

本文介绍CLAW,一种使用超网络生成世界模型低秩适配器的方法,能够在有限的测试时数据下实现基于模型的强化学习中的高效在线适应。

0 人收藏 0 人点赞
#low-rank-adaptation

基于各向同性曲率联合切空间优化的秩高效LoRA方法

arXiv cs.LG ↗ · 2026-09-14 缓存

本文介绍了Iso-LoRA,一种通过在切空间扰动上进行谱下降来促进奇异方向上均匀能量分布的优化器,从而增强LoRA,提高语言模型适配中的有效秩和下游性能。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈