Tag
BYOD presents a LoRA-only recipe for efficiently converting autoregressive language models into diffusion language models, achieving conversion of Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B, and Ministral 8B in about 3-4 hours on a single Colab GPU while keeping all base parameters frozen.
提出 Self-Direction 机制，让智能体在任务失败后自我反思并将教训蒸馏进轻量级 LoRA 适配器，构建可持久复用的教训库，在 GAIA、Claw-Eval 和 Terminal-Bench 2.1 上将成功率提升 8.9 至 17.0 个百分点，并显著减少重复犯错。
论文提出 LSA-PAST，一种面向组合式增量学习（composition-IL）的参数高效方法，通过在冻结 ViT 中注入深度特化的 LoRA 适配器并用无复习的仿射变换将旧原型映射到新适配器空间，实现了精度-遗忘权衡的 state-of-the-art 表现。
该论文提出 Continuum-LM，将预训练残差变换复用为连续深度语言模型中的动力学算子，通过 ODE 数值积分控制计算量，在八项科学任务上较离散基线分别在 0.6B 和 1.7B 规模提升 7.77 和 10.96 个百分点的平均准确率。
ToPA 提出了一种基于分块Toeplitz矩阵的参数高效微调方法，避免了低秩和稀疏结构的限制，在21个NLP和CV数据集、5种模型架构上验证了其表达力与训练稳定性。
AcrossVAM2.0 提出一种冲突感知的点对应监督方法，用于参数高效的视频扩散模型适配，通过置信度加权跟踪头、零初始化残差反馈和非对称 PCGrad，在保持预训练外观先验的同时提升对应一致性，但并不均匀改善视频质量。
提出 Squelch——一种无路由、无新增可训练参数的 rank-one LoRA 专家混合方法，通过噪声底限软阈值和 Stein 无偏风险估计为每个 token 自适应选择激活秩，并在常识推理、知识、数学、代码和 GLUE 基准上显著优于 LoRA 与最强混合基线。
一篇技术报告，用范畴学视角重新审视参数高效微调（PEFT）方法，将预训练检查点视为权重空间的基点、微调方法视为映射，并以像、纤维与基变换三个不变量刻画表达性、训练动力学与可合并性。作者据此以七个可从公式判读的坐标分类了来自138篇论文的382种方法。
本文提出 Diffu-LoRA，一种通过可学习门控与双层优化实现非均匀秩分配的参数高效方法，用于个性化文本到图像扩散模型，在 DreamBooth 等数据集上相较基线提升了主体保真度与提示对齐效果。
本文档研究了基于SVD的KV缓存压缩中"仅编码器修复"的参数高效微调方法，发现当为每个实验组单独调整学习率后，仅训练编码器（冻结解码器）以3倍更少的可训练参数和3倍更少的优化器内存即可达到与全量微调相同的精度，同时揭示了共享学习率在比较不同参数量微调方案时的常见实验缺陷。
该论文系统比较了六种参数高效微调（PEFT）方法在语言和扩散模型中的表现，发现LoRA家族方法也近似保持预训练几何结构，质疑了显式几何保持的必要性，并指出LoRA在抑制遗忘方面最稳定、DoRA在多数对比中取得更高任务得分。
论文提出 MaRK（Markov-adapted Recurrent Kernels），一种将上下文向量直接映射为冻结 SSM 递归参数有界调制的动态算子条件化框架，用于将预训练 SSM 适配到迭代扩散生成任务，在 111M Hydra 骨干上仅需 6.3–11M 可训练参数，其中 Chebyshev 变体表现最佳。
MuLoRA introduces a spectrally balanced low-rank adaptation method for continual learning that identifies 'spectral plasticity collapse' in LoRA updates and addresses it via historical whitening and momentum-based orthogonalization, achieving the best mean accuracy in 15 of 16 reported metrics across class-incremental benchmarks.
PACT introduces a four-term training objective for single-token typed-decision models that exploits contrastive pairs and certificate-verified ablations, matching baseline accuracy while significantly reducing position bias, seed variance, and calibration error.
The paper proposes label-free bias-only TTRL, which uses majority-vote pseudo-labels as rewards and optimizes only ~100K bias parameters with a frozen backbone, reaching 76.67% on MATH-500 with Qwen2.5-7B and transferring across vision-language and audio reasoning tasks.
UO-FIE is a parameter-efficient system for factivity inference that combines exact-label supervision with graded utility, achieving first place in the fine-tuning track of FIE2026 with a macro utility of 0.8316.
The paper proposes CRN v2, a lightweight correction module that fixes errors in frozen language models without degrading base capabilities, achieving 53.3% correction on a domain exam while preserving standard benchmarks.
This paper studies the trade-offs in LoRA rank selection for diffusion model fine-tuning, showing that small-to-moderate ranks like 4 and 8 optimize efficiency by balancing FID scores and computational costs.
ACE introduces a method to consolidate redundant adapters across experts in MoE large language models for more efficient parameter-efficient fine-tuning, achieving up to 1.48× training speedup without increasing peak memory.
This paper benchmarks federated LoRA adaptation of BiomedCLIP for chest X-ray classification across four international cohorts, demonstrating improved performance over unadapted models and approaching centralized training results.