标签
HypoLoop 是一系列原生权重编辑方法,根据科学反馈调整要编辑的参数以及误差驱动拟合的方式。该方法已使用 DeepSeek 和 Claude 在 22 项科学任务中得到验证,并在 Burgers 和 DIODE 基准测试中显著降低了误差。
本文提出了 UUE,一种轻量级大语言模型遗忘学习框架。该框架通过将参数更新投影到保留知识的正交零空间中,将遗忘重新表述为可控的模型编辑,并采用具有闭式解的非定向目标和可插拔的低秩适配器(UUE-L),在 TOFU 和 WMDP 基准测试中优于现有方法。
Dejan.ai 复现了 NeurIPS 2025 的一项研究,该研究表明,仅对随机选取的一小部分权重进行训练,就能激活潜在技能:Gemma 3 270M 在数字排序任务上从约 0% 提升到 97%,仅训练了其 1 亿个权重中的 1,000 个;在单词反转和输出干净 JSON 方面也有类似提升。
本文提出 TF-IG,一种参数高效的交互门控时频学习框架,用于基于 PPG 的心率估计,在 BIDMC PPG 数据集上以仅 84.6K 参数实现 1.227 BPM 的 MAE 和 0.9934 的皮尔逊相关系数。
论文提出了DualView,一种参数高效的多输出文本回归方法。该方法利用冻结的大语言模型提取通用表示和输出特定表示,并通过双分支架构联合预测多个数值目标。在五个任务、八个大语言模型上的实验中,该方法优于七个监督学习基线,且可训练参数量减少了82–1842倍。
提出Harness Compilation (HC)——一种离线调整冻结的小视觉语言模型与其外部 harness 之间分工的流程,利用大教师模型基于学生执行轨迹优化可复用内容与控制,并在七个VQA设置上以≤9B参数的学生模型取得9.9–23.9分的提升。研究还分析了五类运行时决策(调用、选择、参数生成、证据整合、弃答)应如何在模型与 harness 间分配。
三星半导体的这篇论文提出了 LINEUP,该方法通过学习一组可复用的低秩因子,将个性化与逐用户适配解耦,使每个用户只需训练 8 个标量参数,而非逐用户 419 万个 LoRA 参数。在六个个性化 LLM 任务的全部 12 项指标上,该方法均优于基线方法。
HyperThink 提出一种 text-to-parameter 超网络方法,通过一次前向传播直接预测 LLM 的参数更新,从而免去长思维链解码,在低延迟场景下显著提升数学与通用推理的准确率-延迟权衡。
论文提出 Local Support Learning(LSL),一种在无需访问历史数据的情况下缓解大模型灾难性遗忘的框架,通过 GMM 门控函数使权重适配器只在自身训练分布的输入上激活,从而在最多 7B 参数的 LLM 上同时保留预训练与微调能力。
本文提出 STAIR(Stale-Token Attention for Inter-query Reuse,跨查询复用的过时词元注意力)方法,将早期响应生成过程中的键值存储在固定存储库中,并仅训练 12,288 个参数来引导当前查询,在四个基准测试的 Qwen 模型上将后续轮次准确率提升最高达 11.67 个百分点。
论文提出LLMAE方法,利用潜在瓶颈将预训练的仅解码器LLMs重新定位为连续文本自编码器,实现高保真重建,并支持图像描述等下游任务。
本文提出模态门控深度适配器,用于扩展冻结的多模态嵌入模型,通过添加新模态并完全保留现有输出。实验通过音频和热模态包进行演示,提升了基准性能。
本文提出一种轻量级进化启发式调度器,以优化dLLMs中的去噪轨迹,解决如EOS Overflow和Proximal Bias等失败模式,并在推理和规划基准测试中优于基线方法。
ALPINE 介绍了一种超轻量级的空间关系架构,用于小样本图像分类,与基线模型如 Prototypical Networks 和 MAML 相比,它用更少的参数实现了精度提升,收敛更快,鲁棒性更好。
本文提出了一种三阶段训练流程,用于开发紧凑型稠密检索器,包括针对波兰语的PolDense和针对欧洲语言的EuroDense,它们在参数显著减少的情况下,与更大模型相比仍能实现强劲性能。
本文提出了一种用于LoRA微调的自适应各向异性学习率模型,以解决模块内异质性问题,提升性能并在各基准测试中提高秩容量利用率。
本文诊断了 MoE+LoRA 微调中的适配器内竞争,并介绍了 SpawnLoRA,该方法动态添加子适配器以减少跨领域的负迁移。
DRET 是一种参数高效的知识迁移方法,通过嵌入迁移将生物医学领域知识注入像 DistilBERT 这样的小型模型中,使其性能与更大的专业模型相媲美。
本文探讨了在语言模型中使用QLoRA时,事实知识获取与能力保留之间的权衡,表明更高秩的QLoRA改善了事实学习,但可能降低域外性能。
这篇文章解释了五种针对大型语言模型的参数高效微调技术,如LoRA和VeRA,详细说明了每种方法如何以最小的更新来适应模型权重。