parameter-efficient

标签

Cards List
#parameter-efficient

HypoLoop:基于科学反馈修订权重编辑方案

arXiv cs.LG ↗ · 2天前 缓存

HypoLoop 是一系列原生权重编辑方法,根据科学反馈调整要编辑的参数以及误差驱动拟合的方式。该方法已使用 DeepSeek 和 Claude 在 22 项科学任务中得到验证,并在 Burgers 和 DIODE 基准测试中显著降低了误差。

0 人收藏 0 人点赞
#parameter-efficient

解耦遗忘与效用:通过正交零空间投影实现轻量级大语言模型遗忘学习

arXiv cs.LG ↗ · 5天前 缓存

本文提出了 UUE,一种轻量级大语言模型遗忘学习框架。该框架通过将参数更新投影到保留知识的正交零空间中,将遗忘重新表述为可控的模型编辑,并采用具有闭式解的非定向目标和可插拔的低秩适配器(UUE-L),在 TOFU 和 WMDP 基准测试中优于现有方法。

0 人收藏 0 人点赞
#parameter-efficient

解锁 Google 模型中的隐藏技能(8 分钟阅读)

TLDR AI ↗ · 2026-11-02 缓存

Dejan.ai 复现了 NeurIPS 2025 的一项研究,该研究表明,仅对随机选取的一小部分权重进行训练,就能激活潜在技能:Gemma 3 270M 在数字排序任务上从约 0% 提升到 97%,仅训练了其 1 亿个权重中的 1,000 个;在单词反转和输出干净 JSON 方面也有类似提升。

0 人收藏 0 人点赞
#parameter-efficient

用于参数高效的基于PPG的心率估计的交互门控时频学习

arXiv cs.LG ↗ · 2026-10-22 缓存

本文提出 TF-IG,一种参数高效的交互门控时频学习框架,用于基于 PPG 的心率估计,在 BIDMC PPG 数据集上以仅 84.6K 参数实现 1.227 BPM 的 MAE 和 0.9934 的皮尔逊相关系数。

0 人收藏 0 人点赞
#parameter-efficient

DUALVIEW:利用广泛证据和输出特定证据进行基于大语言模型的多输出文本回归

arXiv cs.CL ↗ · 2026-10-15 缓存

论文提出了DualView,一种参数高效的多输出文本回归方法。该方法利用冻结的大语言模型提取通用表示和输出特定表示,并通过双分支架构联合预测多个数值目标。在五个任务、八个大语言模型上的实验中,该方法优于七个监督学习基线,且可训练参数量减少了82–1842倍。

0 人收藏 0 人点赞
#parameter-efficient

Harness 编译:小型视觉语言模型应保留哪些决策?

arXiv cs.AI ↗ · 2026-10-09 缓存

提出Harness Compilation (HC)——一种离线调整冻结的小视觉语言模型与其外部 harness 之间分工的流程,利用大教师模型基于学生执行轨迹优化可复用内容与控制,并在七个VQA设置上以≤9B参数的学生模型取得9.9–23.9分的提升。研究还分析了五类运行时决策(调用、选择、参数生成、证据整合、弃答)应如何在模型与 harness 间分配。

0 人收藏 0 人点赞
#parameter-efficient

每个用户都需要专属的 LoRA 吗?将个性化与逐用户适配解耦

arXiv cs.LG ↗ · 2026-10-05 缓存

三星半导体的这篇论文提出了 LINEUP,该方法通过学习一组可复用的低秩因子,将个性化与逐用户适配解耦,使每个用户只需训练 8 个标量参数,而非逐用户 419 万个 LoRA 参数。在六个个性化 LLM 任务的全部 12 项指标上,该方法均优于基线方法。

0 人收藏 0 人点赞
#parameter-efficient

HyperThink:面向高效推理的 Text-to-Parameter 超网络

Hugging Face Daily Papers ↗ · 2026-10-02 缓存

HyperThink 提出一种 text-to-parameter 超网络方法,通过一次前向传播直接预测 LLM 的参数更新,从而免去长思维链解码,在低延迟场景下显著提升数学与通用推理的准确率-延迟权衡。

0 人收藏 0 人点赞
#parameter-efficient

局部支撑学习

Hugging Face Daily Papers ↗ · 2026-10-01 缓存

论文提出 Local Support Learning(LSL),一种在无需访问历史数据的情况下缓解大模型灾难性遗忘的框架,通过 GMM 门控函数使权重适配器只在自身训练分布的输入上激活,从而在最多 7B 参数的 LLM 上同时保留预训练与微调能力。

0 人收藏 0 人点赞
#parameter-efficient

先前问题中的计算能否帮助 LLM 解决新问题?

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

本文提出 STAIR(Stale-Token Attention for Inter-query Reuse,跨查询复用的过时词元注意力)方法,将早期响应生成过程中的键值存储在固定存储库中,并仅训练 12,288 个参数来引导当前查询,在四个基准测试的 Qwen 模型上将后续轮次准确率提升最高达 11.67 个百分点。

0 人收藏 0 人点赞
#parameter-efficient

将预训练LLMs重新利用为高保真连续文本自编码器

arXiv cs.LG ↗ · 2026-09-24 缓存

论文提出LLMAE方法,利用潜在瓶颈将预训练的仅解码器LLMs重新定位为连续文本自编码器,实现高保真重建,并支持图像描述等下游任务。

0 人收藏 0 人点赞
#parameter-efficient

模态门控深度适配器:在冻结嵌入模型中添加模态并实现完全保留

arXiv cs.CL ↗ · 2026-09-23 缓存

本文提出模态门控深度适配器,用于扩展冻结的多模态嵌入模型,通过添加新模态并完全保留现有输出。实验通过音频和热模态包进行演示,提升了基准性能。

0 人收藏 0 人点赞
#parameter-efficient

优化dLLM中的去噪轨迹:一种轻量级进化启发式方法

arXiv cs.CL ↗ · 2026-09-23 缓存

本文提出一种轻量级进化启发式调度器,以优化dLLMs中的去噪轨迹,解决如EOS Overflow和Proximal Bias等失败模式,并在推理和规划基准测试中优于基线方法。

0 人收藏 0 人点赞
#parameter-efficient

ALPINE: 参数与样本高效的小样本学习自适应定位

Hugging Face Daily Papers ↗ · 2026-09-16 缓存

ALPINE 介绍了一种超轻量级的空间关系架构,用于小样本图像分类,与基线模型如 Prototypical Networks 和 MAML 相比,它用更少的参数实现了精度提升,收敛更快,鲁棒性更好。

0 人收藏 0 人点赞
#parameter-efficient

参数高效的波兰语与欧洲语言检索器

arXiv cs.CL ↗ · 2026-09-14 缓存

本文提出了一种三阶段训练流程,用于开发紧凑型稠密检索器,包括针对波兰语的PolDense和针对欧洲语言的EuroDense,它们在参数显著减少的情况下,与更大模型相比仍能实现强劲性能。

0 人收藏 0 人点赞
#parameter-efficient

单一学习率不够:LoRA微调的自适应各向异性学习率

arXiv cs.LG ↗ · 2026-09-10 缓存

本文提出了一种用于LoRA微调的自适应各向异性学习率模型,以解决模块内异质性问题,提升性能并在各基准测试中提高秩容量利用率。

0 人收藏 0 人点赞
#parameter-efficient

路由不够:诊断 MoE+LoRA 微调中的适配器子空间竞争

arXiv cs.LG ↗ · 2026-09-04 缓存

本文诊断了 MoE+LoRA 微调中的适配器内竞争,并介绍了 SpawnLoRA,该方法动态添加子适配器以减少跨领域的负迁移。

0 人收藏 0 人点赞
#parameter-efficient

蒸馏快速嵌入迁移 (DRET):通过基于优先级的嵌入迁移实现参数高效的生物医学领域适应

arXiv cs.CL ↗ · 2026-09-04 缓存

DRET 是一种参数高效的知识迁移方法,通过嵌入迁移将生物医学领域知识注入像 DistilBERT 这样的小型模型中,使其性能与更大的专业模型相媲美。

0 人收藏 0 人点赞
#parameter-efficient

使用QLoRA学习新事实:获取-保留前沿

arXiv cs.CL ↗ · 2026-08-27 缓存

本文探讨了在语言模型中使用QLoRA时,事实知识获取与能力保留之间的权衡,表明更高秩的QLoRA改善了事实学习,但可能降低域外性能。

0 人收藏 0 人点赞
#parameter-efficient

@techNmak: 每个人都在微调LLMs。几乎没人知道模型内部到底在更新什么。这里有5个技术…

X AI KOLs Timeline ↗ · 2026-08-26 缓存

这篇文章解释了五种针对大型语言模型的参数高效微调技术,如LoRA和VeRA,详细说明了每种方法如何以最小的更新来适应模型权重。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈