parameter-efficient

标签

Cards List
#parameter-efficient

Gated Recurrent Transformers:通过循环调制实现Transformer中的表达性深度

Hugging Face Daily Papers ↗ · 2026-08-25 缓存

本文介绍了Gated Recurrent Transformer模型,该模型通过自适应更新门在深度上重用共享核心,以更少的参数和更低的内存实现与更深模型相当或更好的质量。

0 人收藏 0 人点赞
#parameter-efficient

PETA:虚拟筛选中的参数高效测试时自适应

arXiv cs.LG ↗ · 2026-08-21 缓存

PETA提出了一种参数高效的框架,用于虚拟筛选中的测试时自适应,仅在推理时更新LayerNorm参数以提高性能。

0 人收藏 0 人点赞
#parameter-efficient

HiRoute:面向大型语言模型安全对齐的层级路由提示调优

arXiv cs.LG ↗ · 2026-08-14 缓存

HiRoute 提出了一种层级路由提示调优框架,将类别无关的安全控制与类别特定的响应引导相分离,用于大语言模型的安全对齐,在降低过度拒答的同时保持高安全率。

0 人收藏 0 人点赞
#parameter-efficient

基于ODE的Transformer解码器用于迭代手语翻译

arXiv cs.CL ↗ · 2026-08-13 缓存

本文提出使用Runge-Kutta积分方法的基于ODE的Transformer解码器,以改进手语翻译的迭代细化过程,在不增加模型大小的情况下,取得了比IPSLT基线更好的BLEU分数。

0 人收藏 0 人点赞
#parameter-efficient

超越旋转:AuroOFT用于表达性量化正交微调

arXiv cs.LG ↗ · 2026-08-07 缓存

介绍了AuroOFT,一种通过零起点门控低秩非线性残差增强量化正交微调(QOFT)的方法,在低比特语言模型上以更少的可训练参数提升了数学推理准确率,优于QOFT和QLoRA。

0 人收藏 0 人点赞
#parameter-efficient

Beyond Full-Model Rollback: AuroSFT for Adapter-State Multi-Task Fine-Tuning

arXiv cs.LG ↗ · 2026-08-07 缓存

AuroSFT introduces a parameter-efficient adapter-based framework for multi-task supervised fine-tuning that rolls back adapter checkpoints at task-wise peaks instead of full-model checkpoints, achieving higher average accuracy than mSFT.

0 人收藏 0 人点赞
#parameter-efficient

LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment

arXiv cs.AI ↗ · 2026-08-05 缓存

Introduces LoCA, a two-stage backpropagation-free method for small-shift adaptation of LLMs, using one-shot calibration to fit local credit assignment maps and closed-form ridge solves for low-rank adapters, achieving lower memory and time than LoRA with competitive cross-entropy on multiple benchmarks.

0 人收藏 0 人点赞
#parameter-efficient

SpecPrefetch:面向稀疏MoE基础模型的参数高效专家预取

arXiv cs.AI ↗ · 2026-07-29 缓存

SpecPrefetch提出了一种面向稀疏MoE模型的参数高效专家预取框架,使用轻量级适配器预测下一层专家以进行异步传输,同时保留原生路由语义。在Snapdragon 8 Elite设备上,它实现了高达20%的解码吞吐量提升,展示了在内存受限部署中的实用优势。

0 人收藏 0 人点赞
#parameter-efficient

TopoTuner: 大型语言模型的拓扑微调

arXiv cs.AI ↗ · 2026-07-21 缓存

介绍TopoTuner,一种拓扑引导的微调框架,通过持续图之间的Wasserstein距离测量拓扑漂移,从而选择性冻结注意力投影矩阵。该框架在仅训练1-2%参数的情况下,性能与全微调相当,并在大多数设置中优于LoRA。

0 人收藏 0 人点赞
#parameter-efficient

通过注意力头重加权实现大语言模型的数据高效适配

arXiv cs.LG ↗ · 2026-07-16 缓存

介绍了一种数据高效方法——注意力头重加权(AHR),通过为每个注意力头学习单个标量来适配大语言模型至文本分类任务,大幅减少可训练参数,同时在有限数据场景下优于LoRA。

0 人收藏 0 人点赞
#parameter-efficient

TabLoRA: 面向大规模表格数据的参数高效低秩集成学习

arXiv cs.LG ↗ · 2026-07-14 缓存

TabLoRA 提出了一种针对大规模表格数据的参数高效神经集成方法,通过共享公共骨干网络并引入预测器特定的低秩适配,在性能上与 GBDT 和深度学习基线方法相竞争。

0 人收藏 0 人点赞
#parameter-efficient

LuxSQA: 用卢森堡语问我——基于TTS增强的语音问答

arXiv cs.CL ↗ · 2026-07-07 缓存

本文探讨了使用文本转语音(TTS)为低资源语言卢森堡语的语音问答生成合成训练数据,并评估了采用参数高效型SLAM架构的多源TTS配置。

0 人收藏 0 人点赞
#parameter-efficient

PorTAL:LLM的可移植任务适配器(3分钟阅读)

TLDR AI ↗ · 2026-07-02 缓存

PorTAL是一种新颖架构,将任务微调与特定基础模型权重解耦,实现可移植的任务适配器,这些适配器可以以最小的重新训练量迁移到新模型。在未见模型上,仅使用一半的校准数据就达到了LoRA约98%的准确率提升。

0 人收藏 0 人点赞
#parameter-efficient

Mixture-of-Control: 面向Transformer模型的状态感知微调

arXiv cs.LG ↗ · 2026-07-01 缓存

提出了Mixture-of-Control (MoC),一种轻量级微调框架,通过稀疏专家混合机制整合局部和全局控制信号,实现高效的跨块通信,在性能上优于先前的基于状态的方法。

0 人收藏 0 人点赞
#parameter-efficient

TriageRA-CCF:面向自适应秩预算的源端临床置信度与覆盖信号(用于医学大语言模型)

arXiv cs.CL ↗ · 2026-06-30 缓存

本文提出TriageRA-CCF,一种用于医学问答中LoRA自适应秩预算的方法。它利用源端信号(基座模型置信度、临床覆盖、反事实代理)动态选择秩预算,在Qwen3-8B和Llama3.1-8B上取得了适度的准确率提升。

0 人收藏 0 人点赞
#parameter-efficient

Prism Transformer: 渐进式头调度用于层级注意力处理

arXiv cs.LG ↗ · 2026-06-29 缓存

Prism Transformer 用渐进式头调度替代了统一的多头注意力机制,该调度在层间逐步增加头的数量,从而在不增加参数或计算量的情况下实现从局部到全局的层级结构。在124M、354M和757M三个模型规模上,它在语言建模和零样本基准测试中始终优于标准Transformer。

0 人收藏 0 人点赞
#parameter-efficient

参数高效的量子启发式快速权重编程器用于流量矩阵预测

Hugging Face Daily Papers ↗ · 2026-06-26 缓存

本文提出了量子启发式循环模型(QKAN-FWPs)用于流量矩阵预测,与LSTM基线相比,以更少的参数显示出优越的准确性。

0 人收藏 0 人点赞
#parameter-efficient

User as Engram: 将每位用户的记忆内化为局部参数化编辑

arXiv cs.AI ↗ · 2026-06-18 缓存

提出了User as Engram方法,将每位用户的记忆存储为哈希键控记忆表中的稀疏局部参数化编辑,受海马体记忆印迹启发,与每位用户的LoRA相比,实现了更好的推理准确性和记忆效率。

0 人收藏 0 人点赞
#parameter-efficient

超越LoRA:你能击败最流行的微调技术吗?

Hugging Face Blog ↗ · 2026-06-18 缓存

探讨LoRA是否是最佳参数高效微调技术,并介绍PEFT库中用于比较方法的工具。

0 人收藏 0 人点赞
#parameter-efficient

重新审视用于3D CT报告生成的LLM适配:规模与诊断先验研究

arXiv cs.CL ↗ · 2026-06-17 缓存

本文研究了将大语言模型适配到3D CT报告生成的参数高效策略,提出了RAD3D-Prefix,一个轻量级的诊断先验条件框架,该框架保持LLM冻结,仅需极少的可训练参数。结果表明,冻结更大的LLM(约10亿参数以上)并仅训练轻量级投影层,能够在性能、泛化能力和计算效率之间实现更优的权衡。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈