标签
本文介绍了Gated Recurrent Transformer模型,该模型通过自适应更新门在深度上重用共享核心,以更少的参数和更低的内存实现与更深模型相当或更好的质量。
PETA提出了一种参数高效的框架,用于虚拟筛选中的测试时自适应,仅在推理时更新LayerNorm参数以提高性能。
HiRoute 提出了一种层级路由提示调优框架,将类别无关的安全控制与类别特定的响应引导相分离,用于大语言模型的安全对齐,在降低过度拒答的同时保持高安全率。
本文提出使用Runge-Kutta积分方法的基于ODE的Transformer解码器,以改进手语翻译的迭代细化过程,在不增加模型大小的情况下,取得了比IPSLT基线更好的BLEU分数。
介绍了AuroOFT,一种通过零起点门控低秩非线性残差增强量化正交微调(QOFT)的方法,在低比特语言模型上以更少的可训练参数提升了数学推理准确率,优于QOFT和QLoRA。
AuroSFT introduces a parameter-efficient adapter-based framework for multi-task supervised fine-tuning that rolls back adapter checkpoints at task-wise peaks instead of full-model checkpoints, achieving higher average accuracy than mSFT.
Introduces LoCA, a two-stage backpropagation-free method for small-shift adaptation of LLMs, using one-shot calibration to fit local credit assignment maps and closed-form ridge solves for low-rank adapters, achieving lower memory and time than LoRA with competitive cross-entropy on multiple benchmarks.
SpecPrefetch提出了一种面向稀疏MoE模型的参数高效专家预取框架,使用轻量级适配器预测下一层专家以进行异步传输,同时保留原生路由语义。在Snapdragon 8 Elite设备上,它实现了高达20%的解码吞吐量提升,展示了在内存受限部署中的实用优势。
介绍TopoTuner,一种拓扑引导的微调框架,通过持续图之间的Wasserstein距离测量拓扑漂移,从而选择性冻结注意力投影矩阵。该框架在仅训练1-2%参数的情况下,性能与全微调相当,并在大多数设置中优于LoRA。
介绍了一种数据高效方法——注意力头重加权(AHR),通过为每个注意力头学习单个标量来适配大语言模型至文本分类任务,大幅减少可训练参数,同时在有限数据场景下优于LoRA。
TabLoRA 提出了一种针对大规模表格数据的参数高效神经集成方法,通过共享公共骨干网络并引入预测器特定的低秩适配,在性能上与 GBDT 和深度学习基线方法相竞争。
本文探讨了使用文本转语音(TTS)为低资源语言卢森堡语的语音问答生成合成训练数据,并评估了采用参数高效型SLAM架构的多源TTS配置。
PorTAL是一种新颖架构,将任务微调与特定基础模型权重解耦,实现可移植的任务适配器,这些适配器可以以最小的重新训练量迁移到新模型。在未见模型上,仅使用一半的校准数据就达到了LoRA约98%的准确率提升。
提出了Mixture-of-Control (MoC),一种轻量级微调框架,通过稀疏专家混合机制整合局部和全局控制信号,实现高效的跨块通信,在性能上优于先前的基于状态的方法。
本文提出TriageRA-CCF,一种用于医学问答中LoRA自适应秩预算的方法。它利用源端信号(基座模型置信度、临床覆盖、反事实代理)动态选择秩预算,在Qwen3-8B和Llama3.1-8B上取得了适度的准确率提升。
Prism Transformer 用渐进式头调度替代了统一的多头注意力机制,该调度在层间逐步增加头的数量,从而在不增加参数或计算量的情况下实现从局部到全局的层级结构。在124M、354M和757M三个模型规模上,它在语言建模和零样本基准测试中始终优于标准Transformer。
本文提出了量子启发式循环模型(QKAN-FWPs)用于流量矩阵预测,与LSTM基线相比,以更少的参数显示出优越的准确性。
提出了User as Engram方法,将每位用户的记忆存储为哈希键控记忆表中的稀疏局部参数化编辑,受海马体记忆印迹启发,与每位用户的LoRA相比,实现了更好的推理准确性和记忆效率。
本文研究了将大语言模型适配到3D CT报告生成的参数高效策略,提出了RAD3D-Prefix,一个轻量级的诊断先验条件框架,该框架保持LLM冻结,仅需极少的可训练参数。结果表明,冻结更大的LLM(约10亿参数以上)并仅训练轻量级投影层,能够在性能、泛化能力和计算效率之间实现更优的权衡。