通过注意力头重加权实现大语言模型的数据高效适配

arXiv cs.LG 论文
data-efficient attention-head-reweighting llm fine-tuning parameter-efficient text-classification

摘要

介绍了一种数据高效方法——注意力头重加权（AHR），通过为每个注意力头学习单个标量来适配大语言模型至文本分类任务，大幅减少可训练参数，同时在有限数据场景下优于LoRA。

arXiv:2607.13425v1 公告类型：新 摘要：在安全等领域中，标注样本稀缺，从有限数据中有效学习至关重要。大语言模型（LLMs）已展现出一定的数据高效学习能力，尤其是通过参数高效的适配方法，但在面对困难任务的少量样本时仍存在困难。为应对这一挑战，我们提出了注意力头重加权（AHR），一种数据高效方法，通过仅为每个注意力头学习一个标量来适配大语言模型至新的文本分类任务。这利用了个体注意力头的功能特化，大幅减少了需要学习的参数数量。在多个开源文本分类数据集上的实验表明，尽管AHR的可训练参数比LoRA等标准基线少200-1000倍（仅修改模型参数的约0.0001%），但在有限样本学习时仍能超越它们。此外，我们学习的权重易于解释，可用于分析理解大语言模型中负责上下文学习能力的机制和注意力头。
查看原文
查看缓存全文

缓存时间: 2026/07/16 04:22 

# 数据高效的大语言模型适应：通过注意力头重加权
来源：https://arxiv.org/abs/2607.13425
查看PDF (https://arxiv.org/pdf/2607.13425)

> **摘要：**在安全等领域中，标注样本稀缺时，从有限数据中高效学习至关重要。大语言模型（LLM）已展现出一定的数据高效学习能力，尤其是通过参数高效适应方法，但在面对困难任务的少量样本时仍显不足。为应对这一挑战，我们提出注意力头重加权（AHR），这是一种数据高效的方法，通过仅为每个注意力头学习一个标量来使 LLM 适应新的文本分类任务。该方法利用单个注意力头的功能特化，极大减少了需要学习的参数量。在多种开源文本分类数据集上的实验表明，尽管我们的 AHR 仅修改模型约 0.0001% 的参数（相比 LoRA 等标准基线方法减少了 200-1000 倍的可训练参数），但在有限样本学习场景中仍能超越这些基线方法。此外，我们学习到的权重易于解释，可帮助分析理解 LLM 中负责上下文学习能力的机制和注意力头。

## 提交历史

来自：Tuomas Oikarinen [查看邮箱](https://arxiv.org/show-email/34825926/2607.13425) **[v1]** 2026年7月15日星期三 04:03:24 UTC（1,105 KB）

相似文章

低秩注意力残差

arXiv cs.LG

本文介绍了一种用于大语言模型（LLMs）的低秩注意力残差（LR-AttnRes），该方法通过使用低维键进行深度注意力，将路由与表示解耦，在减少FLOPs的同时提升了性能。

Dynamic Linear Attention

Hugging Face Daily Papers

DLA引入了自适应状态合并和容量受限的内存建模，用于多状态线性注意力，提升了长上下文LLM的性能。

使用ART微调多模态大语言模型：基于艺术强化训练

Hugging Face Daily Papers

ART（基于艺术强化训练）通过梯度反向传播优化原始视觉输入，实现对冻结的多模态大语言模型的参数高效微调，其性能与LoRA相当，同时支持为vLLM等高吞吐引擎预编译的计算图。