论文页面 - 面向目标预训练数据选择的神经元激活图

来源：https://huggingface.co/papers/2604.15706

摘要

一种全新的面向目标的语言模型预训练框架，利用神经元激活图在无需额外训练的情况下筛选高信息量的数据，在多项基准测试中表现优异。

日常任务都有明确目标，围绕该目标进行预训练才能让模型成为“专家”。本文通过引入神经元激活图排序（Neuron-Activated Graph Ranking，NAG-based Ranking），研究面向目标的语言模型预训练。该框架无需训练、可解释，用于目标预训练数据选择。与黑箱表征不同，我们直接在任何现成的 LLM 中，用一小撮高影响力神经元刻画每个目标输入。具体而言，我们量化神经元影响力，跨层挑选最具分量的神经元，构建紧凑的神经元激活图（NAG），再按候选数据与目标样本的NAG 相似度进行排序。

在六大基准上的实验表明，NAG 排序平均比随机采样提升 4.9%，在 HellaSwag 上比最强基线高 5.3% 准确率。在更实用的多目标场景中，我们的最佳配置分别领先两条基线 1.1% 与 4.1%。此外，我们深入剖析 NAG 为何有效：仅关闭 NAG 选中的神经元（仅占 0.12%）即可导致性能暴跌 23.5%；若将 NAG 限制在最后一层，平均下降 4.1%，说明 NAG 捕获了用于学习目标特征的稀疏“功能骨干”。

代码已开源：https://github.com/asillycat/NAG

查看 arXiv 页面 (https://arxiv.org/abs/2604.15706)
查看 PDF (https://arxiv.org/pdf/2604.15706)
项目主页 (https://asillycat.github.io/NAG-website/)
GitHub (https://github.com/asillycat/NAG)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.15706)

在智能体中获取本文：

hf papers read 2604.15706

还没装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型链接到本文

在模型 README.md 中引用 arxiv.org/abs/2604.15706 即可在此显示。

引用本文的数据集 0

暂无数据集链接到本文

在数据集 README.md 中引用 arxiv.org/abs/2604.15706 即可在此显示。

引用本文的 Spaces 0

暂无 Space 链接到本文

在 Space README.md 中引用 arxiv.org/abs/2604.15706 即可在此显示。

收录本文的合集 0

暂无合集收录本文

创建合集 并将本文加入，即可在此显示。