pretraining-data-selection

本文介绍了Neuron-Activated Graph (NAG) Ranking，一种无需训练的框架，用于选择与目标任务对齐的预训练数据，通过识别并基于神经元激活模式的相似性对候选数据进行排序。该方法相较于随机采样平均提升了4.9%，并证明了稀疏神经元模式能够捕获目标学习的功能能力。

提出神经元激活图排序（Neuron-Activated Graph Ranking），一种无需训练的框架，利用稀疏高影响神经元集合为目标任务挑选预训练数据，平均基准性能提升 4.9%。