标签
本文介绍了 ADAPT，这是一个用于大语言模型数据策展的在线重加权框架。该框架通过损失加权在训练过程中动态调整样本重要性，在跨基准测试的泛化能力方面优于离线筛选和混合方法。
本文介绍了Neuron-Activated Graph (NAG) Ranking，一种无需训练的框架，用于选择与目标任务对齐的预训练数据，通过识别并基于神经元激活模式的相似性对候选数据进行排序。该方法相较于随机采样平均提升了4.9%，并证明了稀疏神经元模式能够捕获目标学习的功能能力。