降低学习率比任何其他尝试都更好地修复了我的Qlora微调问题

一直在用Qlora对llama 3.1 8b进行微调，用于一个分类任务，大约用了8k样本。有一段时间评估结果很差，我一直以为是数据有问题。尝试了清洗数据集、换不同的提示模板、调整rank和alpha，但没什么变化。后来把学习率从2e-4降到1e-4，并将轮次从3增加到5。在Hyperai上租的5090上跑了，因为我们实验室的机器一直有人用。结果完全不同。同样的数据，其他一切都没变。当数据集这么小时，2e-4实在太激进了。模型在第一个轮次就过拟合，然后在剩余的训练中原地打转。降低学习率给了它更多收敛空间，而不会过度偏离所有东西。另外，我还删掉了大约三分之一的数据集，主要是错误标注和模糊样本。数据少了，评估结果反而更好——是的，人人都这么说，但亲眼看到数字时感受不同，哈哈。2e-4到处是默认值，但我觉得它在数据集小于某个规模时效果不好。