Pyrecall 开源工具：检测 LLM 微调中的灾难性遗忘 [P]

Reddit r/MachineLearning 工具
open-source fine-tuning catastrophic-forgetting continual-learning llm local

摘要

Pyrecall 是一款新的开源工具，能够检测 LLM 微调中的灾难性遗忘，通过快照训练前后的技能分数，标记性能回退，并回滚 LoRA 适配器。该工具完全在本地运行，无需外部 API。

很惊讶在持续学习研究如此之多的情况下，竟然没有针对这一问题的真正工具。我构建了 Pyrecall 来填补这一空白。它可以快照微调前后的技能分数，标记性能回退，并按名称回滚 LoRA 适配器。完全本地运行，无需外部 API。v0.1.0，MIT 许可证，pip install pyrecall。对于基准设计——这是我信心最不足的部分——很好奇有没有人有想法。 [https://github.com/Arths17/Pyrecall](https://github.com/Arths17/Pyrecall)
查看原文

相似文章

利用强化微调克服视觉连续学习中的灾难性遗忘

Hugging Face Daily Papers

本文提出保留感知策略优化（RaPO），通过强化微调缓解视觉连续学习中的灾难性遗忘。RaPO采用轨迹级奖励塑形和跨任务优势归一化，缩小了类增量学习和域增量学习中强化微调与监督微调之间的差距。