KappaTune 现已加入 Hugging Face 的 PEFT

Reddit r/ArtificialInteligence 工具
fine-tuning catastrophic-forgetting peft hugging-face integration open-source

摘要

KappaTune，一种旨在缓解灾难性遗忘的微调方法，已被集成到 Hugging Face 的 PEFT 库中。

KappaTune，一种缓解灾难性遗忘的微调方法，现已加入 Hugging Face 的 PEFT：[https://github.com/huggingface/peft/blob/main/src/peft/helpers.py#L308](https://github.com/huggingface/peft/blob/main/src/peft/helpers.py#L308)
查看原文

相似文章

ShadowPEFT：面向参数高效微调的阴影网络

arXiv cs.CL

ShadowPEFT 提出一种集中式参数高效微调方法，通过深度共享的阴影模块细化 Transformer 层表示，在可训练参数量与 LoRA/DoRA 相当的情况下实现同等甚至更优的性能。