mica

MiCA（Minor Component Adaptation，微成分适配）是一种全新的微调方法，它在次要奇异子空间中初始化适配器，从而更好地吸收知识并减少遗忘。该方法现已合并到 Hugging Face PEFT 库中，可通过 PEFT 主分支获取，并通过现有的 LoRA 接口集成，使用 init_lora_weights='mica'。