标签
本文介绍了Code2LoRA,一种基于超网络的方法,用于生成代码语言模型的适配器,以应对软件演化中的挑战。
本文探索将参数高效微调(PEFT)用作持久化个性化模型的紧凑基底,研究了向上、向下和向外扩展,并介绍了用于管理适配器的MinT。
作者使用vLLM在一张GPU上对服务1000个LoRA适配器进行了基准测试,发现活跃适配器数量和流量模式才是真正的瓶颈,并提供了调优max_loras的建议。