multi-tenant-serving

标签

Cards List
#multi-tenant-serving

GCMP:在 Qwen3.8-27B 上达到与 LoRA r=32 相同的准确率,参数量仅为其 1/55(每个适配器 11 MB,而 LoRA 为 320 MB)

Reddit r/LocalLLaMA ↗ · 5天前

后续基准测试文章显示,LoRA 的替代方案 GCMP 在 Qwen3.8-27B 上达到了与 LoRA r=32 相当的准确率,而适配器参数量仅为其 1/55(2.9M/11MB 对比 159M/320MB),并详细介绍了推理服务内存占用、训练速度方面的权衡,以及 4 位量化基座模型的对比。

0 人收藏 0 人点赞
#multi-tenant-serving

@TanejaPriyal: 我想理解LoRA不仅仅是“适配器比全微调更便宜”。于是,我写了一个两部分的系列文章,并进行了…

X AI KOLs Timeline ↗ · 2026-05-26 缓存

作者使用vLLM在一张GPU上对服务1000个LoRA适配器进行了基准测试,发现活跃适配器数量和流量模式才是真正的瓶颈,并提供了调优max_loras的建议。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈