fine-grained-adaptation

标签

#fine-grained-adaptation

从专家到子专家：MoE LLMs的细粒度参数高效微调

arXiv cs.LG ↗ · 17小时前缓存

本文介绍了NSFT，一个针对MoE LLMs的细粒度参数高效微调框架，它将适应过程从专家细化到子专家，展示了用更少的可训练参数实现性能提升。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈