weight-inheritance

本文提出一种通过训练完整部署矩阵来弥合低秩克隆蒸馏中MLP可达性鸿沟的方法，显著提升了token效率和模型性能，且不增加推理成本。