multi-teacher-learning

本文研究了大语言模型在策略内蒸馏中的泛化行为，表明它转移了推理行为，并且教师-学生来源对齐至关重要，多教师组合会导致能力权衡。