hybrid-supervision

本文提出了桥-园分解理论，用以解释LLM蒸馏中混合硬标签与软标签为何能减少暴露偏差，并开发了混合监督方法，在降低9.7倍训练成本的同时，优于现有基线。