标签
本文提出了桥-园分解理论，用以解释LLM蒸馏中混合硬标签与软标签为何能减少暴露偏差，并开发了混合监督方法，在降低9.7倍训练成本的同时，优于现有基线。
本文介绍了一种名为Motab的新型大语言模型推理蒸馏流水线，通过动态监控学生生成并在偏离时回溯到安全状态并借助教师干预，同时缓解离策略和在线策略暴露偏差，取得了约3%的平均性能提升。
本文介绍了 SDFlow，这是一种用于时间序列生成的相似性驱动流匹配框架，旨在解决自回归模型中的暴露偏差问题。通过在冻结的 VQ 潜在空间中进行低秩流形分解，SDFlow 实现了最先进的性能并显著提升了推理速度。