supervised-learning

本文提出了一个统一的几何框架，证明加权InfoNCE目标可以解释为距离几何问题，从而精确刻画了有监督和弱监督对比学习方法的最优嵌入，并揭示了这些嵌入何时在几何上可实现、退化或不一致。

本文提出了 UniSD，这是一种用于适应大型语言模型的统一自蒸馏框架，整合了监督可靠性、表征对齐和训练稳定性的机制。实验结果表明，UniSD 在多个基准测试中均优于基础模型和现有基线方法。