manifold-alignment

本文提出动态上下文正交化（DCO），一种推理时方法，通过将注意力头输出与上下文流形对齐来减少大型语言模型中的幻觉，在Llama-3模型的基准测试中实现了更优的忠实度。

本文介绍了自蒸馏微调（SDFT）作为大语言模型性能恢复机制，用于解决灾难性遗忘、量化和剪枝导致的性能下降问题。作者利用中心核对齐（CKA）提供了理论证明，表明自蒸馏能够使学生模型的高维流形与教师模型的最优结构对齐，从而有效恢复丧失的能力。