kl-loss

#kl-loss

面向LLM的高效知识蒸馏：离线Top-K Logits与融合分块KL损失

Hugging Face Daily Papers ↗ · 2026-08-04 缓存

本文对如何让LLM的知识蒸馏训练更高效进行了实践研究，引入了离线Top-K logits缓存和一种融合的分块KL损失，从而减少内存尖峰，并允许在单张GPU上训练更长的上下文。

0 人收藏 0 人点赞