标签
作者分享了他用 DeepSeek 的潜在注意力训练一个小模型的见解，观察到潜在空间的使用因层而异，以及一个可以将 KV 缓存减少 4 倍且损失不变的测试时技巧。
本文提出一种新范式：视觉-语言模型（VLM）作为测试时教师，通过可微分奖励和LoRA优化引导视频生成模型（VGM），在视频推理基准测试上平均提升16.7个百分点。