标签
NVIDIA的论文介绍了一种在LLM模型间传输KV缓存的方法，使目标模型能够跳过预填充，实现比重新处理上下文快2.7到25倍的转换。
本文通过将TOFU基准扩展到五种语言，研究了LLMs中的多语言去学习。研究发现，去学习迁移因文字和语言家族而异，主要作用于后几层解码层，并且单个引导方向可以恢复跨语言被抑制的大部分知识。