标签
本文介绍了Gated Recurrent Transformer模型，该模型通过自适应更新门在深度上重用共享核心，以更少的参数和更低的内存实现与更深模型相当或更好的质量。
提出FreqDepthKV，一种用于长上下文LLM推理中KV缓存压缩的频率引导深度共享方法。该方法将相邻层的KV状态分解为共享的低频成分和稀疏的高频残差，在保证基准测试精度的同时提升内存效率和吞吐量。