answer-alignment

#answer-alignment

为LLM推理压缩长上下文至答案对齐的记忆嵌入

arXiv cs.CL ↗ · 6天前缓存

本文提出一种上下文与答案对齐的记忆压缩（CMC）框架，通过将长输入上下文压缩为紧凑的记忆嵌入，在不修改解码器权重的情况下降低LLM推理成本，显著提升性能和效率。

0 人收藏 0 人点赞