mila

标签

#mila

@VukRosic99: 大多数KV缓存压缩仅对键进行SVD，或者联合嵌入查询和键。两者都忽略了显而易见的目标…

X AI KOLs Timeline ↗ · 2026-07-10 缓存

KQ-SVD是一种新的KV缓存压缩方法，它通过最优低秩分解直接近似注意力矩阵，在LLaMA和Mistral模型上实现了比仅键SVD低5-10倍的误差。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈