beacon-queries

标签

#beacon-queries

BeaconKV：基于信标查询的键值缓存压缩技术，用于高效大型推理模型推理

Hugging Face Daily Papers ↗ · 2026-09-04 缓存

BeaconKV 是一种无需训练的方法，它使用信标查询来压缩键值缓存，以实现大型推理模型的高效推理，从而减少内存使用并提高吞吐量，且不牺牲准确性。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈