predictive-prefetching

#predictive-prefetching

TF-Engram：一种基于SSD存储的无训练记忆印记系统，用于大型语言模型

arXiv cs.CL ↗ · 2026-07-09 缓存

TF-Engram 引入了一种无训练系统，在 GPU-DRAM-SSD 层级上为 LLM 存储短语级语义记忆，利用预测预取来隐藏延迟，并在 Qwen3-0.6B 上展示了改进的下游性能。

0 人收藏 0 人点赞