kv-cache-reuse

标签

Cards List
#kv-cache-reuse

@levie:代理已经占据了推理的大部分。这将很快在未来一年内趋向于几乎所有的推理……

X AI KOLs Following ↗ · 2026-09-18 缓存

这条推文声称,AI代理现在主导了推理流量,预计这一趋势将加速,导致代理全天候执行大量任务并消耗大量令牌。

0 人收藏 0 人点赞
#kv-cache-reuse

ReCache:面向工具增强LLM代理的高效KV缓存重用与压缩

arXiv cs.CL ↗ · 2026-08-21 缓存

ReCache是一个用于工具增强LLM代理中高效KV缓存重用与压缩的框架,在保持性能的同时实现显著的加速和内存减少。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈