lossless-acceleration

#lossless-acceleration

基于记忆的推测：LLM代理的无损加速

arXiv cs.LG ↗ · 2026-07-15 缓存

本文介绍了面向LLM代理的记忆增强型推测执行技术，利用三种在线记忆系统在行动预测上提升19-39%的准确率，在观察预测上提升最高2.5倍，同时保持无损且零额外挂钟时间成本。

0 人收藏 0 人点赞