标签
AOSpec 是一个无损框架，它在 LLM 智能体-环境循环中协同推测动作和观察，以降低延迟，在各种服务设置下实现了显著的端到端延迟降低。
一篇计算机科学论文提出了一种基于图的工作流服务引擎，将智能体操作统一到全局 wGraph 中，利用动态图合成和差异 KV 缓存复用，将智能体准确率提升 4.95%，同时将 GPU 内存使用量降低 4 倍。