标签
SGLang 是 LMSYS 开源的高性能推理服务框架，通过 RadixAttention 技术实现 KV Cache 复用，支持多种硬件和模型，并在生产环境中广泛应用。
Trellis引入RadixAttention，通过使用基数树缓存前缀令牌来优化LLM推理的预填充阶段，减少聊天和智能体会话中的冗余计算。