radix-attention

标签

Cards List
#radix-attention

为Trellis引入RadixAttention

Lobsters Hottest · 昨天 缓存

Trellis引入RadixAttention,通过使用基数树缓存前缀令牌来优化LLM推理的预填充阶段,减少聊天和智能体会话中的冗余计算。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈