causal-conditioning

标签

Cards List
#causal-conditioning

JetSpec:通过并行树草稿打破推测解码的扩展极限

Hugging Face Daily Papers · 4天前 缓存

JetSpec是一个推测解码框架,结合高效的前向草稿与因果条件化,提升LLM推理速度与接受率,在MATH-500上实现最高9.64倍加速,在对话工作负载上实现4.58倍加速。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈