causal-tree

JetSpec引入了并行树草案技术用于推测解码，在保持无损准确性的同时，实现了LLM推理高达9.64倍的端到端加速，单块B200 GPU上吞吐量达到约1000 TPS。