latency-acceleration

SpecHop 是一个连续推测框架，通过维护多个推测线程并异步验证预测，加速多跳检索代理，在保持最终模型输出不变的情况下，延迟降低高达40%。