speculative-drafting

标签

Cards List
#speculative-drafting

Qwen3.8-Flash-Next 在 Strix Halo 上支持 100万上下文:解码速度达 38 tok/s,预填充仅需 18 分钟 (Halogen 0.12.0)

Reddit r/LocalLLaMA ↗ · 2026-09-19

Halogen 版本 0.12.0 修复了高上下文深度下的性能下降问题,展示了在 AMD Ryzen AI Max+ 硬件上,Qwen3.8-Flash-Next 在 100万令牌上下文时的解码和预填充速度的提升。

0 人收藏 0 人点赞
#speculative-drafting

通过推测性草稿树加速扩散采样

arXiv cs.LG ↗ · 2026-09-17 缓存

本文介绍了推测性草稿树,通过丰富候选草稿和使用贪婪拒绝采样来加速扩散模型采样,实现了比基线方法高达8.3%的加速。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈