prefill-speedup

标签

Cards List
#prefill-speedup

@no_stp_on_snek:在自定义Rust内核和Swift调度领域忙碌的一晚。9个PR中有3个是真正新增或修改的Metal内核……

X AI KOLs Timeline · 2026-07-07 缓存

在自定义Rust内核和Swift调度逻辑的优化下,Qwen3.6-35b-A3B模型的预填速度在2k提示下从255 tok/s提升到1058 tok/s,实现了约4倍的加速,解码和困惑度未受影响。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈