splash-engine

#splash-engine

【Splash Engine】Qwen3.8-27B在Apple Silicon上原生8位运行，速度达37-55 tok/s：扩展Splash至Q8、256k上下文缩放及"推理悬崖"

Reddit r/LocalLLaMA ↗ · 5天前

扩展Splash引擎以在Apple Silicon上支持原生8位Qwen3.8-27B模型，实现37-55 tok/s速度且无量化质量损失，并支持最高256k上下文缩放。

0 人收藏 0 人点赞