marlin

标签

Cards List
#marlin

面向V100用户:SGLang运行Qwen+Dflash和Laguna

Reddit r/LocalLLaMA ↗ · 2026-07-27

修改SGLang以在V100 GPU上支持Qwen和Laguna模型,使用自定义的FlashAttention和Marlin内核,在4xV100硬件上获得了不错的吞吐量。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈