vram-cache

标签

Cards List
#vram-cache

MoE的VRAM磁盘缓存使单块DGX Spark上的Kimi 2.7达到340 pp/s和9.6 tg/s

Reddit r/LocalLLaMA · 4天前

一种详细策略,通过将VRAM用作磁盘缓存,结合统一内存和llama.cpp设置,在单块DGX Spark上为Kimi K2.7实现了340 pp/s和9.6 tg/s。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈