mmap-optimization

标签

Cards List
#mmap-optimization

难以置信!我使用llama.cpp中的mmap函数,将Qwen3.8-Flash-Next IQ3_XSS放入16G+64G RAM中,速度仍达到26t/s。

Reddit r/LocalLLaMA ↗ · 2026-08-28

用户成功使用llama.cpp中的mmap函数,将Qwen3.8-Flash-Next IQ3_XSS模型放入16GB+64GB RAM中,达到26 tokens/秒的速度,这超过了更大的非MOE 30B模型。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈