swap

用户寻求关于如何防止 llama.cpp 在 RAM 完全耗尽前将 KV 缓存卸载到交换空间的建议，并分享了他们在配备 96GB RAM 的 M2 Max 和大型 Qwen 模型上的配置。

nbd-vram是一个Linux工具，通过NBD协议和CUDA使用NVIDIA GPU显存作为交换空间，为搭载焊接式内存且无法升级的系统提供额外内存。