offloading

讨论了将大型AI模型权重从GPU显存卸载到系统内存时的性能权衡，比较了不同GPU配置（如RTX 5090与RTX6000）在运行DeepSeek V4 Pro等模型时的表现。

一位用户分享了他们使用 llama.cpp 服务器进行模型卸载的经验，指出了性能权衡和安静运行的优势，并询问了解该工具如何在 VRAM 和系统 RAM 之间管理内存的阅读资源。

本文对在共享异构硬件上调度多个LLM进行了实证研究，重点关注CPU-GPU卸载和抢占的性能影响。研究发现，卸载会导致非线性的解码吞吐量下降，尤其是对于较小的模型，而抢占开销主要由模型状态重载主导，为未来多模型调度器的设计提供了指导。