ram-offloading

标签

#ram-offloading

llama.cpp ngram在RAM/SSD上？

Reddit r/LocalLLaMA ↗ · 6天前

用户询问如何通过llama.cpp和Unsloth Studio等工具，将ngram数据卸载到RAM或SSD，以运行Qwen3.8-Flash-Next等大型语言模型，并寻求具体方法或官方计划。

0 人收藏 0 人点赞