针对短时LLM运行的云GPU存储费用高昂。你的工作流程是怎样的？
摘要
用户寻求针对短时LLM测试会话的成本效益云GPU工作流程建议，强调在运行之间保留环境时存储费用是主要痛点。
我正尝试通过Cline/llama.cpp测试Qwen3.6-27B进行代理式编码，但一旦上下文变长，我的本地机器就力不从心了（我那可怜的3080实在跟不上）。令人头疼的不是单纯的GPU价格。我每天只需要一台4090/L40S级别的机器大约2-3小时，但我不想每次都重建整个环境或重新下载模型权重。例如，保留一个已停止的卷可能会产生大量费用，而且在某些市场平台主机上，存储似乎过分绑定到特定物理机器。我不是进行长时间的训练，只是这些短时的迭代测试，需要模型、缓存和环境在会话之间保留而不被存储费用压垮。那么大家都在用什么方案呢？比起绝对最低的每小时成本，我更关心可预测的计费和一种方便的重复使用快照/存储的方式。
相似文章
高端私有本地 LLM 方案真的值得吗？
一位用户在纠结，投入 5×3090 GPU 的高端本地 LLM 配置，能否在保障数据隐私的同时，追平 Claude 或 GPT 等云端服务。
本地LLM CPU用户……你们做任何事情要花多长时间？
关于在CPU上本地运行大语言模型性能的讨论，特别是大上下文尺寸的情况，以及显存限制带来的挑战。
根据我的需求，购买5090值得吗？
用户询问，相较于云计算的替代方案，花费约5500美元购买RTX 5090及高端PC用于LLM实验和学习是否值得。
@tom_doerr: 在单个4GB GPU上运行70B大语言模型 https://github.com/lyogavin/airllm
AirLLM是一个开源工具，优化推理内存使用，无需量化即可在单个4GB GPU上运行70B大语言模型，并支持在8GB显存上运行405B模型。
@KL_Div：随着生成长度增加，LLM 占用的 GPU 内存持续攀升。能否在几乎不牺牲精度的前提下，让 GPU 内存占用保持恒定？
IceCache 通过“动态连续索引”（DCI）技术，在超长生成任务中将 GPU 内存占用压到恒定，且精度损失极小。