适用于 1 块 R9700 GPU、qwen3.8-27b 的 zzpanic vllm-radiance 最终修订版

Reddit r/LocalLLaMA 工具
gpu-inference vllm open-source performance amd local-llm

摘要

zzpanic 分享了他的 vllm-radiance 构建版本的最终修订版，专为单张 AMD R9700 GPU 运行 qwen3.8-27b 进行了优化，新增启动缓存和 KV 卸载功能（显存-系统内存-磁盘），并通过内存精简支持在单张显卡上运行多智能体工作负载。他指出，随着用户迁移到 StillDeadcode 更新的 radiance 推理引擎，该项目正逐步收尾。

项目状态指标总结 自从 StillDeadcode 发布了他的新 radiance 推理引擎，旧版 vllm-radiance 构建的结局就已经很明显了，大家都转向了更新、更好的版本。我看还有一些个位数百分比的提速空间，但大概不会继续去挖掘了。我想，不如投入最后那 5% 的精力，把我的个人构建完善一下。这个构建借鉴了不少在 Launch80 Discord 社区做过贡献的人的工作，绝不是我独自完成的。我亲自处理了几件事：- 为 vllm 添加启动缓存，避免每次重启都重新编译各种东西 - 实现了可用的 kv-offload 功能，支持在显存、系统内存和磁盘之间卸载，并通过内存精简来节省存储空间。这使得在单张显卡上进行长上下文的多智能体工作成为可能。- 偶尔修复一些 bug zzpanic/qwen3.6-vllm-gfx1201-launchers
查看原文

相似文章

48GB VRAM + Qwen 3.6 27B 的最佳设置

Reddit r/LocalLLaMA

一位用户分享了在双GPU配置（RTX 4090 + RTX 3090）上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置，在250k上下文下实现了75-100 t/s和1500 pp。