已修复 7900 xtx + 无头 Linux 崩溃(低内存 OOM)amdgpu.runpm=0

Reddit r/LocalLLaMA 工具

摘要

用户通过禁用运行时电源管理,解决了在无头 Linux 系统上使用 AMD GPU 运行大型 AI 模型时崩溃的问题,防止模型权重被转储到有限内存中导致 OOM 错误。

简而言之:电源管理自动挂起并将模型权重转储到 RAM 中。模型权重 18GB+,RAM 16GB = 不行,立即崩溃。在 grub 中设置 amdgpu.runpm=0 可禁用运行时电源管理,问题解决。我发布这篇文章只是为了方便搜索,因为我在 Reddit 上找不到相关信息。可能它在那儿,但我没找到。希望这能帮到别人。我使用 7900 xtx 通过 Thunderbolt 3 连接到一个外置 GPU,搭配旧款 Dell XPS 13,内存为 16GB LPDDR3。这是我唯一有 Thunderbolt 的设备,哈哈。使用 Llama.cpp 和 Vulkan。这既是我的第一张 AMD GPU,也是我的第一张桌面 GPU,我主要使用笔记本电脑。设置好后,较小的密集模型运行正常,我尝试了 Qwen3.8 27B,它加载正常,但随后因 OOM 错误崩溃。我知道不是显卡问题,因为这是内存错误,且显卡上有足够空间。我的 RAM 会正常然后飙升,接着服务器硬重置。我花了比预期更长的时间才搞清楚发生了什么,总共崩溃了四次。部分原因是我从未遇到过 RAM 少于 VRAM 的情况,但主要是因为我对 Linux 设置过于自信,哈哈。所以当显卡自动挂起时,它将权重转储到 RAM 中。我猜这是为了显卡启动时更快检索,否则你会看到空白屏幕。这对 GUI 来说很棒,但对于 18GB 的模型权重通过 Thunderbolt 3 传输到约 13GB 可用 RAM 来说就不那么好了。这感觉像一个学习时刻。我猜你们很多人已经了解挂起机制,但也有人不知道,所以提供这个修复方法并发布文章,以便搜索的人能找到。祝好运。
查看原文

相似文章