标签
用户通过禁用运行时电源管理，解决了在无头 Linux 系统上使用 AMD GPU 运行大型 AI 模型时崩溃的问题，防止模型权重被转储到有限内存中导致 OOM 错误。
一位用户对开源开发者表达感谢，着重提到vllm最近的多项重大发布修复了OOM问题，使得在5090上使用Qwen 27B时，上下文窗口大小翻倍至240k。