软件开发人员感谢帖

Reddit r/LocalLLaMA 工具
open-source vllm context-window oom-fix gratitude qwen 5090

摘要

一位用户对开源开发者表达感谢，着重提到vllm最近的多项重大发布修复了OOM问题，使得在5090上使用Qwen 27B时，上下文窗口大小翻倍至240k。

我在去上班的公交车上，感觉大家对那些贡献时间和精力的男人、女人、孩子以及所有参与开源项目的人表达得不够感谢。就在昨晚，我发现我一直没注意到vllm开发者已经发布了三个新的主要版本，而且不仅如此，之前由于预分配和调优导致的OOM问题似乎也消失了！太棒了！！仅仅是修复那个bug，就让我在5090上用qwen27b时将上下文窗口大小从120k翻倍到了240k。所以这只是一个提醒：支持开源开发者、基础设施，以及更新你的软件。当我们诚实地在开放中工作时，软件会随着时间变得更好用，而不是更差。这从来都不容易，对参与者来说可能情感上非常困难（贡献者感到自己不受欢迎，尽管他们只是试图帮忙；而维护者则因每个人都觉得维护者欠他们什么而筋疲力尽）。所以总的来说，记得要保持尊重和感激，因为开源软件确实让世界运转。我希望随着我们这一代人开始积存/逐渐摆脱职场竞争，能看到更多这样的精神。
查看原文

相似文章

Qwen3.6 27B 在 vLLM 中的表现比在 llama.cpp 中更差

Reddit r/LocalLLaMA

一名用户报告称，Qwen3.6-27B 模型在使用 llama.cpp 时比使用 vLLM 表现更好且更可靠，并指出尽管进行了大量配置，vLLM 仍出现工具调用错误和“被切除脑叶”的行为。