我们确实需要 llama.cpp 支持调整思考量

Reddit r/LocalLLaMA 工具
llama.cpp ai-inference thinking-modes model-optimization feature-request open-source

摘要

用户提倡 llama.cpp 为像 Qwen 3.8 27b 这样的 AI 模型支持可调整的思考模式，以提升特定任务的性能。

鉴于 Qwen 3.8 27b 是今年的长思考者，我们确实需要支持动态切换思考模式。我上次看到时，这个功能还在开发中，但进展不大。如果能通过下拉菜单切换到中等或低思考模式来处理较简单的任务，那就太好了。这会节省大量时间。
查看原文

相似文章

Qwen3.6 27B 在 vLLM 中的表现比在 llama.cpp 中更差

Reddit r/LocalLLaMA

一名用户报告称，Qwen3.6-27B 模型在使用 llama.cpp 时比使用 vLLM 表现更好且更可靠，并指出尽管进行了大量配置，vLLM 仍出现工具调用错误和“被切除脑叶”的行为。

也许该说「用 llama.cpp」

Reddit r/LocalLLaMA

一位用户反馈，一款近期被热捧的推理引擎在运行 IQ3_S 量化模型时会退化成不断重复的「死循环」，而同一个模型在 llama.cpp 下运行则能给出连贯回答——这表明该新引擎在处理小参数量的量化开放权重模型时可能存在缺陷。