标签
Llama-Studio 是一个用于管理 llama-server 会话的 WebUI，支持配置、监控和控制多个实例，用于本地开发和实验。
Georgi Gerganov 分享了一条一行命令，用 llama-server 以默认投机解码设置启动量化版 27B Qwen3.6 模型。
作者分享了一套在 8GB RTX 4060 上跑 35B-MoE Qwen3.6 的可用 llama-server 配置，重点提示因内部推理无限制而耗尽 max_tokens 的陷阱，并给出用 per-request thinking_budget_tokens 的解决方案。