thinking-budget

标签

Cards List
#thinking-budget

你应该知道:Strata 和 polystrata 有一项名为 answer_room 的功能

Reddit r/LocalLLaMA ↗ · 2026-11-02

一篇“你应该知道”(YSK)帖子揭露,Strata/PolyStrata 通过一项名为“answer_room”的功能,悄悄将模型的思考量限制在 max_tokens 的 75%,并以模型自身的口吻注入一条催促收尾的提示,却不向客户端返回任何错误、标记或结束原因。

0 人收藏 0 人点赞
#thinking-budget

8GB 显存跑 Qwen3.6 35B MoE 的 llama-server 配置 + 我踩的 max_tokens / thinking 陷阱

Reddit r/LocalLLaMA ↗ · 2026-04-21

作者分享了一套在 8GB RTX 4060 上跑 35B-MoE Qwen3.6 的可用 llama-server 配置,重点提示因内部推理无限制而耗尽 max_tokens 的陷阱,并给出用 per-request thinking_budget_tokens 的解决方案。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈