Qwen3.8 27b 循环测试：int4 awq 对比 int8

我知道这算是旧闻了，不过我这里有一些智能体高负载运行的数据。10 月中旬，我从 INT8（4×3090）切换到了 AWQ INT4（2×3090）。采样设置、运行框架（Hermes）和循环检测器都一样，所以我对比了两套配置各约两周的日志。vLLM，FP8 KV，搭配 DFlash2。temp 1.0 / top_p 0.95 / top_k 20，presence_penalty 0，思考强度 medium。两个模型：int4-awq 和 int8。结果（INT8 → INT4 AWQ）模型调用次数：17.7k → 11.4k 每 1,000 次调用的循环次数：1.9 → 4.7 出现至少 1 次循环的对话比例：6% → 12% 单任务成功率：92% → 78%（成功率指的是截断循环后，让它继续，最终能完成任务的比例）两套配置的推理长度差不多，所以“量化越狠，思考越长”解释不了这个差距。所有循环都出现在推理块里，所以问题就是它想得太猛，把自己想崩了，你们懂的。重试很少能解决问题。截断思考循环后，下一次调用让它继续，有 14–22% 的概率再次陷入循环，而正常情况下不到 1%。导致循环的是上下文，不是采样时运气不好。INT4 的差距会随着上下文增长而扩大。在约 40k token 以下，INT4 的循环频率是 INT8 的 1.4 倍；在 80–120k token 的上下文中，则是 3.3 倍。开启推测解码后，循环会表现为速度平稳地飙升：在我的配置上，循环时约为 200 tok/s，正常情况下约为 107 tok/s，因为草稿模型很擅长预测重复文本。这就提供了一个低成本的监测信号。大多数情况下，模型会一直说要行动，却始终不做（“让我写一下。等等，让我……要不……”这样 10 多行算一个循环），或者把同一套情况分析重复几十遍。太长不看：INT8 也会循环，HF 讨论区也有人反馈 BF16 会出现同样的 20k+ token 思考死循环，所以这不完全是量化的问题。INT4 或 Q4 只是让问题严重得多，尤其是在约 100k 以上的长上下文中。顺便说一句，循环也没那么糟，只要别把模型逼得太狠就行，我感觉日常助手场景下循环要少得多。我已经保存了那些触发循环的上下文。等 Qwen4 27b 发布，我就可以直接重放这些上下文，再发新的结果。