标签
一位实践者基于两周的大量智能体日志，对比了采用 INT8 与 INT4 AWQ 量化运行的 Qwen3 27B，发现 INT4 会显著提高推理循环发生率（从每千次调用 1.9 次增至 4.7 次），使任务成功率从 92% 降至 78%，而且在超过 10 万 token 的长上下文中，差距会进一步扩大。INT8 甚至 BF16 也会出现循环，因此量化只是加剧了这一问题，而非其根源。