标签
文章报告称，Laguna S 2.1 AI模型中的无限思考循环很可能是由量化伪影引起的。切换到MoE感知的APEX量化（例如Myric/Laguna-S-2.1-APEX-GGUF）并使用默认采样设置（温度0.7，top_p 0.95，top_k 20）解决了大多数情况下的循环问题。此外，将提示框定在工具调用周围可以防止过度思考。
用户对 Gemma4 26B A4B 模型的 APEX 量化版本在 AMD RX 9060 XT 上进行了基准测试，在 90k 上下文下实现了 38 tps，没有质量下降，发现它优于之前的量化版本。