如何阻止模型陷入循环

Reddit r/LocalLLaMA 新闻

摘要

用户报告,包括Qwen 3.6 35B在内的AI模型在与Copilot Chat或Hermes集成时会出现无限循环,生成过多token或错误的工具调用。

所以我以为这是小模型的问题,但当我添加了一个新的GPU,能够运行像Qwen 3.6 35b q4或q5这样的中低端模型时,这个问题仍然存在。虽然不像小模型那么严重,但当将模型链接到Copilot Chat或Hermes时,模型会在任务中途开始循环思考或循环生成超过40k token,或生成错误的工具调用。
查看原文

相似文章

我需要一个容易陷入循环的模型。

Reddit r/LocalLLaMA

一位开发者寻找一个经常陷入循环的模型(如GLM Flash),以测试智能体的循环检测与恢复功能,旨在开发启发式算法来评估循环概率并实现回溯。

Laguna-S-2.1 "无限思考"循环似乎是量化伪影

Reddit r/LocalLLaMA

文章报告称,Laguna S 2.1 AI模型中的无限思考循环很可能是由量化伪影引起的。切换到MoE感知的APEX量化(例如Myric/Laguna-S-2.1-APEX-GGUF)并使用默认采样设置(温度0.7,top_p 0.95,top_k 20)解决了大多数情况下的循环问题。此外,将提示框定在工具调用周围可以防止过度思考。

qwen3.6-27b 工具调用循环

Reddit r/LocalLLaMA

用户报告在使用 qwen3.6-27b 时遇到无限工具调用循环,尽管调整了 temperature 和 top-k 等参数。