@maximelabonne: 新的训练技术来减少 doom loops!我们将其应用于 LFM2.5-2.6B (SFT checkpoint) 和 Qwen3.5-4B。通过减少 doom…
摘要
Liquid AI 发布了 Antidoom,一种用于减少推理模型中 doom loops 的开源方法,应用于 LFM2.5-2.6B 和 Qwen3.5-4B,显著降低了 doom-loop 率并提高了评估分数。
查看缓存全文
缓存时间: 2026/07/07 14:19
我们发布了一种新的训练技术,能显著减少灾难循环(doom loops)!
该技术已应用于 LFM2.5-2.6B(SFT 检查点)和 Qwen3.5-4B。
通过减少灾难循环,下游评估效果也有所提升。
我们在 @huggingface 上开源了训练代码和训练数据集
Liquid AI (@liquidai): 今天,我们发布了 Antidoom——一种开源方法,可消除推理模型中常见的故障模式:灾难循环。
灾难循环率的前后对比,各项评估分数全面提升:
早期 LFM2.5-2.6B 检查点:10.2% → 1.4%
Qwen3.5-4B:22.9% → 1%(贪心解码)
相似文章
@LiorOnAI: 一种针对最普遍推理模型故障模式的开源修复方案。今年最大的AI趋势之一并非…
Liquid AI 发布了 Antidoom,这是一种开源方法,通过微调推理模型来打破重复的token循环(末日循环),在 Qwen3.5-4B 上无需重新训练或强化学习即可将故障率从约23%降至1%。
利用Final Token Preference Optimization减少Doom循环
Liquid AI推出了Antidoom方法,该方法使用Final Token Preference Optimization来减少小型推理模型在推理过程中的重复性Doom循环,将循环率从10.2%降至1.4%,同时提升了评估分数。
@helloiamleonie:与@liquidai团队一起编写这些工程博客真是太有趣了!这是我们一直在做的:Reas…
这篇文章解释了推理模型中的“末日循环”,即模型重复诸如“Wait”之类的令牌,直到上下文填满,并介绍了FTPO(最终令牌偏好优化)作为训练时的修复方法。相关的Antidoom工具显著降低了末日循环率(例如,在Qwen3.5-4B上从22.9%降至1%)。
@Raman_bansal_: 如果你训练过LLM,你可能见过doom loop——LLM无休止地重复同一个token或句子,……
一篇Substack文章解释了LLM中的doom loop问题——模型会无休止地重复token,并介绍了Liquid AI提出的Final Token Preference Optimization(FTPO)方法,用于在微调过程中检测并修复此类循环。
我创造了一种名为RPS的LLM后训练方法。初步结果显示它提高了Qwen3-8b的程序合成可靠性。[R]
RPS是一种受神经科学启发的两阶段LLM后训练方法,结合了课程学习和学习率衰减。初步结果显示,与等学习率训练相比,在Qwen3-8b上程序合成可靠性得到提升。