标签
Grug-35B-A3B 是一个基于 Qwen-3.6-35B-A3B 的开源实验模型，可将推理 token 使用量减少约 69.8%，同时将答案质量维持在基础模型的 2% 以内，从而实现更快的生成速度和更少的上下文使用。
本文介绍了DyCon，一种无需训练的框架，利用步骤级嵌入来建模演化的任务难度，并动态控制大型推理模型（LRMs）的推理深度，有效减少过度思考，在不牺牲准确性的情况下提高效率。
ThoughtFold 提出了一种利用内省偏好学习的框架，旨在减少大型推理模型在思维链推理中的冗余探索，在 DeepSeek-R1-Distill-Qwen-7B 上实现了约 56% 的令牌减少，且准确率无损。
本文介绍了 VPG-EA 框架，该框架利用变分推断和后验引导，通过解决思维链生成中的“过度思考”现象，提高了大语言模型的推理效率。
本文提出了一种名为“提示微调”（Hint Tuning）的数据高效方法，该方法根据问题难度校准推理深度，从而减少推理模型中的标记使用量。在仅需1K个自标注样本的情况下，该方法在 Qwen3-Thinking 和 DeepSeek-R1-Distill 等模型上实现了显著的标记减少（24%-66%）。