标签
INTACT 使用一个小型外部编码器在冻结的骨干模型上诱导潜在推理，通过蒸馏将连续软令牌表示映射为潜在推理前缀，在 GSM8K 和多项跨域基准上提升准确率的同时将端到端延迟降低约 19%。
Settle 论文提出一种训练模型在推理答案已稳定时停止生成的方法，通过答案稳定性标注监督现有的 end-of-reasoning token 并加入 KL 正则，在 Qwen3-4B/MATH-500 上将生成 token 数量减少 40%，而精度仅下降 0.5 个百分点，扩展了推理停止方法的精度-计算量 Pareto 前沿。
Swift-Qwen3.8-27B 是 UkisAI 基于 Qwen3.8-27B 开发的推理高效版本，可将思考令牌减少 58.3%，同时保持几乎相同的性能。
一篇论文介绍了一种针对稀疏MoE模型的推理时优化方法，通过调整后期transformer层中的专家选择，在无需重新训练的情况下，将推理token减少8.5%，延迟降低10.9%，同时保持准确性。
Gemma-4-26B-a4B采用更新的聊天模板，在微调后的指令模式和推理效率上优于Qwen3.6-MoE和Qwen3.5-MoE。
Grug-35B-A3B 是一个基于 Qwen-3.6-35B-A3B 的开源实验模型，可将推理 token 使用量减少约 69.8%，同时将答案质量维持在基础模型的 2% 以内，从而实现更快的生成速度和更少的上下文使用。
本文介绍了DyCon，一种无需训练的框架，利用步骤级嵌入来建模演化的任务难度，并动态控制大型推理模型（LRMs）的推理深度，有效减少过度思考，在不牺牲准确性的情况下提高效率。
ThoughtFold 提出了一种利用内省偏好学习的框架，旨在减少大型推理模型在思维链推理中的冗余探索，在 DeepSeek-R1-Distill-Qwen-7B 上实现了约 56% 的令牌减少，且准确率无损。
本文介绍了 VPG-EA 框架，该框架利用变分推断和后验引导，通过解决思维链生成中的“过度思考”现象，提高了大语言模型的推理效率。
本文提出了一种名为“提示微调”（Hint Tuning）的数据高效方法，该方法根据问题难度校准推理深度，从而减少推理模型中的标记使用量。在仅需1K个自标注样本的情况下，该方法在 Qwen3-Thinking 和 DeepSeek-R1-Distill 等模型上实现了显著的标记减少（24%-66%）。