speculative-inference

该论文将多重重要性采样(MIS)引入引导式推测推理(GSI)框架，使用多个小型大语言模型作为草稿提案模型并由大型模型与过程奖励模型验证，证明了平衡启发式的最优性，并给出KL散度与奖励退化的新界。

对 Qwen 3.6 27B 基准的系统性分析揭示，推测性推理（MTP）显著加速了编程任务，但会减慢创意写作速度，任务类型的影响远超量化或温度设置。

Lucebox 宣布，Codex、Hermes 和 OpenClaw 现在可以使用其推测性推理引擎配合 Qwen3.6-27B 模型在本地运行，并提供完整的 OpenAI 工具调用兼容性。