标签
FutureBridge introduces a token reranker for collaborative decoding that ranks LLM-SLM candidates based on how well the SLM can continue reasoning from them, improving the Qwen3-1.7B SLM's math accuracy by 35.1% over greedy decoding.
HALO 提出了一种针对冻结语言模型的混合自适应潜在精炼方法，该方法选择性地对一部分 token 应用第二阶段精炼，在计算量更少的情况下实现了比固定精炼步骤更好的性能。
PartRep提出了一种针对仅解码器LLM的选择性提示重复方法，仅追加最有信息量的令牌（通过NLL选择），而非完整提示，从而减少KV缓存和预填充FLOPs，同时在多个基准测试上保留大部分准确率提升。
SEAD 提出了一种胜任力感知的在线策略蒸馏方法，利用熵在词元、训练阶段和提示三个层面引导监督，在 OLMo-3 上对六个数学基准测试实现了平均准确率提升 +4.8%。
提出了分布对齐自蒸馏（DASD），该方法在自蒸馏过程中动态过滤Token，以保留有益的逻辑修正，同时抑制分布不对齐的风格噪声，从而在数学、代码和常识推理基准上提升鲁棒推理能力。
本文提出了一种用于视觉几何变换器的两阶段令牌选择框架，通过在全局注意力中限制键/值令牌来降低计算成本，在包含500张图像的场景上实现了超过85%的加速，同时保持了基线性能。
SEATS是一种无需训练的阶段自适应Token选择方法，通过逐步剪枝冗余的视觉和音频Token来降低全模态LLM的计算开销，实现了9.3倍FLOPs减少和4.8倍预填充加速，同时保持96.3%的性能。