token-selection

提出 CoTS（Competitive Token Selection）训练免调框架，在推理过程中利用 top-2 候选 token 的概率竞争来连续调节离散 token 提交与软表示探索之间的平衡，从而在六个推理基准上超越标准 CoT 和现有训练免调隐式推理方法。

该论文从蒸馏目标本身推导词元重要性（基于局部 KL 预算下的损失可降低幅度，即由逻辑值梯度与费舍尔矩阵构成的效用分数），并将其具体实现为费舍尔效用加权（FUW），在七个数学推理基准和三组 Qwen3 师生模型上，相较于均匀 OPD，宏平均得分提升了 1.08–4.0 个百分点。

本文研究了自然语言自编码器中哪些 token 位置的解释最具信息量，发现基于聊天结构的排序比计算信号更能选出相关解释，且仅对 5% 的位置进行解释，就能在提示注入与隐蔽任务上保留几乎全部审计成功率。

论文提出 DoSA（Dots Sparse Attention），一种无损稀疏注意力方法，通过阈值证书使索引器评分计算变为条件式执行，同时保持精确的词元选择；GPU 实现较 SGLang 加速最多 2.74 倍，并在 GLM-5.2 和 DeepSeek-V3.2 上实现最高 1.94 倍的首词元时间加速。

论文表明，在选择性在策略蒸馏实验中使用共享学习率作为对照并非中性，会导致性能和结论的差异，并倡导报告完整的学习率矩阵比较以进行公平评估。

FutureBridge introduces a token reranker for collaborative decoding that ranks LLM-SLM candidates based on how well the SLM can continue reasoning from them, improving the Qwen3-1.7B SLM's math accuracy by 35.1% over greedy decoding.

HALO 提出了一种针对冻结语言模型的混合自适应潜在精炼方法，该方法选择性地对一部分 token 应用第二阶段精炼，在计算量更少的情况下实现了比固定精炼步骤更好的性能。

PartRep提出了一种针对仅解码器LLM的选择性提示重复方法，仅追加最有信息量的令牌（通过NLL选择），而非完整提示，从而减少KV缓存和预填充FLOPs，同时在多个基准测试上保留大部分准确率提升。

SEAD 提出了一种胜任力感知的在线策略蒸馏方法，利用熵在词元、训练阶段和提示三个层面引导监督，在 OLMo-3 上对六个数学基准测试实现了平均准确率提升 +4.8%。

提出了分布对齐自蒸馏（DASD），该方法在自蒸馏过程中动态过滤Token，以保留有益的逻辑修正，同时抑制分布不对齐的风格噪声，从而在数学、代码和常识推理基准上提升鲁棒推理能力。

本文提出了一种用于视觉几何变换器的两阶段令牌选择框架，通过在全局注意力中限制键/值令牌来降低计算成本，在包含500张图像的场景上实现了超过85%的加速，同时保持了基线性能。

SEATS是一种无需训练的阶段自适应Token选择方法，通过逐步剪枝冗余的视觉和音频Token来降低全模态LLM的计算开销，实现了9.3倍FLOPs减少和4.8倍预填充加速，同时保持96.3%的性能。