token-selection

提出了分布对齐自蒸馏（DASD），该方法在自蒸馏过程中动态过滤Token，以保留有益的逻辑修正，同时抑制分布不对齐的风格噪声，从而在数学、代码和常识推理基准上提升鲁棒推理能力。

本文提出了一种用于视觉几何变换器的两阶段令牌选择框架，通过在全局注意力中限制键/值令牌来降低计算成本，在包含500张图像的场景上实现了超过85%的加速，同时保持了基线性能。

SEATS是一种无需训练的阶段自适应Token选择方法，通过逐步剪枝冗余的视觉和音频Token来降低全模态LLM的计算开销，实现了9.3倍FLOPs减少和4.8倍预填充加速，同时保持96.3%的性能。