continuous-reasoning

本文探讨了预训练语言模型在推理过程中未能保留token嵌入连续混合的原因，确定了架构扭曲和动态系统效应为主要失败来源。

MUX 提出了一种无损连续推理的方法，通过将离散推理步骤蒸馏到多路复用的潜在令牌中，这些令牌编码了子词的叠加，实现了更高的带宽，并在语言模型推理任务中支持并行探索。

提出非对称互变分学习（AMVL），通过双向校准防止答案泄露并提升潜在空间稳定性，解决多模态连续推理中的训练-推理不匹配问题，在BLINK基准测试上取得了显著的性能提升。