entropy-guidance

提出了一种无需训练的语义感知核熵（SAKE）引导方法，用于文本扩散模型，利用核格拉姆矩阵上的二阶Rényi熵在采样过程中平衡保真度与多样性。实验表明，在推理密集型任务上，该方法改善了Pareto前沿和多样本性能。

本文提出了EGRSD和CL-EGRSD，这是在策略自蒸馏方法，通过教师熵对令牌级监督进行加权，以改善大语言模型推理准确性-长度的权衡，并在Qwen3-4B和Qwen3-8B上进行了评估。