entropy-metrics

本文研究了辅助轨迹偏好（基于置信度和熵的指标），以提升小型语言模型的自我改进与迁移能力，结果表明，在 AIME 任务上，UID-Conj. 相比未经修改的 TTRL 和均匀加权的 SFT 提高了约 2 个百分点。

本文重新审视了LLM推理背景下的均匀信息密度（UID）假设，引入了一个基于熵的框架来量化信息流的均匀性。在七个推理基准上的实验发现，高质量的推理在步骤过渡上表现出局部均匀性，但在轨迹结构上呈现全局非均匀性，这表明LLM推理与人类交流模式存在根本性差异。