entropy-metrics

本文重新审视了LLM推理背景下的均匀信息密度（UID）假设，引入了一个基于熵的框架来量化信息流的均匀性。在七个推理基准上的实验发现，高质量的推理在步骤过渡上表现出局部均匀性，但在轨迹结构上呈现全局非均匀性，这表明LLM推理与人类交流模式存在根本性差异。