semantic-diversity

本文引入冠层熵（CE⋆）来衡量语言模型中生成空间的有效大小，并发现微调将不确定性重新组织为更具信息量和语义意义的输出，使熵率与语义多样性之间的相关性几乎增加了两倍。