conditional-entropy

本文通过比较生成输出与训练数据的熵来研究大型语言模型中的条件多样性差距，并提出一个信息论框架来度量和缓解这一差距。