contrast-decoding

本文研究了混合专家（MoE）模型中是否存在层间差异，并提出了EAACD，一种专家感知的自适应对比解码方法，利用高层中的专家激活模式来减少LLMs在问答任务中的幻觉。