bias-variance-tradeoff

本文从偏差-方差角度对扩散语言模型进行了理论分析，识别了掩码扩散与均匀扩散核之间的权衡。提出了SemDLM+，通过添加全局转移和语义频率惩罚来克服语义盆地问题，在LM1B和OpenWebText基准上实现了有竞争力的生成质量。