universal-degradation

研究发现，神经语言模型在单词级噪声下退化相似，但在字符级噪声下退化不同，分词被确定为关键隐藏变量。它提供了一种无需噪声评估即可预测模型鲁棒性的方法，并建议通过噪声增强训练来提升鲁棒性。