input-corruption

KItCAT 介绍了一种轻量级的自回归大型语言模型训练策略，该策略通过输入损坏生成多样化的训练输入，无需昂贵的改写即可改善从专业文档的知识注入。

本文研究了神经网络在超过90%的输入特征被损坏时仍能保持高准确率的现象，并利用平均场方法在高噪声极限下推导出基于质心的决策规则。