stochastic-training

本文研究来自随机运行的训练日志能否通过特定于臂的协变量调整来提高模型比较的精确度，发现简单的调整可以减少不确定性，但需要仔细选择协变量以避免噪声。

本论文证明了使用随机分词而非确定性标准分词来训练大型语言模型，可以显著提升模型对对抗攻击和随机扰动的鲁棒性。这种改进在预训练、微调和上下文学习阶段都有表现，且不会增加推理成本。