data-repetition

一项新研究量化了语言模型预训练中重复数据造成的损害，表明即使是激进的去重也会留下有害的重复，可能浪费多达三分之一的算力 FLOPs。

本文系统研究了语言模型预训练过程中精确文档重复所造成的损害，表明以中等次数重复中等规模的子集对性能的损害最大，并且重复可能导致高达33%的计算浪费（以计算等效损失衡量）。