标签
这篇论文在极小规模（8.7M 参数、4 层）的中文 BERT 上严格控制变量，对比了 MLM、WWM 和 MacBERT 三种预训练策略，发现小规模下的策略排名（MLM > WWM ≫ MacBERT）与大规模结论相反，并指出 MacBERT 在同义词词典覆盖不足时会出现困惑度严重退化、训练损失不可靠的问题。