masking

本文提出了一个数学框架，用于分析在李群作用下机器学习模型丢弃的信息，引入了零纤维和稳定化子，并应用于数据掩码、模型指纹识别和隐私保护计算，在分子和图像任务上进行了测试。

CrossBERT将表示学习与令牌重构解耦，实现更高的掩码比例和更好的样本效率，在MTEB和GLUE基准测试上超越BERT。