consistency-regularization

BranchShine-CR 是一个紧凑的 2500 万参数模型，用于多语言 IPA 转写，采用 log-mel 特征、E-Branchformer 编码器、自条件 CTC 和一致性正则化，相较于先前模型，IPA 字符错误率相对降低了 22.3%。

论文发现，将特权上下文重新引入蒸馏后的学生模型会导致性能下降（上下文诱导退化），并提出了一种轻量级一致性正则化器，该正则化器锚定无上下文输出以缓解此问题，从而在12种配置中提高了稳健性。

本文提出CAT，一种跨尺度对齐变换器，通过强制中间GAN输出与最终输出之间的一致性来解决轨迹错位问题，在ImageNet-256上实现了1.56的最优FID。