标签
本文为LLM验证器中的部分相关验证器级联建立了一个最小化理论,展示了凹对数几率、多项式可靠性衰减、盲点上限,并指出去相关性比增加更多验证门更有效。
介绍了Score Broadcast and Decorrelation (SBD),一种原则性的基于广播的信用分配框架,该框架可推广到包括交叉熵、Bregman散度和适当评分规则在内的可微损失族。该工作为三因子学习规则提供了理论基础,并在CIFAR-10和Tiny ImageNet上展示了相较于现有广播方法的性能提升。