标签
该论文系统研究了文本分类器在不同服务上下文（批量大小、数值精度、硬件等）下的非不变性，发现标签稳定并不意味着分数稳定，且在 bf16 下仅改变批量形状就能导致高达 56.7 个百分点的预测概率质量偏移，并为每种机制推导了标签稳定性的充分条件和缓解方法。
本文研究了Orthrus的无损性，Orthrus是一种用于推理加速的混合自回归-扩散模型，发现其需要高数值精度（FP32）来实现精确轨迹匹配，而BF16精度偏差并不影响下游性能。
本文识别了ALiBi位置编码中的一种数值下溢故障模式，该模式可能使注意力权重归零，分析其影响，并评估了使用ALiBi训练模型的缓解策略。
本文形式化了现代AI后训练流程中训练内核与推理内核之间的数值差异，提出了一种内核合约规范以及一系列Lipschitz风格的界限，以减轻离策略偏差、切片级回归和可重复性问题。
IEEE P3109 草案标准定义了一套参数化的二进制浮点格式及其运算体系，专为机器学习场景量身定制，支持可配置的位宽、精度、有符号性及无穷大表示，同时提供丰富的舍入模式（包括随机舍入），并引入了一种称为 kappa 近似的新型尺度不变近似度量方法。