precision

技术对比显示，Google的Q4_0量化Gemma-4模型比Unsloth的Q4_K_XL版本具有更高的精度和更多的高精度张量，从而导致文件体积更大。

本文分析了在将softmax输出转换为FP8（E4M3）时，由于注意力凹陷现象导致的FP8注意力精度损失。它表明正向KV迭代会导致非凹陷注意力值下溢，并提出反向迭代和静态缩放因子S=256来消除下溢，实现了3-10倍的MSE改进。

据报道，DeepSeek V4 Pro 在精确度上优于 GPT-5.5 Pro，这标志着模型准确性方面的重大进步。

本文指出了无参考忠实性指标中的一个盲点：它们只衡量精确性（即声明是否得到支持），而不衡量召回率（即相关事实的覆盖程度）。作者引入了一种使用Formula 1遥测数据和天气数据的完整Oracle评估，表明高精确度模型往往覆盖不佳，并提出了一个组合指标。

本文证明，对BF16优化器状态使用随机舍入可以匹配FP32性能，因为无偏误差随时间抵消，而四舍五入则因累积偏差而停滞。一项使用MLP的实验表明，BF16+SR在减少内存使用的同时达到了与FP32相似的损失。

一位游戏开发者讲述了他在游戏《Blackshift》中修复GPU渲染bug的经历。问题是将8位邻接整数转换为浮点数时出现的浮点数精度问题，导致在部分NVIDIA GPU上出现视觉瑕疵，且该bug只在主渲染模式中出现，预览模式中并未出现。