nondeterminism

一篇技术解析，解释了为什么 LLM 在收到完全相同的请求时仍可能产生不同的输出：GPU 上浮点数的累加顺序会随批大小而变化，导致得分并列的候选词元的选择发生翻转，即使温度设为 0，生成结果也可能出现分歧。文章重点介绍了 vLLM、SGLang 和 DeepSeek 的 DeepInfer 中用于确保批次不变性的标志选项，并指出，为获得可复现的输出，需要在吞吐量上作出权衡。

Hillel Wayne 的时事通讯介绍了他搬到纽约市的近况、Antithesis 即将举办的一场关于 Web 应用程序基于属性的测试的网络研讨会，以及对非确定性程序进行差分测试所面临挑战的技术探讨，包括超属性和分布层面的比较。

该论文系统研究了文本分类器在不同服务上下文（批量大小、数值精度、硬件等）下的非不变性，发现标签稳定并不意味着分数稳定，且在 bf16 下仅改变批量形状就能导致高达 56.7 个百分点的预测概率质量偏移，并为每种机制推导了标签稳定性的充分条件和缓解方法。

一位开发者讲述了一个持续三周的生产环境 bug：一个包含字面退格字符的正则表达式静默地禁用了语言检测护栏，让 LLM 看起来不稳定。这篇文章强调了需要对确定性护栏进行埋点，以将其与模型的非确定性区分开来。

本文提出了一种分布感知的训练方法，用于对并发Go程序中的下一步事件预测进行建模，将调度器的非确定性视为一种信号。在少于一千个轨迹上微调一个7B模型，在生产环境的bug检测上达到了36.2%的准确率，优于Gemini 3.5 Flash的零样本性能。

这条推文讨论了通过引入“实现噪声”来训练模型，以提高模型对由非确定性和非结合性引起的浮点数数值问题的鲁棒性。