nondeterminism

一位开发者讲述了一个持续三周的生产环境 bug：一个包含字面退格字符的正则表达式静默地禁用了语言检测护栏，让 LLM 看起来不稳定。这篇文章强调了需要对确定性护栏进行埋点，以将其与模型的非确定性区分开来。

本文提出了一种分布感知的训练方法，用于对并发Go程序中的下一步事件预测进行建模，将调度器的非确定性视为一种信号。在少于一千个轨迹上微调一个7B模型，在生产环境的bug检测上达到了36.2%的准确率，优于Gemini 3.5 Flash的零样本性能。

这条推文讨论了通过引入“实现噪声”来训练模型，以提高模型对由非确定性和非结合性引起的浮点数数值问题的鲁棒性。