stochastic

VaSE是一种无需训练的KV缓存驱逐方法，它保护大数值幅度的值状态，并引入随机性，以提高压缩下推理模型的准确性，超越了现有方法。

Thermocompute 是一个用于热力学概率计算的 PyTorch 仿真器，通过利用并行的热力学底层，使神经网络层能够实现恒定的建模物理时间推理，并立即提供可用于 GPU 的随机层。