标签
本文解释了 LLM 推理为何存在不确定性:浮点数加法不满足结合律,且 kernel 选择依赖于 batch 大小。随后提出了 DetLLM 系统,它将所有 LLM 运算(矩阵乘法、softmax、归一化、RoPE)全部用纯整数运算执行,从而在任何 GPU、CPU 或 batch 大小下都能获得逐位一致的输出。DetLLM 已被 NeurIPS 2026 的两个 workshop 接收为论文。
Taco 提出一种跨平台 LLM 压缩方法,通过纯整数推理、精确的 float32 到整数转换与一致性测试向量,确保编码端与解码端在不同 GPU/CPU 硬件上产生完全相同的输出,并在 7 个后端上验证了哈希一致。
cryptoint 库 (2025) 介绍了一个专注于密码学整数运算的库,为安全敏感型应用提供恒定时间、可移植的操作。
本文提出代数整数量化(AIQ)作为大语言模型推理的有损压缩格式,利用代数整数可实现无误差乘加运算的特性构建矩阵乘法引擎,在等比特预算下达到与业界标准 MX 格式竞争的精度。
博客文章指出整数与浮点算术遵循不同范式:整数运算需在灾难发生前预防溢出,而 IEEE-754 浮点运算中的 NaN 与无穷值会自然传播,不应照搬预防式检查(如用零分母或 FLT_EPSILON 守卫),这些检查在多数场景下无效且被 LLM 频繁写错。
这个 GitHub 仓库提供了用于执行 GPT-2 的 CMake 脚本,使用 Q16.16 整数算术,包括运行完整模型和玩具模型的说明。