integer-arithmetic

标签

Cards List
#integer-arithmetic

用纯整数运算消除 LLM 推理中的不确定性(15 分钟阅读)

TLDR AI ↗ · 5天前 缓存

本文解释了 LLM 推理为何存在不确定性:浮点数加法不满足结合律,且 kernel 选择依赖于 batch 大小。随后提出了 DetLLM 系统,它将所有 LLM 运算(矩阵乘法、softmax、归一化、RoPE)全部用纯整数运算执行,从而在任何 GPU、CPU 或 batch 大小下都能获得逐位一致的输出。DetLLM 已被 NeurIPS 2026 的两个 workshop 接收为论文。

0 人收藏 0 人点赞
#integer-arithmetic

Taco:跨平台 LLM 压缩,更换 GPU 或 CPU 也不会出错。[P]

Reddit r/MachineLearning ↗ · 2026-10-19

Taco 提出一种跨平台 LLM 压缩方法,通过纯整数推理、精确的 float32 到整数转换与一致性测试向量,确保编码端与解码端在不同 GPU/CPU 硬件上产生完全相同的输出,并在 7 个后端上验证了哈希一致。

0 人收藏 0 人点赞
#integer-arithmetic

cryptoint 库 (2025) [pdf]

Hacker News Top ↗ · 2026-10-15

cryptoint 库 (2025) 介绍了一个专注于密码学整数运算的库,为安全敏感型应用提供恒定时间、可移植的操作。

0 人收藏 0 人点赞
#integer-arithmetic

面向机器学习应用的代数整数量化

arXiv cs.LG ↗ · 2026-10-12 缓存

本文提出代数整数量化(AIQ)作为大语言模型推理的有损压缩格式,利用代数整数可实现无误差乘加运算的特性构建矩阵乘法引擎,在等比特预算下达到与业界标准 MX 格式竞争的精度。

0 人收藏 0 人点赞
#integer-arithmetic

浮点运算与整数运算遵循两种不同的范式

Hacker News Top ↗ · 2026-10-05 缓存

博客文章指出整数与浮点算术遵循不同范式:整数运算需在灾难发生前预防溢出,而 IEEE-754 浮点运算中的 NaN 与无穷值会自然传播,不应照搬预防式检查(如用零分母或 FLT_EPSILON 守卫),这些检查在多数场景下无效且被 LLM 频繁写错。

0 人收藏 0 人点赞
#integer-arithmetic

GPT-2 在纯 CMake 中的实现

Hacker News Top ↗ · 2026-08-23 缓存

这个 GitHub 仓库提供了用于执行 GPT-2 的 CMake 脚本,使用 Q16.16 整数算术,包括运行完整模型和玩具模型的说明。

0 人收藏 0 人点赞
#integer-arithmetic

几乎总是无符号(2022)

Lobsters Hottest ↗ · 2026-07-08 缓存

该文章主张在编程中更频繁地使用无符号整数,并反驳了常见的反对观点。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈