int8

ANEMLL-FORGE 报告了在 Apple 的 ANE M6 上对 Qwen 3.8-27B 进行预填充时，对 KV-cache 应用 int8 V-compression 的结果，压缩与反量化均在 ANE 上执行，以获得内存 I/O 节省。

本文基于Hugging Face的硬件使用数据，质疑为何尽管RTX 3090原生支持INT8，但INT8 W8A8模型在LLM用户中并未更为普遍。

一个Hugging Face仓库，提供未经审查的Qwen3-VL-32B变体的ComfyUI safetensors检查点，包含BF16和INT8 ConvRot H3条件编码器以及可选的生成尾部。

该仓库提供 Qwen3-VL-32B 的 INT8 ConvRot 量化 ComfyUI safetensors，包括包含第 0-49 层的 MiniMax-H3 条件编码器，以及用于第 50-63 层的可选提示增强尾部，专为在 32GB GPU 上的 ComfyUI 使用而设计。

Apple M5 芯片支持矩阵乘法中的 INT8 激活，但 MLX 和 Llama.cpp 等推理后端目前仍使用 16 位；自定义 w8a8 内核在 Gemma4 预填充任务上实现了高达 1.4 倍的加速。