turboquant

作者描述了将 TurboQuant KV-cache 压缩集成到 Apple 的 mlx-swift-lm 中，实现了 2.7 倍压缩，质量与 8-bit 相当，并通过融合 Metal 内核将解码速度提升了 3-4 倍。

llama.cpp的一个分支引入了TurboQuant TQ3_4S量化方法，该方法映射到Blackwell FP4张量核心，在GB10上实现高达221%的提示处理加速，同时以Q3的大小保持接近Q4的质量。

TurboQuant+ 更新带来更低比特率（4.125 bpw）、更快的解码速度以及减少约 34-35% 的 KLD。开发者正在各种硬件后端上寻找测试者。

使用TurboQuant，用户在GTX1060 3GB上以20 tokens/秒运行Qwen 3.6 35B MoE模型，展现了在陈旧硬件上令人印象深刻的性能。

Gemma 4 12B QAT（密集）使用TurboQuant在8GB RTX 4060上实现超过1000 tokens/秒的预填充速度，支持120k上下文，实现完整的GPU层卸载。相比之前的方法，预填充速度提升了42%。

谷歌的TurboVec是一款新的开源工具，能将AI搜索数据的内存占用从31GB降至4GB。它基于TurboQuant，实现比FAISS更快的搜索，可集成LangChain和LlamaIndex，并完全离线运行。

这是一个 llama.cpp 的分支，集成了 TurboQuant+，用于先进的 KV 缓存和权重量化，支持跨后端内核（Apple Silicon、NVIDIA CUDA、AMD ROCm、Vulkan），并被 LocalAI、Chronara 和 AtomicChat 用于生产环境。

一项详细的基准测试，使用PPL和KLD指标在Qwen 3.6 27B上比较KV缓存量化方法（TurboQuant、TCQ、q4、q5、q8），发现TCQ改进了低位量化，不对称KV在相同大小下优于对称KV，且q8通常过于夸张。包含分析和数据，见链接文章。

一位开发者成功在Apple MacBook Air M5上使用MLX、turboquant和自定义内核运行了Gemma4 26b MoE，实现了比llama.cpp更快的提示处理和生成速度，且内存占用更低。实现方式包括本地部署说明。

turbovec 是一个开源的 Rust 向量索引，使用 Google Research 的 TurboQuant 算法，实现了16倍压缩，搜索速度比 FAISS 更快，并且集成了 LangChain、LlamaIndex 和 Haystack 等 RAG 框架。

一位开发者成功在llama.cpp中让TurboQuant TBQ4 KV缓存和多Token预测在AMD ROCm上针对RDNA3 GPU运行，实现在24GB显存上支持64k上下文，并具有有竞争力的token速率。

在LLaMA.cpp上结合TurboQuant为Qwen实现了多Token预测，性能提升40%，接受率90%，在MacBook Pro M5 Max上本地运行。

本文分析了受 TurboQuant 启发的 KV 缓存量化方案，利用统计推断和新的 6D 误差框架来评估 KL 散度、几何误差等质量指标。

一次技术讨论验证了在配备 FP8 Tensor Core 的 NVIDIA H100 GPU 上 TurboQuant 的性能数据，并承诺将带来非 H100 测试的更多见解。

作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。

一位用户成功在三个 GTX 1080 Ti GPU 上对 27B 参数的 Qwen 模型进行本地推理，通过 TurboQuant 优化达到了约 28-30 tokens/秒的速度。

社区讨论：Google TurboQuant 压缩是否已可用于 llama-server 的 KV cache，还是仍在等待实现。

LocalAI 新增 turboquant+ 后端，可在不升级硬件的情况下为 GGUF 模型提供更长上下文支持。