@no_stp_on_snek: @antirez Turbo3 击败 fp8，在32K上下文下解码 tok/s 提升5%，还在调试中，但我一直在你的‘厨房’里折腾 TQ+

X AI KOLs Following 工具
turbo3 fp8 performance decode optimization quantization

摘要

Turbo3 在32K上下文下，相比 fp8 解码速度提升了5%（每秒 tokens 数），这是量化或模型优化方面的性能改进。

@antirez 🔥Turbo3 击败 fp8，在32K上下文下解码 tok/s 提升5% 还在调试中，但我一直在你的‘厨房’里折腾 TQ+
查看原文
查看缓存全文

缓存时间: 2026/05/25 22:45

@antirez

🔥Turbo3 在 32K 上下文下，解码速度比 fp8 提升 5%

还在调优，但我一直在你的厨房里捣鼓 TQ+

相似文章

Qwen3.6:35b UD Q4_K_M 在 Nvidia P40 上实现 80 tok/s

Reddit r/LocalLLaMA

一位用户分享在单个 Nvidia P40 上使用 TheTom 的 TurboQuant 版 llama.cpp，以 Q4_K_M 量化方式和 100k 上下文运行 Qwen3.6 35B 模型，实现了 80 tok/s，并强调了多种优化。