标签
一位用户在租用的 vast.ai 服务器上对 LLM 推理进行了基准测试。这些服务器配备双路 AMD EPYC 7642（ROME）主板、大容量 DRAM 和 RTX 3090 显卡。测试发现，大内存服务器配置在并发流数量增至 8 路的过程中实现了近乎线性的性能扩展——运行 Qwen 3.8 Flash Next Unsloth Q8 时，c=1 时达到 94 tok/s，c=8 时达到 456 tok/s。
一位业余研究者提出了一种推测解码方案：由 GPU 上的 2 位模型副本草拟 token，而系统内存中的完整残差（6–8 位）负责验证它们，两者仅通过 PCIe 交换激活值。初步测量表明，2 位模型加 8 位残差的质量优于 Q8_0，且这款 2 位草拟模型的接受率超过了 Gemma 4 的官方草拟模型。
作者分享了使用BF16 KV缓存而非turboquant进行AI模型优化的技术经验，并在SlimServe中为Qwen模型实现了CPU卸载以管理VRAM消耗。
关于在单张 RTX 5090 + 256GB DDR5 台式机上使用 vLLM 配合 CPU/内存卸载运行 DeepSeek-V4-Flash-0731 完整 100 万 token 上下文的技术报告，实现了约 800 tokens/秒的预填充速度和约 15 tokens/秒的解码速度。
作者认为，发布更小规模的Qwen模型（27B、35B、122B、397B）比专注于万亿参数的大模型更能服务本地AI社区，因为后者对大多数用户来说并不实用。
DeepSeek V4 Flash（98GB）现在通过CPU卸载，在单块RTX 4060 Ti上运行速度可达每秒7个token，相比上周的2t/s提升了3倍。