inference-performance

sudoingX 的一项独立基准测试显示，在澄清官方 INT4 量化确实可用之后，Ling-3.0-flash 模型在单台 DGX Spark 上的运行速度为 38.7 tok/s，比同硬件上的 DeepSeek V4 Flash 快 2.4 倍。

AstroHanRay 对比了 Ollama Cloud 和 Z.ai Max 套餐，发现 Ollama Cloud 在吞吐量和首字延迟上明显优于 Z.ai，推荐使用 Ollama Cloud 运行 GLM-5.2 模型。

作者表示，如果苹果很快发布 M5 Ultra Mac Studio，他会立即订购最大内存版本，理由是 M3 Ultra 的高转售价值以及 M5 在推理性能上的巨大飞跃。

Charles Frye 宣布了一篇博客文章，详细介绍了对 FA4 内部结构的贡献，重点在于已上游的推理性能改进。

测试表明，llama.cpp 默认的流水线并行浪费显存且无速度提升；通过编译时设置 GGML_SCHED_MAX_COPIES=1 可节省大量显存，同时保持相同推理速度。

本文展示了 8 个本地大语言模型在 RTX 3090 上的基准测试结果，显示功率能效在约 225W 时达到峰值，而在满功率下收益递减。