gpu-utilization

解释LLM推理的两个阶段——预填充和解码，详细说明GPU瓶颈如何从预填充时的计算受限转变为解码时的内存受限，以及KV缓存的重要性。

一条推文推荐使用vLLM代替Ollama进行本地AI，理由是更好的GPU利用率、更高的效率，以及在测试中速度提升高达2倍。vLLM是一个快速、开源的LLM推理和服务库，支持多种模型和硬件后端。

AI行业GPU利用率普遍低于50%，前a16z合伙人Anjney Midha创办AMP，旨在将算力像电力一样调度，提升利用效率。文章还探讨了Anthropic的成功策略、DeepMind的论文囤积问题及非NVIDIA芯片的正确打法。

分析表明，用于AI训练的GPU经常处于闲置等待数据的状态，这让人质疑GPU短缺问题的严重性。

讨论了在预算有限的情况下为AI Agent管道扩展基础设施的实际挑战，强调了基于CPU/内存的自动扩展对于GPU推理工作负载的不足。

急于购买大规模GPU集群部署AI的企业，如今面临低利用率（5%）和成本飙升（推理加所有权成本从34%升至41%）的困境，凸显AI部署中的重大基础设施低效问题。

A tweet advocating that every AI researcher should understand inference acceleration and highlighting CUDA Graph as a core component of the vLLM server for GPU efficiency.