nvidia-grace

文章详细分析了NV72架构中每4个GPU配2个Grace CPU的tray设计，探讨了在coding负载下通过EP64、TP8等并行策略优化推理性能，以及KV cache管理和路由算法的复杂性。