标签
Red Hat的AI博客系列第三部分详细介绍了在他们的托管Kubernetes平台（Amazon EKS）中，llm-d如何利用Kubernetes资源和Envoy集成来路由模型推理流量，并做出实时决策。