envoy

Red Hat的AI博客系列第三部分详细介绍了在他们的托管Kubernetes平台（Amazon EKS）中，llm-d如何利用Kubernetes资源和Envoy集成来路由模型推理流量，并做出实时决策。

工程师Vasilios Syrakis，曾为Atlassian（Jira、Confluence、Bitbucket）构建核心基础设施，后被裁员，如今发布了一段38分钟的技术解析视频，详细讲解了他设计的系统，包括Envoy代理、Rust编写的认证容器以及集中式边缘架构。