@charles_irl: Modal Servers 的响应速度比经典 Modal Web Functions 快 6 倍。我们已经用它们来支持全球推理服务…

X AI KOLs Following 2026/06/25 20:13 产品

摘要

Modal 推出 Modal Servers，承诺比经典 Web Functions 快 6 倍的响应速度，并分享了其新 Auto Endpoints 功能背后的架构技术细节。

Modal Servers 的响应速度比经典 Modal Web Functions 快 6 倍。我们已使用它们以世界级延迟支持全球推理服务。很高兴终于能分享它们的工作原理——尤其是因为我个人从这个项目中学到了很多关于网络的知识！ https://t.co/4Qj13edVKM

查看原文

查看缓存全文

缓存时间: 2026/06/26 04:06

Modal Servers 的响应速度比经典 Modal Web Functions 快 6 倍。我们已将其用于支持全球范围内的推理服务，并实现了世界级的延迟。

非常兴奋终于可以分享它们的工作原理——尤其是因为从这个项目中，我个人在网络方面学到了很多！https://t.co/4Qj13edVKM

Modal (@modal): 我们的新 Auto Endpoints 功能由一个新的 Modal 原语——Modal Servers——驱动。

在这篇博文中，我们将介绍设计原则和详细架构：@EnvoyProxy、@googlecloud Spanner 配置存储，以及基于 @Cloudflare Pingora 的自定义代理。