@bernhardsson: 现在所有用户都可以在@modal上使用托管的私有LLM端点。只需在UI上点击几下或在CLI中敲击几下键盘即可部署。

X AI KOLs Timeline 产品
private-llm managed-endpoints modal inference deployment open-source

摘要

Modal宣布向所有用户开放托管的私有LLM端点，支持通过UI或CLI轻松部署，并且客户可以完全访问底层代码。

托管的私有LLM端点现已向所有@modal用户开放。通过UI点击几下或通过CLI输入几个命令即可部署。 最酷的是，这些并不是黑盒子——客户可以完全访问底层代码。
查看原文
查看缓存全文

缓存时间: 2026/06/23 20:14

托管式私有LLM端点，现已在@modal上供所有人使用。通过UI点击几下或通过CLI敲击几次按键即可部署。

最酷的是，这些并非黑盒——客户可以完全访问底层代码。

Modal (@modal): 现在真正拥有自己的推理还为时不晚。

介绍：Modal Auto Endpoints。

相似文章

Modal Auto Endpoints：你掌控的优化推理

Hacker News Top

Modal推出了Auto Endpoints，这是一项自助服务，提供优化的、生产级的LLM推理，具备完整代码所有权、透明指标和自动缩放功能，构建于其无服务器GPU基础设施之上。

@modal: https://x.com/modal/status/2066636221921521892

X AI KOLs Following

Modal 宣布了多项重大产品更新，包括支持真实 Linux 内核的 VM 沙箱、更低延迟的区域路由、沙箱的域名允许列表、基于角色的访问控制（RBAC）、命名镜像以及 SDK 更新。