@jacobeffron: Is the compute market still the Wild West? What will happen to GPU prices over the next few years? And how will the inf…

Is the compute market still the Wild West? What will happen to GPU prices over the next few years? And how will the inference market evolve?

@bernhardsson, co-founder and CEO of @Redpoint portfolio company @modal, was the perfect person to discuss this and more. Modal has crossed a $1B revenue run rate and recently raised $750M at a $15.75B valuation.

A few takeaways from my conversation with Erik, alongside @patrickachase:

▪️ Why compute won’t become a commodity

GPU capacity varies in disk, networking, location, and especially reliability. That variation makes a true exchange hard to build, so much of the market still runs on late-night WhatsApp groups and hallway deals at events like GTC. Erik expects it to get somewhat more efficient over time, but to stay structurally messy.

▪️ NeoClouds, NeoLabs, and the cost of capital

Erik disagrees with the idea that NeoClouds are going to die, and he sees them as sound businesses built on leasing hard assets against locked-in contracts. Their real disadvantage is cost of capital, which is why the successful hyperscalers all sit inside cash-rich public companies. NeoLabs carry a different risk. GPU deals often require only about 30% upfront, so a lab that raises $1B can commit to far more compute than it can pay for today. If funding tightens, Erik expects some NeoLabs to resell capacity and start to look more like NeoClouds.

▪️ Where durable advantage lives in inference

Erik sees pure token serving as a race to the bottom, with routers already commoditizing the underlying providers. Better kernels and smarter KV caching still matter, but those techniques spread quickly. He believes the more durable edge comes from offering a cluster of adjacent building blocks.

▪️ Who is actually adopting coding agents

Erik expected junior engineers to adopt agents first, but he has seen the opposite. For senior engineers, agents are like having 10 interns. Give one a full POSIX test suite and it can write a new file system in three days. He also sees training data creating a new kind of incumbency in software, with developers defaulting to frameworks like React because agents already know them well.

▪️ Why GPU prices may go up

Erik changed his mind on this 48 hours before we recorded. After reading Anthropic’s S1, he concluded that the largest buyers of compute are financially strong enough to keep acquiring capacity, which points to higher prices over the next 12 months.

Full Unsupervised Learning Episode 👇

0:00 Intro 1:26 The Compute Market Today 5:16 Modal’s Path to LLM Inference 10:02 Building the Hard Infrastructure 12:32 Unsolved Problems in Inference 16:07 Chips & Model Sizes 21:21 What Wins in Inference 24:56 Prioritizing a Multi-Product Roadmap 30:20 Agents as Modal’s Users 33:19 The Next Big Bet After Sandboxes 38:58 Robotics & Multimodal Inference 41:04 Scaling From $2M to $1B 42:51 NeoClouds & NeoLabs 48:15 RL as a Service 51:40 Quickfire

YouTube: https://youtu.be/HJDekXH-h5c Spotify: https://bit.ly/4dZ0O4e Apple: https://bit.ly/4inZJnE

TL;DR：Modal 创始人兼 CEO Eric 直言算力市场仍是“露天毒品交易市场“般的法外之地，异质性强到难以成为交易所标的；而 Modal 靠自建文件系统、容器运行时与调度器，以及推理优化，把冷启动做到极致，如今沙盒与 LLM 推理各占收入三分之一。

算力市场：还是“法外之地“

如今的算力市场有多大程度上已经是一个有组织的市场了？还是说基本上还是“法外之地“？

Eric 的回答毫不客气。他今年早些时候去圣何塞参加了 NVIDIA 办的 GTC 大会，“那场面简直就像露天毒品交易市场，只不过交易的是 GPU——到处走来走去跟人搭话，想弄到 GPU，在酒店大堂里认识人、交换号码”。他举了一个极端的例子：有一次他们是通过某人联系上了一个拥有 GPU 的人，因为 Modal 销售副总裁的表哥跟一个人打高尔夫，然后就搭上了线。“类似这样的事情太多了。这离一个高效的市场差得太远了。”

现实中的交易方式也很原始：有很多深夜发消息的 WhatsApp 群组，“非常没有组织”。

不过他也强调，外界对算力紧缺有一点误解——不是说 Modal 找不到算力，而是“你是可以获得容量的，你只需要多花点时间找，接受更高的价格，接受更长的期限“。Modal 目前大概每周要做两笔、甚至三笔算力交易，不断积累容量，目前跟 25 家不同的云服务商合作，而且一直在增加。

“我真心觉得这就是 Modal 的美妙之处——我们可以聚合所有这些需求，更高效地管理整体容量。“Modal 的价值主张一直是：不要操心容量问题，让 Modal 来处理那些为了获取容量而进行的日常搏斗。

为什么算力无法在交易所交易

主持人追问：算力有没有可能变成一种同质化的单一资产，围绕它建一个市场？

Eric 从结构上判断，这件事在很长一段时间内都会比较难以驾驭：“它不是那种可以在交易所上买卖的东西，因为它不是一种同质化的合约。”

他列举了造成异质性的几个关键维度：

• 磁盘、网络、CPU 和内存等底层配置各不相同
• 机架规格与集群规模存在差异
• 芯片本身的差异
• 地理位置——Modal 当然有遍布美国各地的 GPU，但也有印度尼西亚的 GPU，以及遍布欧洲各地的 GPU

其中他认为最关键的是可靠性。很多 NeoCloud 会死掉或者出现故障，“这种情况经常发生，因为其中一些其实是前加密货币矿工，他们根本没有认真考虑过运营一个 7x24 小时的业务”。Modal 做得特别好的一件事是聚合所有这些容量，把出问题的供应商从轮换中剔除；当 GPU 从总线上掉线时，很多情况下会自动提交工单，然后有人去检查。

GPU 价格数据有用吗

对于提供 GPU 价格等信息的数据提供商，Eric 的评价是“有一定帮助“，但侧重点不同：“与其说是价格数据，不如说是他们连接大量供应商的能力。”

他坦言自己“不完全信任目前的价格数据“——Modal 内部的算力采购价格跟公开看到的价格并不一致。但他认为其中一些供应商非常擅长了解所有的 NeoCloud，Modal 有时候会通过他们来建立与云服务商的联系。

“价格数据我觉得随着时间推移会变得更准确……我希望随着时间推移，外部的价格指标会变得更有效率。我觉得那实际上会非常有用。”

从无服务器函数起步：第一年的增长全部来自 Stable Diffusion

Modal 大约在 2021 年末或 2022 年初开始构建，最初的产品是一个无服务器函数，团队认为它对数据、AI、机器学习等广泛领域都会非常有用。结果 ChatGPT 在 2022 年底出现，Stable Diffusion 也在差不多同一时间出现。

“结果发现我们超级适合托管一些 Stable Diffusion 应用。所以那是我们第一年的增长——全部来自 Stable Diffusion，然后我们开始扩展到邻近的用例，比如音频、视频之类的东西。”

早期的团队在部署推理时不想处理底层基础设施，只想快速迭代，Modal 开始聚合来自大量不同云平台的各种 GPU。即使在早期，团队就知道自己想做多产品，但选择从无服务器这个计算原语开始，因为它非常通用。Modal 专注于高代码量的用例——面向那些想写代码的机器学习工程师和研究员，并且专注在技术栈的较低层工作。

沙盒：增长约一千倍，年化收入 3 亿美元

Modal 很早就构建了一个存储层（一个文件系统）来存储数据，特别是容器镜像。

沙盒产品在 2023 年推出。之所以在那时推出，是因为团队开始看到人们用 LLM 生成代码，意识到在基础设施侧构建的很多东西非常适合运行这些代码，而用户需要一个在隔离环境中运行代码的地方。“一开始不是一夜成功，但基本上在 2025 年它爆发了，因为模型在写代码方面变得非常好了——大概是大约一年前的事。”

这块业务的规模相当可观：

• 大约从 12 个月前开始，沙盒成为 Modal 成为多产品供应商的开端
• 沙盒业务已经成为一个支柱产品，增长了大约一千倍
• 目前约占 Modal 收入的三分之一
• 独立来看，这是一个年化收入 3 亿美元的业务

Modal 还刚刚推出了训练产品。用 Eric 的话说，团队在“尝试铺设所有不同的基础模块“——AI 应用的新世界里，工具套件、工具箱是什么样的？这些应用都需要一堆新的原语，而 Modal 想提供所有这些原语。

“DeepSeek 时刻”：推理成为第三块支柱

LLM 推理是 Modal 有段时间没有涉足的领域，直到 Eric 所谓的“DeepSeek 时刻“——大约一年半以前，2025 年初，当 DeepSeek 出现的时候，“它是中国第一个真正优秀的开源模型”。

“然后我就想：’管他呢。’我们得加入这个游戏。“Modal 开始组建团队，做大量的推理优化。事实上，Modal 一直非常擅长托管推理，包括 LLM 推理，但更像是一种定制化的工作——很多一两年前想运行 LLM 推理的团队必须自己部署，或者跟 Modal 合作来做，公司并没有对应的产品。

DeepSeek 时刻带来了大量需求。过去 18 个月 Modal 看到了巨大的增长，目前 LLM 推理也占收入的三分之一左右。

几个月前 Modal 发布了若干 LLM 专属功能。因为底层基础层（存储、计算、无服务器函数、文件系统）已经铺好，团队认为在技术栈上层有很多机会：

• 专用推理产品：在 Modal 上一键或通过一条 CLI 命令部署所有最先进的中国模型以及一堆美国模型，获得单租户的模型部署
• 共享端点：可以直接调用现成的模型而不需要完整部署，按 token 计费

“我认为这只是即将推出的众多产品中的一部分——稍微往技术栈上层走的产品。我们认为有很大的机会，因为我们拥有非常坚实的计算和存储基础。”

硬核自研：不用 Kubernetes，不用 Docker

主持人提到，Modal 早期投入了一些非常硬核的技术——自己构建文件系统、容器运行时等。Eric 直言：“我觉得这个市场中最大的 Alpha 来源之一就是不惧怕做困难的事情。”

Modal 在非常早期就开始自己构建文件系统，来让容器镜像跑得非常快，而在接下来的几年里，“这仍然是一个非常巨大的 Alpha 来源”。他们走了更长的路线——自己构建文件系统、自己的容器运行时、自己的调度器。

“我们不用 Kubernetes 和 Docker，我们使用的现成软件非常少。“他们使用的是 gVisor——Google 一个非常棒的隔离产品——最近也开始在某些任务中使用 KVM。

这些投资最直接的体现是冷启动速度。Eric 指出，团队最初想要的开发者体验——在云端启动时的快速反馈循环——在构建需要快速扩缩容的自动扩缩容应用时也非常有帮助：

• 容器加载速度非常快
• 后来又推出了 CPU 快照和 GPU 快照功能，可以非常快地从磁盘或网络直接加载数据到 GPU 中，几秒钟内就能启动大型模型
• 在过去六个月里，构建了一个极其复杂的系统，基本上使用节点之间的对等 RDMA 来快速复制数据

“很多这类技术正在不断积累，真正开始获得回报。我们构建了一些疯狂的东西，现在我们正在收获多年前投资的红利。虽然走了更长的路线，但现在我们拥有一些极其独特、非常难以复制的技术。”

推理技术栈还有哪些未解决问题

对于推理领域尚未解决的问题，Eric 的判断是：“我觉得我们在这个领域仍然处于非常早期的阶段。这是一个非常偏实证的科学领域——人们在尝试不同的东西，看看什么有效。”

随着时间推移，人们已经弄明白了很多事情，比如分离式预填充（disaggregated prefill）——这是一个非常不显而易见的想法：把预填充放在一组节点上，然后通过 RDMA 复制数据，再做解码，然后交换。此外，KV 缓存有巨大的复杂性，运行更高效的内核也是人们经常做的事情。

Modal 有一个大概 20 到 30 人的团队，极其专注于 LLM 性能优化。“这需要大量的工作——你需要紧跟研究前沿，你需要读论文，你需要持续关注所有发布的软件。”

Source: Unsupervised Learning — @jacobeffron：Is the compute market still the Wild West?