Cerebras 与 OpenAI 的交易占用了绝大部分近期推理容量，使得他人的等待列表形同虚设 [D]

我很恼火。我们是一家小型 AI 初创公司，正在构建一个实时编码代理。我们的 p95 延迟要求很严格（虽然是自我要求，但这就是产品特性）。我们需要持续的高吞吐量推理，大约每秒 1-2k token。为了获取 API 访问权限，我们已经在 Cerebras 的等待列表中排了好几个月。我们不需要训练，所以不需要一仓库的 H100。我们需要针对特定生产工作负载的快速、高吞吐量 ASIC 推理。Cerebras 刚刚上市，但他们基本上没有算力——这怎么可能？原来 OpenAI 和 Cerebras 达成协议，OpenAI 将购买价值约 200 亿美元的芯片。这实际上已经将 Cerebras 近期的大部分推理容量预分配给了一个客户。我是说，我们没人能与之竞争。结果是，这一交易使得他们的 API 等待列表对于任何非超大规模企业的人来说实际上无限长。这简直让我抓狂。