cloud-gpu

AI行业GPU利用率普遍低于50%，前a16z合伙人Anjney Midha创办AMP，旨在将算力像电力一样调度，提升利用效率。文章还探讨了Anthropic的成功策略、DeepMind的论文囤积问题及非NVIDIA芯片的正确打法。

作者推测云GPU提供商是否将成为AI代理的底层基础设施，将其与电信行业的演变进行类比，并质疑市场整合。

Anthropic 正在从 xAI 的 Colossus 集群租用 GPU 进行推理，因为代币消耗呈指数级增长，这凸显了代币短缺问题，推高了成本并给 AI 公司的利润率带来压力。

用户寻求针对短时LLM测试会话的成本效益云GPU工作流程建议，强调在运行之间保留环境时存储费用是主要痛点。

据报道，Anthropic为SpaceX的计算资源每块GPU支付的费用低于谷歌。谷歌以9.2亿美元获得11万块GPU，而Anthropic以12.5亿美元获得22万块GPU以及额外容量，凸显出显著的成本差异。

swm 是一个开源工具，通过一键安装ComfyUI、Ollama等框架来简化云GPU的使用，并能在会话之间自动保存整个工作区，从而实现跨提供商的无缝迁移。

NVIDIA 通过 DGX Cloud 提供免费的 AI 推理，支持 DeepSeek、MiniMax、Kimi、GLM、Llama 等热门模型，API 兼容 OpenAI，5 分钟即可领取。