推理服务商能否获得任何利润？

Reddit r/LocalLLaMA 新闻
inference-providers gpu-costs ai-market profit-margins competition

摘要

文章讨论了由于高GPU成本和竞争性定价，AI推理服务商的利润率较低，表明尽管市场潜力巨大，但商业模式面临挑战。

与许多潜伏在这个子版块的服务商交谈过，也遇到了从事推理工作的人员。月收入10,000美元的服务商，由于GPU成本，仅能保留200美元的利润。他们的客户将价格压低到与其他玩家相同，感觉主要玩家在以低或负利润率运营分销游戏。尽管这似乎是一个十亿美元的市场，但计算资源的不可用性、成本以及竞争使得这个行业起初并不那么吸引人。然而，围绕它的软件层，如针对SLA的优化，仍然享有良好的利润率。有什么想法吗？
查看原文

相似文章

软件的单位经济正在发生变化

Hacker News Top

分析了AI推理成本如何侵蚀软件传统的高毛利经济模式，迫使创始人在产品质量与单位盈利之间做出选择。