本地模型性能越好，购买专用硬件运行它们就越难以证明其合理性。

我知道这听起来如何。我已经和足够多的客户做过这个计算，所以我对此相当有信心。这种推销大约每月出现一次，而且没有变化。（开放模型现在很好。API账单很烦人）免费模型更好，所以买一台机器，运行它并停止支付租金。这就是欺骗人们的地方。他们忽略的是，租赁选项以相同的速度改进。无论是什么让本地模型本月足够好，几周后就会在十几家托管提供商上出现，而且它们都在每令牌价格上相互压低。开放权重意味着文件是免费的。拥有10000个GPU的人会为你运行同一个文件，比你的一张卡更便宜，因为他们的卡全天忙碌，而你的卡只忙大约50分钟。更好的模型也消耗更少的计算资源。一个更智能的小模型能更快地匹配发票，重试次数更少，这听起来不错，直到你注意到这意味着机器现在每天忙四十分钟而不是五十分钟。利用率基本上是拥有硬件的全部论点，每个模型版本都在稍微削弱它。人们低估的一点是，机器从到达那天起就停止改进了。证明购买合理性的模型在六个月内被一个需要比卡更多内存的模型所取代。你要么在机器上运行去年的付费模型，要么无论如何都在租用新模型。大多数人两者都做，他们支付两次。折旧成本大约每月390美元，无论机器是否忙碌。租赁按你使用的分钟收费。机器无论怎样都按月收费。如果工作负载每天运行一小时，这个差距就是整个商业案例，其他都不重要了。上个月我为一个零件分销商做了这个计算。他的租赁模型每月170美元，在720小时中忙了17小时。他每月需要支付约390美元，不包括电力，也不包括当壁橱安静时承包商打电话来，而且他仍然认为转售价值是错的。我得到的最多反对意见是锁定。如果提供商提高价格怎么办？对于封闭模型，这是一个真正的担忧。有了开放权重，你可以在一个下午将相同的模型移动到不同的主机上，而且总有三家在压低价格。那么，什么时候购买有意义？当数据不能离开建筑物（法律或合同上）或者当卡每天大部分时间都忙时，对于后台流程来说基本不会发生，对于做连续推理的产品来说有时会。在任何一种情况下，就买它。只要在幻灯片上写上“控制”或“容量”，并把“节省”这个词去掉，因为这不是你得到的。简而言之：更好的本地模型也是更好的租赁模型，而且租赁价格不断下降。更好的模型每个任务也需要更少的计算，所以随着领域的改进，机器更频繁地闲置，而且无论怎样每月成本相同。当数据不能离开建筑物或者你确实会饱和卡时，就购买。否则就租赁，不要把机器称为节省。