llm-costs

本文介绍了通过构建智能缓存网关（Hawiyat Composer）如何利用精确匹配缓存、语义缓存、模型路由和本地路由消除重复的token浪费，从而节省大量AI API成本。

Ed Zitron认为人工智能缺乏可衡量的投资回报率，指出了大量超支的案例以及LLM成本固有的不可预测性。文章批评了该行业无法量化回报的问题，并敦促人们保持怀疑态度。