llm-costs

作者正在构建一个交易筛选系统，在对多家公司进行深度研究时面临高成本问题，寻求关于漏斗式筛选、重用或替代工具等成本效益策略的建议。

本文详细分析了2026年构建定制智能体AI系统的各项成本，涵盖开发、基础设施、大语言模型使用、系统集成、监控及持续维护费用。

一项比较MCP和文件系统访问在20个生产场景中针对AI代理的基准研究发现，文件系统访问将LLM成本降低了27%，延迟降低了32%，同时提高了答案质量。

分析了AI推理成本如何侵蚀软件传统的高毛利经济模式，迫使创始人在产品质量与单位盈利之间做出选择。

一位 AI 顾问反思了团队如何在不质疑任务是否需要模型的情况下优化 LLM 成本，并主张衡量每次成功结果的成本，而不是每 token 的成本。

分析了语音编码的技术和经济障碍，比较了令牌成本和延迟，并预测随着手部追踪延迟降至30毫秒以下，通过XR头显进行的手势编码将变得可行。

一位从业者分享了为小型企业定价AI代理的经验教训，认为将其定位为“AI员工”并按月收取类似工资的费用，比按席位或成本加成定价更有效，而且信任和安全问题必须在价格之前解决。

本文认为，当前高昂的LLM定价不可持续，原因是性能提升递减、开源权重模型兴起、专用AI芯片降低推理成本以及零切换成本，并预测随着竞争加剧，价格将大幅下降。

一条推文批评了token缩减的潮流，同时重点介绍了Headroom，这是Netflix工程师开发的开源工具，可在本地压缩LLM载荷，降低成本高达95%。

本文介绍了通过构建智能缓存网关（Hawiyat Composer）如何利用精确匹配缓存、语义缓存、模型路由和本地路由消除重复的token浪费，从而节省大量AI API成本。

Ed Zitron认为人工智能缺乏可衡量的投资回报率，指出了大量超支的案例以及LLM成本固有的不可预测性。文章批评了该行业无法量化回报的问题，并敦促人们保持怀疑态度。