我认为“使用更少的token”作为LLM成本建议过于肤浅

Reddit r/AI_Agents 新闻
llm-cost model-routing production-ai ai-agents rag cost-optimization

摘要

本文认为，常见的专注于减少token的LLM成本建议过于肤浅，而在生产环境中更具影响力的策略是，将不同的工作流步骤路由到不同的模型，而不是使用单一的默认模型。

许多关于LLM成本的建议似乎止步于提示压缩、缓存或token限制。但在生产工作流中，我怀疑更大的问题是模型选择。例如： - 分类工单意图 - 总结上下文 - 检索文档 - 草拟回复 - 最终高风险响应 这些步骤可能不应该全部使用同一个模型。对于在生产环境中运行AI代理或RAG的团队：你们是将不同步骤路由到不同模型，还是仍然在所有地方使用一个默认模型？
查看原文

相似文章

LLM 路由不是要解决的问题；token 效率才是

Reddit r/AI_Agents

本文认为，模型路由并不是真正要解决的问题——token 效率才是。文章倡导一种整体闭环方法，将更便宜的默认模型、偏好感知路由和更好的缓存（例如 Coinbase 将缓存命中率从 5% 提升到 60%）结合起来，以最大化每美元获得的有用智能。

我对LLM代码风格与Token成本的发现

Hacker News Top

本文讨论了LLM代码风格选择如何影响Token消耗和成本，并提供了优化建议，如使用Web API标准和更简单的缩进以减少输出Token。