标签
本文请工程师们分享在生产环境运行AI模型时意外成本飙升的经历,并就优化成本、设置防护措施以避免预算超支提供建议。
解释了为什么智能体 API 费用会随上下文长度呈二次方增长——因为每一轮都会重新读取完整历史,并分享了一些实用技巧,比如让工具结果过期、缩小工具 schema、压缩上下文来降低成本。