构建低延迟和高吞吐量AI代理的经验教训

* 了解你的工作负载。* 在构建功能之前，估算输入令牌、输出令牌、预期并发数，以及用户是否需要即时响应还是能够容忍异步处理。* 减少令牌。* 不要仅仅为了方便而发送完整上下文。进行压缩、检索、总结并保留来源。* 拥抱并行。* 如果工作相互独立，就将其拆分。文件扫描、基于扫描/偏移的分析、工件分类和输出候选通常并行化效果不错。* 微服务和队列增加了复杂性，但它们也允许不同阶段独立扩展、重试和失败。不要过度优化。* 预期失败。LLM API会失败。提供商进行速率限制。响应违反模式。工具调用挂起。沙箱崩溃。代码库有糟糕的测试。将每次模型调用视为对不稳定依赖项/数据源的网络调用，因为事实就是如此。