latency-reliability-cost

本文分析了LLM赋能代理工作流中延迟、可靠性和成本之间的权衡，引入了性能模型，并推导出了如注水令牌分配等最优资源分配策略。