proxy-architecture

GORGO 提出了一种用于LLM推理的代理架构，该架构通过在新的合成数据集上使用进化策略调优，联合优化网络延迟、预填充成本和排队延迟，将p95 TTFT降低了6.9-15.5%，端到端延迟降低了14.3-30.9%。