论文页面 - GORGO：面向跨区域网络感知的LLM服务在线调优

来源：https://huggingface.co/papers/2602.11688

摘要

GORGO 是一种代理架构，通过在一个新的合成数据集上使用进化策略调优，联合考虑网络延迟、预填充成本和排队延迟，从而优化 LLM 推理负载均衡。

越来越多的大型语言模型推理服务（https://huggingface.co/papers?q=LLM%20inference%20services）将客户端请求代理到全球分布的各种引擎副本。负载均衡策略（https://huggingface.co/papers?q=Load-balancing%20policies）必须在优化延迟和 TTFT 等指标时，联合考虑包括 KV 缓存局部性（https://huggingface.co/papers?q=KV-cache%20locality）、副本负载（https://huggingface.co/papers?q=replica%20load）和变化的网络延迟（https://huggingface.co/papers?q=network%20latency）在内的多种因素。然而，现有系统仅在其成本模型中评估了这些因素的子集，导致副本间负载和 KV 缓存分布不均。我们提出 GORGO，这是一种代理架构，通过可调参数全面考虑网络延迟（https://huggingface.co/papers?q=network%20latency）、预填充成本（https://huggingface.co/papers?q=prefill%20cost）和排队延迟（https://huggingface.co/papers?q=queueing%20delay）。由于像 LMSYS-Chat1M 和 WildChat-4.8M 这样的开源聊天数据集缺乏长上下文、高前缀重用的数据，我们发布了一个从长上下文生产元数据中构建的合成数据集 ART-Chat-2.5M。在 ART-Chat-2.5M 的调优窗口上，进化策略（https://huggingface.co/papers?q=evolutionary%20strategies）引导 GORGO 策略的参数直接优化 p95 TTFT（https://huggingface.co/papers?q=p95%20TTFT）。在保留的评估窗口期间，我们固定从调优中学习到的参数值，与基线负载均衡策略（https://huggingface.co/papers?q=load-balancing%20policies）（如简单的会话亲和性（https://huggingface.co/papers?q=session%20affinity）和前缀缓存（https://huggingface.co/papers?q=prefix-cache））相比，p95 TTFT 提升了 6.9-15.5%，p95 端到端（E2E）延迟提升了 14.3-30.9%。代码和 ART-Chat-2.5M 数据集可在 https://github.com/Arcadia-Research-Team/GORGO 获取。

查看 arXiv 页面（https://arxiv.org/abs/2602.11688） 查看 PDF（https://arxiv.org/pdf/2602.11688） GitHub4（https://github.com/atoniolo76/GORGO） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2602.11688）

在你的代理中获取此论文：

hf papers read 2602.11688

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接到此论文

请在模型的 README.md 中引用 arxiv.org/abs/2602.11688 以从本页链接。

引用此论文的数据集1

alessiotoniolo/ART-Chat-2.5M 查看器• 更新于4天前 • 2.53M • 93 (https://huggingface.co/datasets/alessiotoniolo/ART-Chat-2.5M)

引用此论文的 Spaces0

无 Space 链接到此论文

请在 Space 的 README.md 中引用 arxiv.org/abs/2602.11688 以从本页链接。

包含此论文的收藏0

无收藏包含此论文

添加此论文到收藏（https://huggingface.co/new-collection）以从本页链接。