论文页面 - TAO：面向基于 LLM 的智能体服务的工具感知联合调度

来源：https://huggingface.co/papers/2610.37230

摘要

TAO 通过考虑工具就绪状态并使用动态规划来分配会话，改进了 LLM 智能体服务的调度，从而降低延迟并提高吞吐量\。

智能体服务在集群 GPU 上的模型推理与分布式 CPU 上的外部工具调用之间交替执行\。在这种场景下，现有系统 (1) 在服务评估中忽略了工具返回就绪状态 (https://huggingface.co/papers?q=tool-return%20readiness)，浪费了有限资源；(2) 使用启发式策略决定 GPU 上的准入和放置 (https://huggingface.co/papers?q=admission%20and%20placement)，导致调度决策欠佳\。为弥补这一不足，我们提出了 TAO，一个面向基于 LLM 的智能体服务 (https://huggingface.co/papers?q=LLM-based%20agentic%20serving)的工具感知联合调度框架\。其价值评估接口结合了工具近期就绪状态、带有时间感知衰减 (https://huggingface.co/papers?q=time-aware%20decay)的节点特定缓存收益 (https://huggingface.co/papers?q=node-specific%20cache%20credit)，以及词元占用量 (https://huggingface.co/papers?q=token%20footprint)；动态规划算法在容量约束下联合选择并放置等待中的会话\。在报告的 12 种模型、工作负载与并发度配置中，相较于各项指标上表现最佳的受测最先进基线，TAO 将延迟最多降低了 26.8%，将平均首词元时间 (TTFT) (https://huggingface.co/papers?q=time%20to%20first%20token%20(TTFT))最多降低了 36.3%，并将解码吞吐量 (https://huggingface.co/papers?q=decode%20throughput)最多提高了 29.5%\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.37230)查看 PDF (https://arxiv.org/pdf/2610.37230)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.37230)

引用此论文的模型0

没有链接到此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.37230，即可从此页面链接到该模型\。

引用此论文的数据集0

没有链接到此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.37230，即可从此页面链接到该数据集\。

引用此论文的 Space0

没有链接到此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.37230，即可从此页面链接到该 Space\。

包含此论文的合集0

没有包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集\。