@rohanpaul_ai: 阿里巴巴字节跳动的新论文表明，AI代理不能再像普通LLM请求那样提供服务。因为大部分的th…

X AI KOLs Timeline 论文
ai-agents llm-serving infrastructure benchmark performance

摘要

这篇论文介绍了AgentSysBench，并发现模型推理在AI代理系统中往往不是主要瓶颈，从而提出了通过同时调度模型、工具、内存和通信来优化服务系统的建议。

阿里巴巴字节跳动的新论文表明，AI代理不能再像普通LLM请求那样提供服务。 因为现在大部分性能问题存在于工具、内存、环境和模型之间。 瓶颈也可能随着请求和部署的变化从LLM转移到嵌入、数据库、沙箱或网络传输。 这篇论文围绕10个代理应用构建了AgentSysBench，并发现模型推理往往不再是主要瓶颈。 他们发现任务感知服务将延迟降低了29–40%，通信感知部署带来了高达4.5倍的加速，状态卸载将内存减少了4.6倍，缓存去除了35.2%的冗余搜索调用。 因此，仅优化每秒令牌数已不再足够。代理基础设施必须将模型、工具、内存和通信作为一个工作负载来调度。 – arxiv. org/abs/2608.15127 标题："从LLM推理到代理工作负载：对服务系统的特征和影响"
查看原文
查看缓存全文

缓存时间: 2026/08/23 13:37

阿里巴巴与字节跳动最新论文揭示：AI智能体已无法沿用传统大语言模型的请求服务模式

由于当前性能瓶颈已转移至工具调用、记忆存储、运行环境与模型的整体协同层面。

随着请求模式与部署架构的变化，瓶颈也可能从大语言模型本体迁移至向量嵌入、数据库、沙箱环境或网络传输环节。

研究团队围绕约十个智能体应用构建了AgentSysBench测试基准，发现模型推理往往已非主要瓶颈。

实验表明：任务感知式服务可降低29-40%延迟；通信感知式部署能实现最高4.5倍加速；状态卸载技术可减少4.6倍内存占用；缓存机制则能消除35.2%的冗余搜索调用。

因此，单纯优化每秒处理令牌数已不足以提升性能。智能体基础设施需要将模型、工具、记忆与通信作为整体工作负载进行统一调度。

– arxiv. org/abs/2608.15127

标题：《从大语言模型推理到智能体工作负载：服务系统的特性分析与启示》

相似文章

AI agents 正在改变人们对计算成本的看法

Reddit r/AI_Agents

本文讨论了AI代理工作流如何将优化重心从单纯的推理成本转向更广泛的挑战，如延迟、编排开销和可靠性。文章强调了向混合架构和动态模型路由发展的趋势，以应对这些多步骤工作流的复杂性。