agentic-workloads

Anthropic宣布其AI模型API的定价变更，输入token和输出token的费率分别为每百万10美元和50美元，且缓存读取成本降低75%。该公司声称这些变更使典型成本降低约25%，对于代理工作负载可节省高达45%。

AMD正在努力改进其软件以应对AI工作负载，特别是在代理任务方面，有潜力在性能与价格比上超越NVIDIA，但目前的软件和领导层问题阻碍了进展。

一篇博客文章，解释了在代理型工作负载中，缓存读取成本主导了LLM推理开销，随着每轮重新读取上下文，累计成本呈二次方增长，并建议减少工具调用次数以降低成本。

TokTier is a stateful tokenization service that cuts tokenization overhead in agentic LLM serving by reusing stable token boundaries and running exact CPU/GPU tokenization, reducing time-to-first-token by 16–34% under vLLM.

描述了一种方法，用于在并行预测任务中统一数千个智能体的输出，通过后处理和同质任务设计实现一致性和成本效率。

Mooncake宣布支持KV缓存的SSD卸载，能够经济高效地将KV缓存容量扩展到DRAM之外，适用于长时间运行的智能体工作负载。分析显示，双峰复用模式使得分层存储更加高效。

对13个本地LLM在65K-128K上下文下的广泛基准测试表明，预填充速度主导了代理工作负载性能（占实际时间的94-99%），使tg128指标具有误导性，并且KV头数量是比参数量或MoE/密集设计更关键的架构因素。

DualPath是一种通过引入双路径KV-cache加载机制来打破智能体LLM推理中存储带宽瓶颈的系统，离线吞吐量提升可达1.87倍，在线吞吐量提升可达1.96倍。

vLLM 集成了 Mooncake Store 用于分布式 KV 缓存重用，支持跨节点前缀缓存，高效服务具有高令牌重用的代理工作负载。

Qwen推理团队宣布了TokenSpeed，这是一个针对智能体工作负载的高性能LLM推理引擎，实现了540 TPS，并提供开源预览版。

Lightseek发布TokenSpeed，一款面向智能体工作负载优化的高性能LLM推理引擎，采用编译器驱动的并行技术和先进的内核优化，相关技术已被vLLM采纳。