Aquifer：面向AI工作负载的有界队列、公平性与动态节流

Reddit r/AI_Agents 工具
rate-limiting queues traffic-spikes agent-systems mcp fairness dynamic-pacing

摘要

Aquifer是一个MCP运行时，提供有界队列、公平性控制和动态节流，以处理AI智能体系统中的速率限制和流量峰值。它还引入了用于动态流状态通信的Aqueduct协议。

Aquifer是一个用于处理速率限制和流量峰值的MCP运行时。它提供持久化队列、有界并发、公平性控制以及针对智能体系统中常见突发流量模式的动态节流。该项目还实验了**Aqueduct协议**，这是一种基于流和Webhook的协调协议，通过头部动态传递流状态，允许客户端以受控的节奏增减流量，而非仅依赖静态速率限制。该方案还包含一个使用公钥验证的加密与身份协议，减少了在数据库中存储共享密钥的需求。目标是使智能体和MCP流量对过载、重试和流量峰值更具弹性。
查看原文

相似文章

HyDRA: 面向异构LLM池的混合动态路由架构

arXiv cs.CL

HyDRA是一种面向异构LLM池的混合动态路由架构，能够预测每个查询的细粒度能力需求，并通过不足匹配选择最便宜且能力满足需求的模型，在保持质量的同时实现高达72.5%的成本节省。该架构已部署于GitHub Copilot的VS Code Chat自动模式，并将路由与模型目录解耦，模型变更时无需重新训练。

AI推理遵循着截然不同的规则（9分钟阅读）

TLDR AI

文章指出AI推理对云数据基础设施提出了独特挑战，其需求更接近高并发OLTP系统，而非传统面向人类速度的应用。文章强调需要优化存储和数据访问层，以应对自主智能体驱动的"AI数据海啸"。