AI推理遵循着截然不同的规则（9分钟阅读）

# AI推理遵循完全不同的规则 来源：https://www.theregister.com/software/2026/05/04/ai-inference-just-plays-by-different-rules/5223647 **合作伙伴内容** Nvidia CEO Jensen Huang 最近宣布（https://silk.us/blog/real-time-ai-inference-aws-data-bottleneck/），我们正进入"AI工厂"时代，全球科技经济的主要产出不再是软件，而是智能。他说得对。但当全世界都在痴迷于GPU集群和万亿参数模型时，一场巨大的、沉默的危机正在你的AWS、Azure和Google Cloud环境的更底层酝酿。 AI智能体正在瞄准你的数据基础设施。它们将彻底压垮你底层的存储和数据访问层。 我们正站在**AI数据海啸**（https://silk.us/blog/software-defined-cloud-storage-the-key-to-surviving-the-ai-data-tsunami/）的边缘。从简单的聊天机器人向自主、多步骤AI智能体的转变，意味着推理不再是一个无状态、纯计算的问题。它是一个巨大的、不可预测的、前所未有的数据问题。为人类速度应用构建的底层数据基础设施，将对接下来发生的事情毫无准备。 以下是将AI从可爱的概念验证推向企业级生产环境（在公有云中）的残酷真相。 ### **推理是OLTP++：为前所未有的并发做好规划** 过去20年，我们针对人类行为调优数据系统和存储层。人类很慢。他们点击按钮，等待页面加载，阅读屏幕，可能30秒后再点击一次。即使在高规模下，人类流量也遵循可预测的昼夜模式。你可以缓存它，取平均值。 相反，AI智能体不会喝咖啡，也不会花时间阅读。 当自主智能体执行ReAct（推理与行动）循环时，它会发起一个查询，摄取上下文，意识到需要更多信息，然后在毫秒内并行发起三个更多查询。现在将其乘以数千个在你的EC2集群上并发运行的智能体。 我们的客户亲眼目睹，AI推理的行为就像**OLTP++**。它表现出前所未有的并发性、巨大的读取峰值和不可预测的访问模式。如果你基于CloudWatch中便于管理的平均值和历史CPU利用率进行容量规划，那你就是在盲目飞行。你必须为突然、极端的I/O需求峰值进行架构设计，因为在智能体时代，峰值负载是唯一重要的负载。 ### **向量数据库与RAG：设计数据路径，而不仅仅是提示** 现在，AI生态系统痴迷于提示工程和模型微调。但当你将检索增强生成（RAG）应用从本地Jupyter笔记本迁移到AWS生产环境时，你会很快发现一个残酷的现实：瓶颈不是Python，不是LLM。 瓶颈在于数据如何在底层存储层中被存储、访问和移动——包括索引扫描、嵌入向量获取和分散-聚合延迟。 当你执行向量相似性搜索，如分层可导航小世界（HNSW）或带平面量化的倒排文件（IVFFlat）结合关系元数据过滤时，你正在迫使数据访问层执行高度复杂、内存密集的操作。对于AWS托管的堆栈，你需要对热向量实现亚毫秒级读取，并在数据集增长到数亿行时保持可预测的吞吐量。 太多工程团队将AWS关系数据库服务（RDS）的读取副本作为主要扩展策略。让我们说清楚：副本是最后的手段，不是策略。更重要的是，在不解决底层存储和数据访问层的情况下扩展数据库层，只是转移了瓶颈，而非消除它。如果你的架构计划归结为"加更多读取副本然后祈祷"，那你离灾难性的复盘报告只差一次流量峰值。 你需要通过无风险的向量搜索来解锁AI创新、增强现有应用（https://silk.us/blog/vector-search-ai-integration/）。这需要设计一条能够处理高维数学物理特性而不会崩溃的数据路径。 ### **AWS EBS的现实检验** AWS是一个出色的平台，Elastic Block Store（EBS）是现代云的工作主力。但EBS受制于物理定律和云经济学定律。 EBS卷依赖突发桶以及严格的每卷IOPS和吞吐量上限。这些机制的存在是为了保护多租户云环境，它们不关心你的应用SLA。 当AI智能体失控或突发的推理流量冲击你的数据层时，它会在几分钟内耗尽你的EBS突发积分。一旦桶空了，你的存储性能就会断崖式下跌。延迟从1毫秒飙升到50毫秒。你的应用停滞等待存储。你的应用服务器耗尽工作线程。整个堆栈锁死。 你不能简单地通过滑动滑块来配置更多IOPS解决这个问题。在某个点上，你会遇到单个EC2实例及其附加存储能够物理推送的硬限制。 ### **从AWS存储限制中解耦** 即使AWS是你的永久根据地，**AI推理**（https://silk.us/blog/ai-inferencing-enterprise-architecture/）正在重塑对企业架构的需求。推理工作负载需要极端性能，如果你的数据架构与原生EBB SKU的硬限制紧密耦合，你就被困住了。 要走出这个陷阱，你需要一个软件定义的存储抽象层，位于AWS基础设施之上，为你带来巨大的杠杆作用。通过将应用和数据性能与原生AWS存储限制解耦（https://silk.us/blog/aws-performance-bottlenecks-at-scale/），你可以保护应用免受EC2容量紧缩、IOPS价格飙升和实例类型锁定的影响。 ### **唯一重要的KPI：混合负载下的p99/p999** 停止看平均延迟。平均值是我们告诉自己——以及领导——的谎言，只为了让我们对基础设施感觉良好。 用户和AI智能体感受到的是异常值。2毫秒的平均延迟毫无意义，如果你的1%查询需要3秒并阻塞了整个智能体推理链。你必须将尾部延迟（p99和p999）作为硬性发布阻断器。 你需要在出问题的地方跟踪尾部延迟——尤其是在存储和数据访问层。对空闲系统进行基准测试毫无用处。你需要在真实世界、高压力条件下测量p99： - **并发OLTP + 推理 + 维护作业：**当大规模批量更新或vacuum进程启动时，你的向量搜索会发生什么？ - **可用区之间的变异性：**在故障转移事件期间或AWS调整你的放置组时，延迟如何退化？ - **自动扩展事件和缓存预热：**当新EC2节点启动时，缓存预热需要多长时间，存储层在此期间遭受多大损失？ 如果你的平台在这些混合负载条件下无法保持尾部紧凑，那它就不具备推理生产就绪性，无论演示在舞台上看起来有多棒。 ### **客户噩梦：成功的灾难** 让我们看看目前正在整个行业上演的一个场景。我们将涉及的公司称为"FinRetail"，一个嵌入金融科技的大型电商平台。 FinRetail构建了一个出色的AI购物助手。它使用RAG交叉引用用户购买历史、实时库存和实时定价数据。概念验证完美无缺。董事会欣喜若狂。他们在周二发布了它。 到周二下午，它正在经历一场"成功的灾难"。AI智能体太过彻底。要回答一个简单的问题，比如"1000美元以下最适合大学生的笔记本电脑是什么？"智能体执行40步推理循环，对其PostgreSQL数据库发起数百次向量相似性搜索，同时检查实时库存水平。 并发性是前所未有的。15分钟内，FinRetail耗尽了EBS突发积分，读取延迟从0.8毫秒飙升到120毫秒。系统饱和，仅仅是为了管理I/O等待状态。整个站点宕机，连带核心的创收OLTP系统一起瘫痪。 他们试图添加读取副本，但底层存储限制依然存在，AI智能体开始基于过时的库存数据产生幻觉，推荐几小时前就已售罄的产品。这是一场彻底的复盘场景，完全由无法处理现代推理工作负载的存储层引起。 ### **Silk如何以不同方式解决这一风险** 你无法通过向问题扔更多托管磁盘来解决AI数据问题。你需要根本性的架构转变。你需要将性能与容量解耦。 这正是**Silk**所做的（https://silk.us/platform-technology/）。Silk是一个软件定义的云存储层，位于你的EC2计算和底层基础设施之间。它加速多个底层云资源的性能，并将它们呈现为一个单一的、极快的、高度弹性的数据层（https://silk.us/resources/silk-cloud-data-platform-architecture/）。 当我们说快时，我们不是在说边际改进。我们说的是推动云物理的绝对极限。最近，数据库专家Tanel Poder对Silk进行了测试，看看它究竟能处理什么。结果令人震惊，实现了**20 GiB/s的I/O吞吐量**（https://silk.us/webinars/how-i-achieved-20-gbs-throughput-tanel-poder/）。 使用Silk，你不会被单个EBS卷的IOPS上限所束缚。**Silk的对称主动-主动架构**（https://silk.us/wp-content/uploads/2022/08/Silk-Overview-2.pdf）和巨大的分布式缓存层吸收AI推理前所未有的并发性。它直接从内存中提供热向量，即使在运行繁重OLTP工作负载和维护作业的同时，也能提供一致的亚毫秒级p99延迟。 我们在世界上最苛刻的数据密集型应用中证明着这一点。无论你是**在Silk上用Postgres推动高性能AI向量搜索的极限**（https://silk.us/blog/high-performance-ai-vector-search-postgres/），还是**使用Google AlloyDB进一步扩展Postgres AI工作负载**（https://silk.us/blog/high-performance-ai-vector-search-postgres/），结果都是一样的：在极端规模下实现企业级的可预测性。 Silk消除了仅仅为了获得更多存储性能而过度配置EC2计算的需求。它消除了对脆弱读取副本作为核心数据路径的依赖。它让你自由地在AWS上运行AI工作负载，获得完全相同的企业数据服务和性能保证。 ### **停止祈祷，开始工程** **AI推理**（https://cta-service-cms2.hubspot.com/web-interactives/public/v1/track/redirect?encryptedPayload=AVxigLJ2MZAet0r%2B1N1%20percent2FNg60GcT%2BDLNx4wRAIszEtZwjaE4IyeXq2NcBvfjg3wCOExM%2Fz6udN4386nUq8oBNSki9JSmZzF9x6gtSIxZxFuWlW9cDhDLxmB3CAyBAaBKdoLZjVsgjU9rb5KVXQ4eE95g8MnQGx6RJ3Z0VP9TdXJKObrZSHvt%2FFnlexIMhSUc2Zv2VWp3OUqyWCkSBbcHCHWqJtLrsKucJdw%3D%3D&webInteractiveContentId=209111637294&portalId=1964766）海啸已经到来。能够在这场海啸中存活的系统，将是那些建立在现代软件定义云存储架构之上的系统，这些架构为暴力并发、巨大吞吐量和无妥协的尾部延迟而设计。 不要等到你自己的"成功灾难"发生后才意识到你的AWS存储是瓶颈。是时候打开引擎盖，看看AI就绪的数据平台是什么样子了。 准备好看证据了吗？聆听Microsoft首席数据与AI官Eduardo Kassner和Silk产品副总裁Tom O'Neill的分享，了解为什么AI推理正在重塑系统行为，以及为什么解决方案不仅仅是添加副本、采用新存储系统或重写应用。 **立即观看网络研讨会：** **AI推理没有破坏你的架构——它揭示了接下来会发生什么**（https://silk.us/webinars/ai-inferencing-didnt-break-your-architecture/） *由Silk供稿*