构建企业级自主AI环境

<p>对于企业而言，自主AI的前景远不止是更好的聊天机器人。它是能够跨人员、业务流程、数据和系统端到端执行业务任务的软件代理。最适合运行代理的平台应具备适当的CPU容量、弹性的数据访问、策略感知的工具使用、可观测性、内存管理，以及可预测地规划和扩展代理的能力。</p> <figure class="wp-block-image size-full"><img loading="lazy" decoding="async" width="1280" height="720" src="https://wp.technologyreview.com/wp-content/uploads/2026/07/Intel-image-contributed-article.png" alt="" class="wp-image-1140679" srcset="https://wp.technologyreview.com/wp-content/uploads/2026/07/Intel-image-contributed-article.png 1280w, https://wp.technologyreview.com/wp-content/uploads/2026/07/Intel-image-contributed-article.png?resize=300,169 300w, https://wp.technologyreview.com/wp-content/uploads/2026/07/Intel-image-contributed-article.png?resize=768,432 768w" sizes="auto, (max-width: 1280px) 100vw, 1280px" /></figure> <p>为了更好地理解这些依赖关系，英特尔进行了数千次自主AI工作负载实验。我们的初步发现总结并支持了为企业领导者提供的五项实用经验：</p> <ol class="wp-block-list"> <li>自主AI是一个更大的系统问题，而不仅仅是推理问题。</li> <li>大多数现有的自主AI框架存在局限，无法衡量整体系统性能。</li> <li>容量规划应使用每虚拟CPU（vCPU）的代理密度，而非代理数量。</li> <li>监控代理任务延迟，而不仅仅是平均CPU利用率。</li> <li>对于托管代理的系统，默认采用横向扩展。将纵向扩展留给每代理计算量更重或存在架构约束的工作负载。</li> </ol> <h3 class="wp-block-heading"><strong>超越推理：代理作为工作流自动化</strong></h3> <p>自主AI不仅仅是LLM推理。其企业价值取决于整个系统：任务编排、数据访问、工具执行、延迟管理、治理和可扩展的基础设施。代理是一种目标驱动的自动化企业工作流流程：它规划多步骤任务、调用工具、读取结果，并在失败时重试。因此，企业代理不仅仅是推理问题，而是一个系统问题。</p> <p><strong>定义何为良好</strong></p> <p>大多数自主AI评估指标侧重于评估所用的LLM。平台团队还需要了解任务耗时、系统能支持多少代理、执行过程结束时用户的体验，以及同时运行更多代理时成本如何变化。</p> <p>更有用的企业视角关注六个指标：</p> <ol class="wp-block-list"> <li>任务成功率</li> <li>每任务成本</li> <li>每任务时间</li> <li>任务吞吐量</li> <li>代理密度（每vCPU代理数）</li> <li>延迟</li> </ol> <p>这些指标共同回答了企业AI运营者关心的问题：系统是否按预期运行？系统能支持多少代理？应如何扩展以支持更多代理？</p> <h3 class="wp-block-heading"><strong>奠定坚实基础</strong></h3> <p>为了更深入地了解自主AI工作负载性能，英特尔扩展了<a href="https://github.com/harbor-framework/terminal-bench" target="_blank" rel="noreferrer noopener">Terminal-Bench</a>，这是一个开源基准测试框架，用于评估AI代理，具备性能分析、遥测和重放功能。这使得我们能够了解代理在LLM推理之外的时间消耗。</p> <p>该基准测试扩展使用了确定性的LLM响应记录重放，将代理性能与LLM可变性分离。LLM响应被记录一次，并在多次运行中完全相同地重放，从而减少运行间差异，为比较提供更可靠的基础。</p> <p>使用的Terminal-Bench任务组合故意广泛。它包括编译、测试、数据库操作、布尔逻辑、解释、光线追踪、压缩、线性代数、视频转码和机器学习训练。这种多样性使得发现更贴近真实的企业环境。</p> <h3 class="wp-block-heading"><strong>自主AI的三个维度</strong></h3> <p>部署自主AI应分三个阶段进行：</p> <p><strong>根据代理密度而非代理数量进行规划</strong>：第一个规模规划规则是将代理数量按可用计算资源归一化。代理密度（以每vCPU代理数衡量）是饱和度的首要信号。例如，在8 vCPU系统上运行10个代理与在16 vCPU系统上运行20个代理，若密度相同，则行为相似。这为架构师提供了一种跨实例大小和处理器代际比较容量可移植的方法。</p> <p>合适的密度还取决于业务目标。交互式副驾驶和面向用户的助手应偏好较低密度，因为响应时间至关重要。批处理工作负载（如IT工作流）通常可以运行在较高密度下。这为团队提供了一种实用方法，根据服务级别目标和总拥有成本来调整集群。</p> <p>自主AI需要一种新的可观测性：平均CPU利用率对于自主工作负载来说是一个较弱的主要性能监控信号。代理经常在等待模型响应和进行短时密集计算之间交替。由于这种“突发”模式，即使这些突发正在创建队列并拖慢用户体验，平均利用率看起来也可能可以接受。任务延迟（P95）是更好的领先指标。即使在平均任务持续时间明显恶化之前，它就能显示工作流何时开始等待。一个实用的运营模式是首先对P95延迟发出警报，然后通过观察持续的任务持续时间来确认问题。</p> <p><strong>默认采用横向扩展：</strong>横向扩展增加更多系统，提升总代理容量；而纵向扩展为单系统增加核心或内存，适用于计算突发更重的代理。</p> <p>我们的测试数据表明，横向扩展通常是更好的默认选择。这与代理通常半独立且每代理突发较小的事实相符：它能提升整体性能，支持高可用性，通常降低成本，并且随着平台增长更容易维持目标代理-每vCPU比率。</p> <p>当代理需要更重的并行计算、共享状态限制分区、内存局部性重要或存在许可约束时，则应采用纵向扩展。</p> <p><strong>考虑业务影响：</strong>自主AI首先会在哪里创造业务价值？获得生产级成果的组织正在围绕已有编码规则和可衡量服务级别的工作流（如代码创建、回归测试农场、工单分类、市场分析和安全审查）包裹自动化层。</p> <p>因此，自主AI的理想企业角色并非追求新奇性的实验用户，而是负责任的领导者，他们必须缩短周期时间、提高生产力、保护服务质量、执行政策，并在考虑成本的前提下扩展采用规模。&nbsp;</p> <p>自主AI的价值来自帮助企业在团队、系统、数据和流程之间完成实际工作。对于企业而言，优先事项不仅是更好的模型性能，更是创建一个可靠的环境，使AI代理能够支持业务工作流、提高生产力、在治理要求内运行，并随着采用增长而扩展。</p> <p>在实践中，成功运用自主AI取决于正确的基础，以提供一致的结果、管理成本、保持控制，并从试点顺利过渡到生产。</p> <p><em>本文内容由英特尔制作，并非由《麻省理工科技评论》编辑团队撰写。</em><br><br><b