如何高效构建 Microsoft AI agent framework

当人们谈论 Microsoft Agent Framework 工作负载中的成本时，第一个建议几乎总是“使用更便宜的模型”。这个建议没有错，但它也忽略了当你开始运行真正的多智能体系统时，大部分开销实际上来自哪里。在许多情况下，更大的成本泄漏来自于上下文在代理之间重复传递、工作流被重试或恢复、大型检索负载、冗长的日志、结构化输出，以及在对推理水平要求不高的任务中使用昂贵模型。我发现一个更有效的模式是保持 Microsoft Agent Framework 作为编排层，并在其下放置一个网关。网关负责缓存、上下文压缩和模型路由等任务，从而使工作流能够更智能地决定哪些任务真正需要高级模型。考虑一个支持分类流程。工单进入，经过分类、摘要、与文档和以前的修复方案匹配，然后生成草稿回复。只有当情况确实模糊时，才会升级到更强的模型。该工作流的大部分不应被计费为在进行深度推理。真正的优化机会不仅仅是模型选择，而是确保每个步骤获得它实际需要的智能水平。那通常是出现有意义的成本节约的地方。