现在大家是如何构建批处理智能体的？
摘要
作者通过与几位构建 AI 智能体的开发者交流，总结出批量智能体任务的共同模式（可容忍延迟、无交互、大批量），并指出现有的实时与批量推理 API 均无法很好地满足这类工作负载，尤其是键值缓存命中率问题，导致批量 API 实际上难以节省成本。
我最近和几位正在构建智能体的人聊了聊，他们的使用场景呈现出了一些共同的模式。他们正在做的事情包括：1. 组建一支智能体红队，攻击被测智能体，以发现漏洞。2. 使用智能体模拟不同的客户画像，在网站上线前进行测试。3. 通过大量智能体会话，输入不同的用户问题，评估其 CLI + SKILL 的端到端智能体体验。共同模式是：1. 整个任务都可以延后执行。他们通常不期待立即得到响应。这与个人智能体不同。2. 这些任务不需要交互。大多数情况下，这些任务会在没有人工介入的情况下完成。3. 通常是批量执行。任务数量往往比较大。我觉得这个模式很有意思，因为它对当前的智能体基础设施提出了挑战。以推理为例，大多数供应商都提供实时 API 和批处理 API。然而，它们似乎都不完全适合：对于可以延后执行的任务，人们愿意接受更高的延迟来换取成本节省。实时 API 并不提供这种选择。另一方面，批处理 API 的价格更低、延迟更高，但它几乎无法命中 KV 缓存。由于智能体工作负载涉及多轮推理，命中 KV 缓存至关重要。因此，批处理 API 实际上并不能节省成本。为什么应该有一种解决方案？因为实时请求具有不可预测性，只有一小部分计算资源被用于处理实时流量。批处理任务更可预测，因此可以更高效地利用计算资源，这理应带来更低的价格。这些只是理论上的思考。欢迎分享你的看法：)
相似文章
@knoYee_: https://x.com/knoYee_/status/2062780637677752366
作者复盘了使用多Agent协作三个月的经验，总结出五个主要痛点（如Agent间矛盾、忽略边界条件、自我审查失效、合并决策困难、压缩执行后暴露更难问题）和两个心得（只读审查Agent价值高、Agent矛盾暴露需求模糊），强调了人类在AI协作中的核心决策作用。
是只有我这么觉得，还是构建 AI 智能体比大家说的要难？
作者分享了实际构建 AI 代理的经验，指出真实落地远比线上演示复杂：集成现有软件、处理杂乱数据、维护成本和人工复核才是主要难点，并建议从小任务逐步自动化。
@vintcessun: 一直以为AI agent只能写普通代码，没想到MIT HAN Lab直接用agent流程来设计和优化CUDA kernel。手工调耗时又容易漏方案，他们搞了个“任务合约+agent循环+小步验证”的工作流，让Agent自己研究、实现、验证…
MIT HAN Lab 提出了一种利用AI agent流程自动设计和优化CUDA kernel的方法，通过任务合约、agent循环和小步验证的工作流，使agent能在专业工具链中自主迭代优化，替代手工调优。
@AxtonLiu: https://x.com/AxtonLiu/status/2073791557547794579
本文讨论了Agent OS的概念，强调通过分工将任务拆解为多个工位（抓取、提炼、核查、确认），每个工位由独立的Agent负责，以实现可控的自动化。作者通过消化浏览器标签的例子，展示了如何通过分工隔离上下文、责任和风险，确保AI输出的准确性和可靠性。
在你彻底搞不清状况之前，最多能同时运行多少个 agent 会话？
作者提出了一个评估 AI agent 使用水平的新视角：能否在并行运行多个 agent 会话的同时仍清楚掌握工作全局。文章强调了任务边界、看板状态、交付约定以及定时任务可见性的重要性，指出如果代理数量翻倍却带来翻倍的监督和整理成本，说明工作流仍有改进空间。