在模型成本变动后，如何为长时间运行的代理进行路由？
摘要
作者在模型成本变动后重新审视代理管道，寻求判断哪些阶段应路由至最强模型路径的信号，以优化性能和成本。
在新模型发布改变了可用能力和成本权衡后，我正在重新审视一个代理管道。该工作流程包括规划、工具调用、文档或图像解释、重试和最终验证，因此我不想默认将每个步骤都路由到同一个模型。我正在测量任务成功率、延迟、上下文大小、重试率和总令牌成本，并针对较小的KV缓存行为和多模态步骤进行单独测试。您使用哪些信号来决定哪些阶段应保留在最强模型路径上？
相似文章
当模型能力、策略、成本和延迟冲突时，如何路由代理请求？
作者讨论了当模型能力、策略、成本和延迟冲突时，路由AI代理请求的设计方法，询问生产经验中的权衡和策略。
如何判断何时可以让更便宜的模型接管智能体反复执行的任务？
作者介绍了一种方法，用于判断智能体的重复任务何时可以安全地从前沿模型迁移到更便宜的模型，方法包括使用留出的历史运行数据、人工审核以及一键回滚，同时征询对评估方法的批评意见，并披露自己在该领域开发 Operant 项目。
如果你运行多模型智能体循环，你在哪里划分廉价节点/昂贵节点的界限？
作者分享了一种降低多模型智能体循环成本的策略：使用廉价快速的执行器处理重复节点，并使用强大的规划器进行高层推理，同时分享了在OpenRouter上使用Ling-3.0-flash的经验。
AgentRouter：用于成本最优多步骤代理工作流的异构模型路由
AgentRouter 是一个轻量级分类器，用于在代理工作流中将步骤路由到不同的模型层级，与仅使用前沿模型相比，实现了72%的成本降低且质量退化最小。
你更愿意调整一个模型的推理深度，还是在两个模型之间切换？
这是对使用单个可调深度的万亿参数推理模型（如 Ring-2.6-1T）与在多个专用模型之间切换这两种方案的权衡思考，探讨哪种方法对代理工作流更简洁或更具成本效益。