routing-layer

该分析讨论了xAI、阿里巴巴和Nvidia最近的AI发布如何代表三种不同的市场策略——封闭API、开放权重和路由层——Nvidia的路由方法可能比模型领先地位更能构建护城河。

一位开发者在vLLM上构建了一个路由层，将简单代理步骤路由到廉价的开源MoE模型（21B活跃参数），困难步骤路由到Opus，将400步重构的成本降至15.60美元，成功率达93.4%。