speed-bottleneck

作者分享了一个实用的四层LLM路由栈，用于代理工作。其中，快速的编排器处理大部分请求，仅在需要深度推理时才会升级到昂贵的模型，显著降低了成本并提升了交互体验。