标签
HyDRA是一种面向异构LLM池的混合动态路由架构，能够预测每个查询的细粒度能力需求，并通过不足匹配选择最便宜且能力满足需求的模型，在保持质量的同时实现高达72.5%的成本节省。该架构已部署于GitHub Copilot的VS Code Chat自动模式，并将路由与模型目录解耦，模型变更时无需重新训练。