标签
Svpino 演示了如何使用推理路由器将问题复杂性与适当的AI模型匹配，建议用户停止直接与模型交互。
HyDRA是一种面向异构LLM池的混合动态路由架构，能够预测每个查询的细粒度能力需求，并通过不足匹配选择最便宜且能力满足需求的模型，在保持质量的同时实现高达72.5%的成本节省。该架构已部署于GitHub Copilot的VS Code Chat自动模式，并将路由与模型目录解耦，模型变更时无需重新训练。
本文介绍了一种基于专家编写解决方案的token级统计的代理指标，用于预测LLM下游性能，在模型选择、预训练数据选择和训练时预测方面显著优于基于损失的方法。
本文认为，唯独前沿AI模型才能用于生产的叙事是由融资需求驱动的，而非架构现实。文章指出，像Phi-4、Claude Haiku这样的小型高效模型以及RouteLLM等路由解决方案提供了经济高效的替代方案，而大多数企业因默认使用大型模型而浪费token。
本文引入了层表示动力学（LRD），这是一个包含三个测量家族的框架，用于分析语言模型中各层隐藏状态的变化。应用于30个MTEB任务上的31个模型，LRD揭示了架构差异，并实现了无标签模型选择和推理时层剪枝。
文章指出，智能体框架对性能的影响（30-50个百分点的波动）远大于模型选择本身，认为团队应关注实例级别的验证，而不仅仅盯着模型名称。
一篇教程博客文章，介绍 LLM 路由——即根据成本、延迟和质量，将用户查询定向到最合适的 LLM 的实践方法。涵盖路由策略、LLM 路由器的结构解析，以及与混合专家模型（Mixture of Experts）的对比。
Arch-Router是一个紧凑型1.5B参数模型，通过将查询映射到用户定义的领域和动作类型，将LLM路由与人类偏好对齐，在主观评估中优于专有模型。