semantic-routing

GuardrailX 的联合创始人分享了如何通过在代理框架与 LLM 供应商之间加入代理网关，实现自动循环检测、语义路由和 LLM-as-a-Judge 质量评估，并展示了基于 3,500 多条生产请求日志得出的约 54% 成本削减数据。

本文对LLM的过度拒绝进行机制分析，并提出语义路由校准（SRC），这是一种轻量级、无需训练的推理框架，用于动态抑制过度敏感的安全头，缓解过度拒绝，同时保持内在安全。

本文对多视图图-文本对齐进行了一项受控研究，利用分子数据集（BBBP、BACE）上的因果扰乱测试来确定显式视图路由何时真正有效。正确路由可提升标签和属性nDCG，但证据仅限于显式外部接地路由，并不能确立自由形式路由或一致的三视图专业化。

Clement Delangue 强调了 vLLM 的新语义路由器，这是一个开源系统，用于将LLM查询路由到最合适的模型，旨在将价值从昂贵的前沿模型转移到多样化的开源模型生态系统。

SAMoRA 通过引入语义感知路由器和任务自适应缩放，在 MoE-LoRA 微调中提升专家专业化与动态加权，在多任务基准上显著优于现有方法。