accuracy-cost

一篇论文提出了一种延迟感知的LLM查询路由器，通过轻量级延迟估计器联合优化延迟、准确性和成本，在保持可比延迟的同时，准确率-成本效用提升高达40%。

Google DeepMind发布了一篇关于有效模型路由策略的论文，讨论了LLM路由器在准确性和成本方面的评估，但如果模型回答完全相同，这种评估可能毫无意义。