production-traffic

作者描述了由于供应商创建的指标、自报参数和缺乏独立验证而对公开AI模型基准测试失去信心，并主张从真实生产流量中构建自定义评估集以进行更相关的模型比较。

OrcaRouter 是一个基于学习的LLM路由器，能够根据质量、成本、速度和可靠性动态地将提示路由到合适的模型，并随着生产流量的增加而持续改进。