latency-quality-tradeoff

本文介绍了 LQM-ContextRoute，一种上下文赌博机路由器，用于在 LLM 代理中选择功能等效的工具提供商，平衡延迟和答案质量。它在网络搜索和检索器基准测试上优于基线。