Wayfinder Router: 在本地和托管LLM之间确定性路由查询

Hacker News Top 工具
llm-routing deterministic-router open-source offline prompt-optimization dev-tool

摘要

Wayfinder Router 是一个开源的 Python 工具，它根据结构复杂性在本地或托管 LLM 之间确定性路由提示，无需调用任何模型，从而实现离线成本节省。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/06/28 04:53

确定性提示复杂度路由 — 将每个提示发送到本地或云端模型，离线，无需模型调用决定。快速开始 · 基准测试 · 对比分析 · 说明 · 更新日志

相似文章

面向LLM代理中功能等价工具的延迟-质量路由

arXiv cs.LG

本文介绍了 LQM-ContextRoute，一种上下文赌博机路由器，用于在 LLM 代理中选择功能等效的工具提供商，平衡延迟和答案质量。它在网络搜索和检索器基准测试上优于基线。

从早期经验中学习智能体路由

arXiv cs.CL

本文介绍了 BoundaryRouter，这是一个无需训练的框架，通过根据早期经验将查询路由至轻量级推理或完整智能体执行来优化大型语言模型（LLM）智能体的使用。此外，本文还提出了 RouteBench，这是一个用于评估路由性能的基准，显示出在速度和准确率方面的显著提升。

路由高原：理解并突破LLM路由器的精度极限

arXiv cs.LG

本文识别了一种'路由高原'现象，即多种LLM路由方法收敛到相似的精度，远低于理想路由器，原因是存在一个可预测性瓶颈，限制了针对特定查询的路由。随后，本文展示了更大的数据集、更强的编码器和微调有助于突破这一高原。