Wayfinder Router: 在本地和托管LLM之间确定性路由查询

Hacker News Top 2026/06/28 04:31 工具

llm-routing deterministic-router open-source offline prompt-optimization dev-tool

摘要

Wayfinder Router 是一个开源的 Python 工具，它根据结构复杂性在本地或托管 LLM 之间确定性路由提示，无需调用任何模型，从而实现离线成本节省。

暂无内容

查看原文

查看缓存全文

缓存时间: 2026/06/28 04:53

确定性提示复杂度路由 — 将每个提示发送到本地或云端模型，离线，无需模型调用决定。快速开始 · 基准测试 · 对比分析 · 说明 · 更新日志

相似文章

arXiv cs.CL

LLMRouter将LLM路由统一表述为顺序决策过程，并提供了一个用于开发、评估和部署LLM路由器的开源基础设施和基准（xRouteBench）。实验结果表明，学习型路由器相比最强的固定模型基线实现了14.6%的相对提升。

Hacker News Top

Manifest解释了为何弃用其LLM路由器，认为模型路由会引入不可预测性、破坏行为一致性，且无法仅凭提示词推断其复杂性，因此对大多数用例而言，缓存和审慎的模型选择更为有效。

arXiv cs.CL

一篇新论文提出了VDAR-Router，这是一个面向LLM的难度感知的基于检索的路由框架，能够根据查询难度自适应选择模型，实现更好的成本-性能权衡。

X AI KOLs Following

OrcaRouter 是一个基于学习的LLM路由器，能够根据质量、成本、速度和可靠性动态地将提示路由到合适的模型，并随着生产流量的增加而持续改进。

TLDR AI

Ramp Router 使用 EWMA 评估故障率，通过 Thompson 采样评估延迟，从而选择最便宜的、能在截止时间前完成任务的 LLM 模型和服务层级，在不损失性能的情况下实现 30% 的成本节省。