@LiorOnAI: 一个大约1万参数的路由器可以通过学习哪个模型应该回答哪个问题来击败MMLU上的每个单独的开源模型……

X AI KOLs Following 工具

摘要

一个称为tinyrouter的微小的大约1万参数路由器学习在MMLU中每个问题应该使用哪个开源模型,通过优化分配超越单个模型。

一个大约1万参数的路由器可以通过学习哪个模型应该回答哪个问题来击败MMLU上的每个单独的开源模型。 不是通过比模型更聪明。而是通过更好地分配工作。
查看原文
查看缓存全文

缓存时间: 2026/07/06 04:00

一个约一万参数的路由器可以通过学习哪个模型应该回答哪个问题,在MMLU上击败每一个单独的开源模型。

不是因为它比模型更聪明,而是因为它能更好地分配工作。

harrrshall (@HarshalsinghCN): 介绍 tinyrouter

我逆向工程了 Skana AI 的 Fugu 背后的路由架构,并为开放前沿模型构建了复刻版本。

这是一个很小的、约一万参数的LLM路由器,它能学习每个问题该用哪个模型以及模型应扮演什么角色。

目标是

相似文章

Arch-Router:将LLM路由与人类偏好对齐

Papers with Code Trending

Arch-Router是一个紧凑型1.5B参数模型,通过将查询映射到用户定义的领域和动作类型,将LLM路由与人类偏好对齐,在主观评估中优于专有模型。