介绍 TinyRouter

我逆向工程了 Skana AI 的 Fugu 背后的路由架构，并为开放前沿模型构建了复现版本。

它是一个大约 10K 参数的迷你 LLM 路由器，能够学习针对每个问题该使用哪个模型以及该模型应扮演什么角色。

目标很简单：通过将每个任务路由到合适的专家模型，而不是依赖单一 LLM，从而击败每一个单个模型。

https://github.com/harrrshall/tinyrouter/…

一些有趣的发现：

• 只有当模型具有互补优势时，路由才有帮助。如果每个模型在某个基准测试上表现相似，那么路由器几乎没有什么可优化的。

• 在 MMLU 上，路由器击败了每个单个模型。在数学上，它与最佳模型持平，因为模型池几乎没有什么可观察到的多样性。

• 对路由器进行热启动并塑造进化奖励改善了训练，但由于评估方差太高，我们尚未声称有真正的提升。需要更严格的实验。

harrrshall/tinyrouter

来源：https://github.com/harrrshall/tinyrouter

TinyRouter

我们构建了一个小的协调器，它会针对每个问题决定两件事：应该由三个开源 LLM 中的哪一个来回答，以及该模型应扮演什么角色（思考者、执行者或验证者）。该协调器故意设计得小巧且廉价。一个冻结的 0.6B 编码器将问题读入一个单独的向量，一个 ~10K 参数 的头将该向量转换为路由决策。它通过可分离的 CMA-ES（一种无导数的进化策略）进行训练，目标是一个简单的正确/错误奖励。协调器本身从不解决问题；它只学习该问谁。

该方法遵循 TRINITY（Xu 等人，ICLR 2026，arXiv:2512.04695 (https://arxiv.org/abs/2512.04695)），从头重建，使用一个全部开源的模型池，通过 Fireworks AI 提供。

我们做了什么

• 实现了完整的协调器：0.6B 编码器特征、约 10K 路由头、三个角色、多轮循环（最多 5 轮，由验证者接受终止）以及 sep-CMA-ES 训练器。
• 连接了一个包含 3 个模型的开源池和一个自动评分器（数学精确匹配，MMLU 字母匹配），生成二元奖励。
• 通过进化训练每个任务的协调器：繁殖数千个候选头，保留路由效果最好的，重复进行。
• 在 120 个保留问题上进行严格评估，每个单一模型基线取 3 次运行的平均值以消除运行间噪声，并与每个单独模型以及随机路由进行比较。
• 构建了一个oracle 上限诊断，以判断模型池是否具有路由可以发挥作用的余地，并据此决定在哪些任务上值得投入改进工作。
• 根据该诊断结果实施并测试了两个升级（监督热启动路由头，塑造训练适应度），并在具有真正提升空间的任务上进行测量。
• 跟踪了每次 API 花费的每一美元，并记录了每个结果。

模型池

0.6B 编码器和进化循环在单个 NVIDIA H200 上运行；三个 LLM 通过 HTTP 调用。

运行方式

1. 冻结的 0.6B 编码器将问题转换为一个 1024 维向量。
2. 约 10K 参数的头读取该向量，并选择一个模型和一个角色。
3. 所选模型以该角色回答；其输出被附加到记录中。
4. 步骤 1 到 3 重复最多 5 轮；验证者一轮可以接受并提前停止。
5. 最终答案被评分为正确/错误，该奖励驱动进化训练。

结果

严格评估：每项任务 120 个保留问题；单一模型基线为 3 次运行的平均值。分数为正确比例（0.792 = 79.2%）。

数学

MMLU

两项任务合并

数据说明

小型路由器的平均得分为 0.858，高于任何一个单个模型。没有单个模型在两项任务上都表现出色：deepseek 是知识专家，glm 是数学专家。路由器通过将每项任务发送给合适的专家，在平均分上胜出。

直白地解读：胜利来自于跨任务，而非任务内部。在 MMLU 上，模型之间差异很大（0.54 到 0.92），路由明显有帮助，并且路由器击败了随机路由（0.925 对比 0.875）。在数学上，所有三个模型都在 0.79 左右，没有可路由的空间，因此路由器与最佳模型及随机路由持平。当模型真正存在差异时，路由才有价值。

路由能否做得更好？（oracle 上限诊断）

数学上的持平可能意味着两种截然不同的事情：要么模型池没有提升空间（每个模型在相同问题上表现同样好或差），要么提升空间存在但我们的路由器未能抓住。为了区分两者，我们构建了一个诊断方法，用于估计完美的查询条件路由器可能达到的最佳分数，并通过分割半交叉拟合对赢者诅咒进行去偏，然后根据自助法置信区间而非点估计来读取结论。

这推翻了之前认为数学“无益处”的简单解读。数学上确实存在约 4.9 个点的真实、可实现的提升空间；只是我们训练的路由器没有抓住任何一点。因此，数学的限制在于路由器，而非模型池。MMLU 接近其上限，deepseek 已经占据主导，而路由器已经与之持平。

尝试抓住空间：热启动 + 塑造适应度

诊断将努力指向数学，因此我们尝试了两个升级：用监督拟合（针对每个（问题，模型）的正确性标签）热启动路由头（而不是从空白头开始进化），以及塑造训练奖励（格式奖励、轮次惩罚、方差重新加权），同时保持评估纯粹的正确/错误。

重新训练的路由器得分为 0.808，而之前为 0.792，但我们认为这不确定，并非胜利。评估中每个模型每个问题只采样一次，采样噪声很大：随机路由在什么都没改变的情况下，运行之间从 0.792 摆动到 0.733。如此大的摆动淹没了 1.6 个点的路由器差异。我们没有运行干净的对照（空白初始化、纯二元奖励、相同设置），因此没有因果证据表明热启动或塑造改变了数值。结果仍然低于最佳单个模型（0.817）和 0.856 的上限，因此诊断发现的提升空间仍然存在。两个升级已经实现，并通过了 54 项离线测试；它们是否真正提高了保留分数尚未得到证实。

成本

根据真实的 Fireworks 价格，从 token 账本精确追踪：

• 核心复现与严格评估：$20.89（deepseek $6.56，glm $6.70，kimi $7.64）。
• Oracle 上限诊断：~$14。
• 热启动 + 塑造适应度实验（标签收集、重新训练、评估）：$27.22。