prompt-routing

SupraLabs 发布了 Supra-Router-51M，一个仅有 51M 参数的微小模型，用于将提示路由到合适的大型或小型模型，实现低延迟编排。同时还发布了一个配套数据集。

SupraLabs 发布了 Supra-Router-51M，这是一个拥有 5170 万个参数的微型 LLM，用于多任务基础设施路由，旨在决定是将提示词在边缘设备上本地处理还是发送到云端模型。在一个小型数据集上进行微调后，它使用多任务序列生成来实现稳健的路由。

本文探讨了AI智能体中每提示词模型路由的挑战，质疑是否有人真正有效解决了这个问题。文章指出，当前实践依赖直觉，固定费率计划降低了优化压力，而分流层本身也可能带来额外成本。

Factory Router 为每个任务自动选择最佳AI模型，声称能在保持前沿性能的同时削减25%的成本，对大企业来说是一款前景广阔的工具。