[RELEASE] Supra-Router-51M - 一个微小的提示路由模型/编排器

Reddit r/LocalLLaMA 模型
prompt-routing orchestrator model-routing small-model huggingface open-source llm

摘要

SupraLabs 发布了 Supra-Router-51M，一个仅有 51M 参数的微小模型，用于将提示路由到合适的大型或小型模型，实现低延迟编排。同时还发布了一个配套数据集。

嘿，r/LocalLLaMA！SupraLabs 带着新模型回来了。Supra-Router-51M。基本上，这是一个用于根据用户提示/请求将请求路由到较小或较大模型的模型。这非常酷，因为它只有 51M 参数，因此可以用于低延迟环境。以下是一些示例：示例链接到 HF Hub 模型：https://huggingface.co/SupraLabs/Supra-Router-51M 随此模型，我们还发布了一个数据集（我们用它训练了模型！）：https://huggingface.co/datasets/SupraLabs/Prompt-Routing-Dataset 玩得开心！欢迎给我们反馈！❤️ 🤗
查看原文

相似文章

SupraLabs/Supra-Router-51M

Hugging Face Models Trending

SupraLabs 发布了 Supra-Router-51M，这是一个拥有 5170 万个参数的微型 LLM，用于多任务基础设施路由，旨在决定是将提示词在边缘设备上本地处理还是发送到云端模型。在一个小型数据集上进行微调后，它使用多任务序列生成来实现稳健的路由。

[新发布] Supra-50M 正式推出！

Reddit r/LocalLLaMA

SupraLabs 发布了 Supra-50M，一个紧凑的 5000 万参数因果语言模型，包含基础版和指令版，基于 fineweb-edu 的 200 亿个 token 训练，在多项关键基准测试中达到了可与 GPT-2 和 SmolLM 等更大模型竞争的水平。