标签
TwiL-LM 是一系列小巧的专用开源模型，现已发布在 HuggingFace 上。其中 3B 版本在形式推理基准测试上优于 OpenAI 的 120B gpt-oss 模型，并且能在消费级硬件上高效运行。
一位开发者演示了如何在仅8美元的ESP32-S3微控制器上运行一个2890万参数的语言模型，利用Google的逐层嵌入技术将大部分参数存储在闪存中，实现了设备端每秒约9.5个token的文本生成速度。
SupraLabs 发布了 reasoning-corpus-4K-5M-v1，一个包含 500 万样本的推理数据集，用于训练小型语言模型 (SLM)，包含思维链追踪和 ChatML 格式，托管在 Hugging Face 上。
TinyRouter是一个微型的10K参数LLM路由器，它通过进化训练学习将每个问题路由到开源LLM池中最佳的专家模型。在MMLU和数学基准测试上，其性能达到或超过单个模型。
一名学生介绍了Silia，这是一种新颖的Transformer架构，将注意力机制和前馈网络合并为统一操作，以在≤10M参数规模下节省参数，尽管计算资源有限，仍以更少的参数实现了与GPT-2相当的性能。
宣布即将发布一个关于训练小型模型用于偏好调优的视频，涵盖奖励模型、RLHF、DPO、ORPO，以及Unsloth和TRL的使用。
本文介绍了“月光之味”（Flavors of Moonshine），一套面向边缘设备的小型专用ASR模型。作者证明，在人类标注、伪标注和合成数据的平衡混合上训练的单一语言模型，优于Whisper等更大的多语言模型，在小型模型中实现了最先进的错误率，并实现了对低资源语言的设备端ASR。