标签
作者探讨了一种面向本地受限硬件（<6GB VRAM）的解耦式多智能体架构：用单个中等规模推理模型作为编排者，配合多个 1-3M 参数的 CPU 端「纳米模型」处理高频例行任务，仅在低置信度时向上升级，实现零云、空气隔离的边缘优先系统。
作者训练了一个拥有 41.4 万个参数、从零实现的 Transformer 来模仿 boids 鸟群行为，并用线性探针研究模型内部对三条 boids 规则的表征是否与其实际使用的机制一致。研究发现，聚合规则在训练前即可被读出，对齐规则依赖第二个注意力层，而首次训练的模型实际上并未利用鸟群信息。
Cactus Compute 发布 Whistle：一个 16.9 MB、纯 CPU 运行的语音识别模型，支持七种欧洲语言，实测首 token 5-8 毫秒、解码约 1300 token/秒，但对不支持的语言（如中文、日文）不会报错，而是静默输出假词，存在生产环境静默污染风险。
这篇论文在极小规模（8.7M 参数、4 层）的中文 BERT 上严格控制变量，对比了 MLM、WWM 和 MacBERT 三种预训练策略，发现小规模下的策略排名（MLM > WWM ≫ MacBERT）与大规模结论相反，并指出 MacBERT 在同义词词典覆盖不足时会出现困惑度严重退化、训练损失不可靠的问题。
作者质疑为什么参数少于50M的微小AI模型或一群专门化的微模型在生产环境中很少被部署，推测原因可能是工具偏差或通用模型的便利性。
一条来自@tobi的推文讨论了如何通过自我改进飞轮训练用于专业用例的小型模型非常有效，并指出Shopify ML团队的微调0.8b模型在特定任务上优于GPT 5.6-sol xhigh。
TwiL-LM 是一系列小巧的专用开源模型，现已发布在 HuggingFace 上。其中 3B 版本在形式推理基准测试上优于 OpenAI 的 120B gpt-oss 模型，并且能在消费级硬件上高效运行。
一位开发者演示了如何在仅8美元的ESP32-S3微控制器上运行一个2890万参数的语言模型，利用Google的逐层嵌入技术将大部分参数存储在闪存中，实现了设备端每秒约9.5个token的文本生成速度。
SupraLabs 发布了 reasoning-corpus-4K-5M-v1，一个包含 500 万样本的推理数据集，用于训练小型语言模型 (SLM)，包含思维链追踪和 ChatML 格式，托管在 Hugging Face 上。
TinyRouter是一个微型的10K参数LLM路由器，它通过进化训练学习将每个问题路由到开源LLM池中最佳的专家模型。在MMLU和数学基准测试上，其性能达到或超过单个模型。
一名学生介绍了Silia，这是一种新颖的Transformer架构，将注意力机制和前馈网络合并为统一操作，以在≤10M参数规模下节省参数，尽管计算资源有限，仍以更少的参数实现了与GPT-2相当的性能。
宣布即将发布一个关于训练小型模型用于偏好调优的视频，涵盖奖励模型、RLHF、DPO、ORPO，以及Unsloth和TRL的使用。
本文介绍了“月光之味”（Flavors of Moonshine），一套面向边缘设备的小型专用ASR模型。作者证明，在人类标注、伪标注和合成数据的平衡混合上训练的单一语言模型，优于Whisper等更大的多语言模型，在小型模型中实现了最先进的错误率，并实现了对低资源语言的设备端ASR。