small-language-models

作者演示了，通过使用开源模型和Codex编排进行高性价比微调，小型垂直语言模型（6B-15B）能够在细分基准上超越顶级大语言模型，仅用价值300美元的数据集就取得了成果。

本文比较了领域训练的小型语言模型（Olava Extract）与前沿LLMs在结构化合同提取中的表现，结果显示该专业化模型获得了更高的F1分数且成本显著降低。

一位开发者训练了一个350M参数的模型，其处理电子表格的能力优于Anthropic的Opus 4.6。

SCURank 引入“摘要内容单元”对候选摘要打分，使从多个大模型蒸馏出的小模型超越传统指标与单一模型蒸馏效果。

SmolDocling 是一款紧凑型 2.56 亿参数视觉语言模型，专为端到端多模态文档转换设计。它引入了一种名为 DocTags 的新型通用标记格式，用于捕获带有位置信息的页面元素，其表现可与体积大 27 倍的模型相媲美。