为什么微小模型（参数少于50M）或一群专门化的微模型在生产环境中如此罕见？
摘要
作者质疑为什么参数少于50M的微小AI模型或一群专门化的微模型在生产环境中很少被部署，推测原因可能是工具偏差或通用模型的便利性。
我一直在思考为什么在生产环境中看不到更多的微小、专门化模型。感觉对于某些事情，使用小型、任务特定的模型会更有效率，但我们似乎总是最终用一个巨大的模型做所有事情。这是仅仅因为我们的工具和推理引擎是为大型模型构建的，还是因为提示通用模型比训练一个专门模型做艰苦工作更容易？我想听听在大规模工作中的人的看法。
相似文章
为什么缺乏新的100B-120B模型？
分析AI模型尺寸趋势，指出100-120B参数范围存在空白，近期发布主要聚焦于较小（25-35B）或较大（200B+）的模型。
小型本地模型用于自动化，真的可行吗？
一位 Reddit 用户探讨了小规模本地语言模型（1B-4B 参数）在自动化和脚本编写方面的潜力，并询问了专注于这一应用场景的资源。
专业化胜过规模化：大多数AI采购决策忽略的一个战略变量
本文认为，在特定企业领域，专业小型模型可以以极低的成本超越更大的前沿模型，并以DharmaOCR模型作为案例研究。它强调了训练历史与部署任务的一致性如何使参数数量不再起决定性作用。
真诚提问：更小的量化模型是否正在成为本地AI的最佳选择？
文章探讨了更小的量化模型是否正在成为本地AI应用的首选，强调了它们在VRAM使用、性能和功能（如工具调用）之间的平衡。
前沿模型是否正在成为不需要它们的任务的默认选择？
文章讨论了大多数AI流量由简单、可重复的任务组成，如分类和提取，然而前沿模型常常被用于所有事情。它质疑将任务路由到较小的专用模型是否会成为降低成本和延迟的标准做法。