Mobile AI Factory:为你的移动设备构建专用语言模型
摘要
Mobile AI Factory 是一个智能体系统,它借助编排 LLM、真实设备测量和自适应搜索,自动为特定任务和特定手机构建微调并量化的专用小语言模型,在移动任务上达到甚至超越前沿模型的水平,且 GPU 时间消耗大幅降低。
查看缓存全文
缓存时间: 2026/11/16 12:13
论文页面 - Mobile AI Factory:为你的移动设备构建专用语言模型
来源:https://huggingface.co/papers/2611.13509
摘要
Mobile AI Factory 是一个智能体系统(agentic system),它借助编排器 LLM(orchestrator LLM)、真实设备测量与自适应搜索,自动构建针对特定任务和特定手机微调的量化小语言模型,其效果达到或超越更大的模型,而 GPU 用时却少得多。
在移动设备上运行的小语言模型(https://huggingface.co/papers?q=Small%20language%20models)(SLM)能够保护用户数据隐私,并在无网络连接的情况下工作。但只有针对目标任务进行微调、并针对目标设备调整规模,它们才能表现出良好的效果——而这一过程目前需要专家反复调优。我们提出 Mobile AI Factory,一个智能体系统(https://huggingface.co/papers?q=agentic%20system),可为给定的任务和手机构建经过微调、量化的 SLM。给定任务规格说明和目标手机,一个编排器 LLM(https://huggingface.co/papers?q=orchestrator%20LLM)会选择是调整超参数、挖掘真实数据,还是生成合成样本,同时由固定规则回滚那些会损害准确率的更改。该工厂在基础模型(https://huggingface.co/papers?q=base%20models)和量化方式(https://huggingface.co/papers?q=quantization)上从模型由小到大进行搜索,在搜索过程中动态调整其准确率目标,并使用目标手机在不同推理引擎(https://huggingface.co/papers?q=inference%20engines)和后端(https://huggingface.co/papers?q=backends)上的真实测量结果。我们在十个任务和四部 Android 手机上对 Mobile AI Factory 进行了评估。在未见过的测试集上,其端侧模型(https://huggingface.co/papers?q=on-device%20models)在五个任务上超越了两个五样本前沿模型(https://huggingface.co/papers?q=five-shot%20frontier%20models),领先幅度最高达 0.34,并在另外三个任务上与之持平。在一个实体抽取(https://huggingface.co/papers?q=entity%20extraction)任务上,它的搜索结果与穷举训练全部 27 个模型变体相比仅相差 0.03,而 GPU 用时却少了 19 倍。手机测量同样至关重要:最佳配置因手机而异。若没有手机测量结果,Claude Opus 5.5 即使获得完整的硬件与模型规格,在 25% 的简单和中等难度场景、以及 60% 的困难场景中都无法满足该应用的要求。代码已开源:https://github.com/evanly-gh/SLM_Factory。
查看 arXiv 页面(https://arxiv.org/abs/2611.13509)查看 PDF(https://arxiv.org/pdf/2611.13509)GitHub1(https://github.com/evanly-gh/SLM_Factory)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2611.13509)
引用本文的模型 4
evanlyhf/MobileAIFactory-BC5CDR-NER-Qwen3.5-0.8B-Q4_K_M-GGUF 文本生成 • 0.8B • 1 天前更新 • 101 (https://huggingface.co/evanlyhf/MobileAIFactory-BC5CDR-NER-Qwen3.5-0.8B-Q4_K_M-GGUF)
evanlyhf/MobileAIFactory-CalendarJSON-Qwen3.5-0.8B-Q4_K_M-GGUF 文本生成 • 0.8B • 1 天前更新 • 107 (https://huggingface.co/evanlyhf/MobileAIFactory-CalendarJSON-Qwen3.5-0.8B-Q4_K_M-GGUF)
evanlyhf/MobileAIFactory-BC5CDR-NER-Qwen3.5-0.8B-MNN-4bit-OnePlus8Pro 文本生成 • 1 天前更新 • 20 (https://huggingface.co/evanlyhf/MobileAIFactory-BC5CDR-NER-Qwen3.5-0.8B-MNN-4bit-OnePlus8Pro)
evanlyhf/MobileAIFactory-DialogSum-Qwen3-0.6B-MNN-8bit-GalaxyS23 文本生成 • 1 天前更新 • 20 (https://huggingface.co/evanlyhf/MobileAIFactory-DialogSum-Qwen3-0.6B-MNN-8bit-GalaxyS23)
引用本文的数据集 0
没有数据集关联本文。
在数据集的 README.md 中引用 arxiv.org/abs/2611.13509,即可从本页面链接到该数据集。
引用本文的 Spaces 0
没有 Space 关联本文。
在 Space 的 README.md 中引用 arxiv.org/abs/2611.13509,即可从本页面链接到该 Space。
收录本文的集合 1
相似文章
微语言模型实现即时响应
研究人员推出 8M–30M 参数的微型语言模型,可在本地设备瞬间生成前几个词,再由云端模型补全,让智能手表等超受限设备也能拥有响应迅速的 AI 体验。
LiquidAI/LFM2.5-230M
Liquid AI发布了LFM2.5-230M,一款紧凑的230M参数混合模型,针对设备端部署进行了优化,边缘推理速度快(在Galaxy S25 Ultra上达到213 tok/s),并通过强化学习构建,适用于智能体任务。
MobileMoE:扩展端侧混合专家模型
MobileMoE 引入了高效的端侧混合专家语言模型,参数规模低于十亿,在性能和效率上均优于密集基线模型和现有的 MoE 模型。这些模型在开源数据集上训练,并在商用智能手机上展现出显著的加速效果。
Modelence Mobile Builder
Modelence Mobile Builder 允许用户通过与 AI 对话来构建移动应用。
Desert Ant Labs
Desert Ant Labs 提供适用于语音、文本和视觉的小型专业AI模型,这些模型可在设备上离线运行,并配备SDK以便轻松集成,且无使用费用。