一个完全本地的模型，甚至在您的智能手机上！

Reddit r/ArtificialInteligence 工具
local-model smartphone fine-tuning distillation small-model reasoning

摘要

发布了一个接口，用于管理两个在智能手机上本地运行的小模型（4B 和 1.7B）。4B 在高端手机上运行良好；1.7B 在推理时存在稳定性问题，正在通过深度微调进行改进，使用 130k 示例并从 32B 教师模型中进行蒸馏。

我想告诉您，我已经发布了一个用于管理两个小模型的接口，它们甚至可以在智能手机上运行。目前，4B 运行得非常好（但需要高端手机）。我在 1.7B 上遇到一些问题，无法在启用推理时保持稳定，但我应该能够通过深度微调来解决，这耗费了我大量时间和计算能力（我的敌人不是损失函数，而是示例的质量和多样性，大约有 130,000 个！！）。我正在使用一个 32B 模型作为教师，然后蒸馏到小模型上。一旦数据集准备好（大约 10 天），我希望也能改进 1.7B，而无需像现在这样使用任何 LoRa。请像往常一样毫不留情！😘 https://nothumanallowed.com/local
查看原文

相似文章

让手机自己操作电脑：一个能操作 Android 应用的 2B 模型（4 分钟阅读）

TLDR AI

Opposide 推出可在 Android 手机本地运行的 GUI 智能体：使用 4-bit 量化的 GUI-Owl 1.5 2B 模型（基于 Qwen3-VL，由 Alibaba Mobile-Agent 团队出品），通过 llama.cpp 在设备上直接读屏并操作任意应用，无需服务器。通过裁剪状态栏、丢弃平坦背景图像 token 等优化，Mac M2 CPU 上单步耗时从 10.6 秒降至 7.3 秒，且在 36 屏测试集上精度不降。