100%本地模型，就在你的智能手机上！
摘要
一位开发者分享了成功微调Qwen 3模型（1.5B和4B）用于智能手机本地使用的经验，附带可下载的离线APK，并计划推出Windows版本。
我必须说，我快疯了……这次我以为真的要放弃了，但今早奇迹发生了（至少对我来说）。我对两个模型进行了微调并编写了工具：一个1.5B的Qwen 3和一个4B的，都进行了极致量化。4B版本适用于至少12GB RAM的手机，而小版本适合中端机型（仅占用2.5GB RAM）……我正在创建一个双语LoRA来帮助小模型更好地使用工具，并从32B模型蒸馏，所以效果比单独训练好。4B模型即使没有LoRA也能应付，但到明天早上小模型应该能毕业（32B教师模型做得很好）。你们可以像往常一样犀利，但重要的是建设性意见……你可以在这里下载APK（模型也可以离线运行！）https://nothumanallowed.com/local 不久也会推出Windows的.exe版本，在好电脑上运行无压力（在我的Mac Pro上飞快！）
相似文章
一个本地的、100%私有的语言模型，就在你的手机上！！
一个本地且私有的语言模型（Qwen 3 的 1.5B 和 4B 量化版本）可以在智能手机上离线运行，附带从 32B 模型蒸馏而来的微调与 LoRA。
在M4 Max上实现本地Qwen 3.5/3.6完全离线生成会议摘要。关掉Wi-Fi进行演示。这就是未来。
Hedy会议应用现在支持通过llama.cpp使用本地模型（如Qwen和Gemma）进行完全离线的AI摘要，并提供自带模型和硬件感知模型选择选项。此次更新使得在Apple Silicon和Windows GPU上无需Wi-Fi即可运行，不过云端仍提供更快的速度和更高的质量。
“Browser OS”由Qwen 3.6 35B实现：这是我从本地模型获得的最佳结果
一位用户报告称，通过Qwen 3.6 35B在本地运行'Browser OS'实现，取得了令人印象深刻的结果，凸显了该模型在不依赖云端的情况下执行复杂任务的能力。
@KtAIFeed: 直接上干货，不废话。 最近火爆 Hugging Face（单月下载超百万）的 Qwen 3.6（35B/43B）最新开源“无限制”模型，最低单卡 6G 显存就能在本地跑起来，彻底砸碎了官方原版的道德说教和安全限制，无审查，你聊它就回答什么…
介绍Qwen 3.6（35B/43B）开源无限制模型，移除官方道德与安全限制，最低6G显存即可本地运行，下载量超百万。
@victormustar: 支持MTP的llama.cpp使本地模型足够快，可作为日常驱动 Qwen3.6-27B密集生成（在A10G上…
llama.cpp为Qwen3.6模型添加MTP支持，在A10G硬件上将生成速度提升78%，使本地模型可作为日常驱动使用。