一个本地的、100%私有的语言模型，就在你的手机上！！

Reddit r/ArtificialInteligence 模型
local-model smartphone offline fine-tuning quantized qwen3 privacy

摘要

一个本地且私有的语言模型（Qwen 3 的 1.5B 和 4B 量化版本）可以在智能手机上离线运行，附带从 32B 模型蒸馏而来的微调与 LoRA。

不得不说，我快疯掉了……这次我真的以为要放弃了，但今天早上奇迹发生了（至少对我来说）。我对两个模型进行了微调并编写了工具：一个 Qwen 3 的 1.5B 模型，另一个是极度量化的 4B 模型。4B 版本适用于至少 12GB RAM 的智能手机，而小模型则面向中端机型（仅占用 2.5GB RAM）……我正在创建一个双语 LoRA 来帮助小模型更好地使用工具，并且我从一个 32B 模型对其进行蒸馏，因此效果比直接用相同模型做的更好。4B 模型即使没有 LoRA 也能胜任，但到明天早上小模型应该可以毕业了（教师 32B 模型做得非常出色）。你们可以一如既往地苛刻，但重要的是要有建设性……你可以在这里下载 apk（模型甚至可以离线工作！）https://nothumanallowed.com/local 很快也会提供 Windows 的 .exe 版本，在性能良好的电脑上可以无问题运行（在我的 Mac Pro 上跑得飞快！）
查看原文

相似文章