一个完全本地的模型，甚至在您的智能手机上！

Reddit r/ArtificialInteligence 工具
local-model smartphone fine-tuning distillation small-model reasoning

摘要

发布了一个接口，用于管理两个在智能手机上本地运行的小模型（4B 和 1.7B）。4B 在高端手机上运行良好；1.7B 在推理时存在稳定性问题，正在通过深度微调进行改进，使用 130k 示例并从 32B 教师模型中进行蒸馏。

我想告诉您，我已经发布了一个用于管理两个小模型的接口，它们甚至可以在智能手机上运行。目前，4B 运行得非常好（但需要高端手机）。我在 1.7B 上遇到一些问题，无法在启用推理时保持稳定，但我应该能够通过深度微调来解决，这耗费了我大量时间和计算能力（我的敌人不是损失函数，而是示例的质量和多样性，大约有 130,000 个！！）。我正在使用一个 32B 模型作为教师，然后蒸馏到小模型上。一旦数据集准备好（大约 10 天），我希望也能改进 1.7B，而无需像现在这样使用任何 LoRa。请像往常一样毫不留情！😘 https://nothumanallowed.com/local
查看原文

相似文章