Un modello 100% locale, anche sul tuo smarphone!

Volevo comunicarvi che ho rilasciato un'interfaccia per la gestione di due piccoli modelli che possono girare anche sullo smartphone. Attualmente il 4B lavora molto bene (ma serve un telefono di fascia alta), ho qualche problema con il 1.7B e in cui non risesco a tenerlo stabile con reasoning attivo, ma dovrei riuscire a sopperire con un deep fine tuning che mi sta magiando molto tempo e potenza di elaborazione (il mio nemico non è il loss, ma la qualità e la varietà degli esempi e saranno circa 130.000!!). Sto usando un 32B come teacher per poi distillare sui piccolini. Appena il dataset sarà pronto (circa 10gg) spero di migliorara anche il 1.7B, senza nessun LoRa come invece ha adesso Siate spietati come al solito!😘 https://nothumanallowed.com/local