【展示 / 问题】构建基于4B模型（Gemma 4 / Ministral）的跨平台移动与桌面端完全本地化代理。面对设备端限制的现实——设备端代理应何去何从？

英语不是我的母语，如果有奇怪的表达，很抱歉，这里使用了翻译器！像这里的许多人一样，我痴迷于真正的隐私主权和本地优先的AI。过去几个月，我一直在构建Agro——一个开源的、100%设备端的跨平台大语言模型和自主代理客户端，可在Android、iOS、macOS、Windows和Linux上运行。该项目基于Kotlin多平台（Compose多平台），建立在Google的原生LiteRT-LM C++运行时之上（支持Apple Metal、WebGPU Dawn、Vulkan和OpenCL加速）。它在中高端手机和现代笔记本电脑上可以相当流畅地运行Gemma 3/4（4B）和Ministral-3-3B等模型。GitHub: https://github.com/Onion99/Agro 发布版（APK、DMG、EXE、AppImage）: https://github.com/Onion99/Agro/releases 🧗 困境 虽然基本的工具调用在3B~4B模型上运行良好，但我发现自己处于一个架构的十字路口。在边缘设备上本地运行自主代理面临着残酷的硬件限制（热节流、4-8GB的移动RAM上限、缓慢的token生成和微小的有效上下文窗口）。我很想向这个社区的有经验构建者学习：如果您旨在让设备端代理真正有用（而不仅仅是个玩具），您会考虑哪些可能的方向？任何关于架构的反馈、技术批评或方向建议都将非常感谢！如果您有设备，欢迎从发布页面尝试二进制文件，并让我知道它在您硬件上的表现。