deterministic-routing

开发者介绍 NIDO，一个完全在 Android 手机上离线运行的开源 AI 助手，通过确定性路由让小模型（0.5B-7B）只处理真正开放式的任务，并发布了 0.1.29 至 0.1.32 四个 alpha 版本，新增多语言短语路由、重复提醒等功能。

作者开发了一个确定性图像路由系统，对图像进行分类，决定是作为原始字节发送还是通过OCR提取文本，实现了LLM上下文集成中令牌消耗的88%减少。

作者反对将LLMs作为代理运行时的核心组件，提出在处理请求时采用确定性和语义路径的分离，并寻求对这一架构想法的反馈。