我把一部安卓手机改造成了支持Vulkan加速的本地大模型节点（GGUF + LiteLLM + Tailscale）
摘要
一部安卓手机被重新用作便携式GGUF推理服务器，支持Vulkan加速，并通过LiteLLM暴露兼容OpenAI的端点，借助Tailscale网格集成到自托管的AI集群中。
大家好——我一直在开发一个东西，现在终于稳定到可以分享了。我一直在尝试将Android设备作为自托管AI网格中的本地推理节点。目标不是“在Android上运行聊天机器人”，而是让手机变成一个便携式GGUF推理服务器，接入现有集群。
## 当前功能
- 在设备本地加载GGUF模型
- 使用Vulkan进行移动GPU加速
- 在网格上暴露一个兼容OpenAI的端点
- 像其他后端一样通过LiteLLM路由
- 通过Tailscale加入集群
- 支持降级路由到更大的本地节点
- 在网格其他部分不可用时可以独立运行
## 架构
```text
[Android Pocket Node / Z Fold 6] GGUF + Vulkan (gpu_layers=89) llama.cpp JNI/NDK桥接 兼容OpenAI的本地端点
↓
[Tailscale Mesh]
↓
[neo-x510uar上的边缘网关] 请求预检：电池/温度/提示长度路由
↓
[neo-x510uar上的LiteLLM路由器] 兼容OpenAI的网关、模型别名、降级路由
↓
[降级节点] sheens-mac-studio —— 较重推理/评判模型 moolah —— 用于GPU密集型任务的RTX机器
```
相似文章
我开发了一款在本地运行AI模型的安卓应用
一位开发者创建了一款在本地运行AI模型的安卓应用，支持GGUF和LiteRT格式，并提供了多种添加模型的方式。
我把两台旧安卓手机集群起来，在本地跑了一个27B大模型。用C++ RPC拆分绕过了内存限制，并采用Hadamard三值数学运算（没有过热）
一名高中生构建了一个自定义C++引擎（llama.rn的fork），通过USB将两台安卓手机以RPC方式连接成集群，在本地运行一个27B三值量化大模型。利用运行时Hadamard变换实现纯加法运算，使手机温度保持在约30°C，不会过热。
@TheTechDiggest：[开源 - 分布式AI与网格LLM推理] 购买昂贵的企业级GPU并不是运行大规模……的唯一方式
一条推文线程介绍了mesh-llm，这是一个开源工具，可将本地网络设备汇聚成一个统一的、兼容OpenAI的API，无需昂贵的企业级GPU即可运行大型LLM。
Infermeld：在 AMD + NVIDIA 显卡上用 llama.cpp 运行同一 GGUF 的 Linux 工具包
Infermeld 是一个实验性的开源 Linux 辅助工具包（v0.1.0），基于 llama.cpp 在混合 AMD 与 NVIDIA GPU 上运行同一个 GGUF 模型，内置设备选择、构建说明、预检和热保护机制。已在 RX 6900 XT + RTX 3080 上使用 Qwen3.6-35B-A3B 进行测试，维护者正在寻找其他硬件组合进行复现。
本地 LLM 的意外应用
一位智能手机电池评测员使用两个本地 LLM（Qwen3.6 模型），运行在高端 NVIDIA GPU 上，驱动一个视觉语言智能体，自主控制机械臂进行逼真的电池耗电测试，实现了低于两秒的延迟。