标签
一名高中生构建了一个自定义C++引擎（llama.rn的fork），通过USB将两台安卓手机以RPC方式连接成集群，在本地运行一个27B三值量化大模型。利用运行时Hadamard变换实现纯加法运算，使手机温度保持在约30°C，不会过热。
一位爱好者制作了一个 llama.cpp 分支版本，通过 USB-C 将模型层从 24 GB MacBook 流式传输到 iPhone 17 Pro Max，使 Qwen 3.8 27B 的预填充吞吐提升 29–44%，并在超长上下文场景下将多达约 5.7 GB 的 KV cache 卸载到手机的 GPU 和 Neural Engine 上。代码和基准测试脚本已发布在 GitHub 上。
证明 Qwen 3.8 Flash Next 可以在中端 Android 手机上以3.5 tok/s的速度本地运行，通过优化和低量化实现。
用户分享在移动设备上运行Gemma 4与LiteRT-LM的亲身对比体验，相较于之前的llama.cpp设置，内存占用显著降低（1.5-2 GB vs 4-5 GB），推理速度更快（2-4秒 vs 7-10秒），测试机型包括三星S25 Ultra和iPhone 13 Pro Max。
Cactus-Compute 发布了 Needle，这是一个拥有 2600 万参数的开源模型，从 Gemini 蒸馏而来。它采用一种不含 MLP 的新型“简单注意力网络”架构，旨在实现高效的端侧函数调用。