edge-ai

Cactus-Compute 发布了 Needle，这是一个从 Gemini 3.1 蒸馏而来的 2600 万参数模型，采用纯注意力架构，针对设备端推理和本地微调进行了优化。

这篇博客文章详细介绍了如何在树莓派上使用Hailo AI协处理器设置Frigate进行物体检测，包括修复PCIe描述符页面大小错误的步骤。该设置可与更便宜的Hailo-8L配合使用，并实现低推理时间。

Google 推出 Gemma 3 270M，这是一个拥有 2.7 亿参数的紧凑型模型，专为高效边缘设备 AI 设计，具有强大的指令遵循能力和极致的能效表现（在 Pixel 9 Pro 上进行 25 次对话仅消耗 0.75% 电量）。

moondream2是一个紧凑的视觉语言模型，专为高效的边缘设备推理而设计，提供了基准测试结果和使用说明。