edge-ai

详细介绍了一种在微控制器上直接运行拥有13M参数的ASR Conformer模型的方法，突出了边缘AI部署的进步。

NVIDIA 发布了 Cosmos 3 Edge，一个40亿参数的开源世界模型，专为边缘设备设计，帮助机器人和视觉AI代理理解周围环境、实时推理并生成动作。它在同类模型中实现了领先的吞吐量和准确度。

NVIDIA宣布推出基于Thor架构的Jetson T3000和T2000模块，为主流机器人和边缘AI应用提供强大AI算力，已获多家领先机器人公司采用。

NVIDIA发布了DeepStream 9.1更新，这是其视频分析工具包的新版本，包含13项代理技能，允许用户用自然语言描述流水线，新增多视角3D跟踪、自动相机校准，并支持Jetson Orin和Thor。该更新已在GitHub上开源。

PrismML 的 Bonsai 27B 模型在 Jetson Orin Nano 8GB 上运行，处理速度为 4.31 tokens/s，提示处理速度为 27 t/s，使用 6.2GB 内存和约 25W 功耗。这表明边缘 AI 性能出人意料地可用。

本文探讨了使用基于GRPO再训练的紧凑型小型语言模型（Qwen2.5-1.5B），并结合验证器引导的校正循环，用于自主工业控制。该框架实现了高对齐精度和低延迟，展示了在边缘部署的实际可行性。

本文提出了一种边缘感知的在线跟踪流水线，用于热红外无人机群跟踪，其核心是自适应运动学卡尔曼滤波器（AKKF），在挑战性条件下平衡了效率和鲁棒性。

EvoLP 是一种面向边缘设备上神经网络模型的自进化延迟预测器，旨在指导模型压缩同时满足严格的延迟约束。它在多个边缘设备和模型变体上均优于先前的方法。

本深度指南详细解释了NVIDIA的物理AI基础设施栈，涵盖Cosmos、Isaac、Jetson、Omniverse以及边缘AI，将NVIDIA定位为物理AI的引力中心，同时具备云端与边缘能力。

Google 发布了 LiteRT.js，这是一个高性能的 JavaScript 运行时，利用 WebAssembly 和硬件加速直接在浏览器中运行 AI 模型，是 TensorFlow.js 的演进。

将联邦学习应用于无人机编队的目标检测，无需集中航拍图像即可实现协作训练，在保护隐私和降低带宽的同时，性能接近集中式训练。

小型AI模型在不稳定网络地区正展现出重要价值，能够实现无需持续互联网连接的生命攸关应用，例如假药检测和作物疾病识别。

SupraLabs 发布了 Supra-Router-51M，这是一个拥有 5170 万个参数的微型 LLM，用于多任务基础设施路由，旨在决定是将提示词在边缘设备上本地处理还是发送到云端模型。在一个小型数据集上进行微调后，它使用多任务序列生成来实现稳健的路由。

PyTorch基金会支持了在旧金山举办的ExecuTorch黑客马拉松，超过100名参与者使用PyTorch和ExecuTorch在搭载Snapdragon的三星Galaxy S25 Ultra设备上构建了实时端侧AI应用。获奖项目包括SafeScreen AI、SixthSense和Toddle AI，展示了本地执行在响应性、隐私保护和离线能力方面的优势。

Ben Burtenshaw 宣布举办一个社区黑客马拉松，专注于将AI模型直接移植到裸硅上，用于视觉、语音和机器人等边缘应用。

NVIDIA讨论了在其Omniverse和Metropolis平台上使用合成数据与微调的三种工作流，以提升视觉AI代理在边缘部署中的准确性。

Firefly Aerospace 正在其蓝幽灵任务2上利用 NVIDIA Jetson 边缘AI在月球轨道进行AI推理，实现对成像数据的近乎实时处理，并减少对缓慢下行链路的依赖。

一个能在5美元芯片上运行的语言模型，配备12个AI应用，完全离线且开源，可在GitHub和Hugging Face获取。

NASA 正在测试 Red Hat 的开放源代码工具 RamaLama，以在深空任务中为医疗 AI 助手运行本地 LLM 和 VLM 推理，实现无需与地球通信的自主实时诊断。

一位开发者演示了在M5 Stackchan机器人上本地运行Hermes AI模型，并计划在Reachy Mini上做同样的事。这展示了本地AI机器人集成的能力。