标签
ExecuTorch黑客松是一个为期两天的活动，在旧金山举行，开发者们组建团队使用ExecuTorch框架在边缘硬件上构建和部署PyTorch模型，设有计算、移动+XR和物联网赛道，由Meta、Qualcomm等赞助。
Ternary-Bonsai-2-27B是一个将270亿参数AI模型压缩到2位三元格式的模型，在llama.cpp上运行，支持CUDA和Metal，有助于实现轻量级的设备端AI部署。
Prism ML 发布了一款三元权重27B级AI模型，专为Apple笔记本电脑的本地使用优化，以8.60 GB的占用空间和约47 tok/s的性能，保留了98.2%的全精度智能。
一位用户表达了对像Claude这样的AI模型可能暴露SSN等个人数据的担忧，并分享他们构建了Underdog，一个设备上的AI操作系统，以确保100%本地隐私。
本文详细介绍了Apple的Siri AI在iOS 27中的新功能，包括增强的设备端个人上下文、屏幕感知和文本生成能力，旨在提升隐私保护和用户交互。
RunAnywhere 发布了一套包含八个跨平台 SDK 的综合套件，支持开发者在任意设备上本地运行多模态 AI 模型，并自动将推理任务路由至最佳可用硬件加速方案，包括 Apple Neural Engine 和 Snapdragon Hexagon NPU。
Work Life Panda 是一款生产力应用，结合任务管理和日历，并配备私有设备端 AI，将所有任务和事件整合在一个统一的平台中。
本文介绍了Wayu-Paxa-TTS-Edge，一个拥有8200万参数的泰语TTS模型，该模型通过语音克隆教师的合成语音进行训练，在无需参考音频的情况下实现了高精度和韵律，适用于设备端使用。
RunAnywhere 使用户能够在 Mac 上运行 AI 模型，并通过本地网络一键设置将推理流式传输到 iPhone，避免云依赖以实现低延迟。
作者介绍了Agro，一个用于在移动和桌面设备上本地运行AI模型的开源跨平台工具，并讨论了设备端代理面临的硬件限制挑战，同时寻求社区反馈。
本文在设备端能源预测中识别出准确率-效率悖论，即高精度模型可能因推理能耗和电池老化而导致净能源损失，并提出了一个总拥有成本框架以最小化这种损失。
Pushup RPG 是一款免费的iOS和Android健身RPG游戏，它使用设备端摄像头姿势检测来计数次数并将其转化为游戏内攻击，具有实时决斗和隐私优先的设计。
NVIDIA 发布了 Perplexity's Portable Computer，这是一个针对 NVIDIA DGX Spark 的本地优先智能体栈，提供一键本地推理和为始终在线的本地智能体优化的智能体体验。
Liquid AI 推出 Pipette，这是一个与 ArtificialAnlys 合作创建的设备端模型评估套件，旨在改进边缘智能的基准测试。
Liquid AI 发布了针对其 LFM 系列的 DSpark 草稿模型，结合推测解码，在设备上实现高达4倍的解码加速，同时保持输出质量。
Meta 的 Muse Glimmer 是一款为消费级硬件上的自主代理任务设计的 30B 多模态 Transformer 模型，它使用内存层次结构和量化技术来适配 24-32 GB 的内存限制。
一个3970亿参数的AI模型已成功在iPhone上运行，展示了使用混合专家设计的设备端AI能力，尽管在速度、存储和散热方面面临挑战。