标签
GAAC 是一种无损 KV 缓存压缩与推理服务系统，通过分组自适应编码和融合注意力内核，利用 BF16 指数部分的冗余，在不对 KV 值进行近似处理的情况下，在 NVIDIA DGX Spark 和 Apple M4 上实现约 1.4 倍的 KV 压缩比和 1.04–1.27 倍的加速。
The Verge报道了Anthropic发出的警告：小型AI模型可能演变为能够自我复制的"AI蠕虫"，在智能设备之间传播。实验表明，模型可在Android设备上分布式执行，AI驱动的恶意软件能够在网络间进行复制——不过，专家们对于这一威胁究竟是迫在眉睫还是过度炒作仍存在争论。
PyTorch Conference North America 将于 10 月 20-21 日在 San Jose 举行，展示 PyTorch 与 TPUs、Trainium、边缘设备和弹性训练的集成现场演示。
描述了使用 ncnn 的 Vulkan 后端在生产级边缘设备上进行供应商无关的机器学习推理，在人脸检测和嵌入模型上相比 CPU ONNX 实现了 10 倍加速。
本文介绍了AMRD，一种自适应多教师关系蒸馏方法，用于将大型自监督语音情感识别模型压缩为面向边缘设备的轻量级学生模型。它解决了教师可靠性变化和关系结构丢失的问题，在IEMOCAP和CREMA-D数据集上展示了改进。
UltraViT 是一个面向大型视觉语言模型的延迟优化视觉编码器，专为端侧部署设计，采用金字塔架构和两阶段生成式预训练策略，以1.7倍速度实现最先进的性能。
本文介绍了可微分逻辑门网络（Diff-Logic）作为传统神经网络的一种硬件原生替代方案，用于边缘设备上的实时脑电图分类，在显著降低延迟和模型大小的同时实现了有竞争力的性能。
Sundar Pichai 提醒大家，Google 是建立在开源之上的，并将同样的理念应用于 AI，Gemma 模型专为边缘设备设计，同时指出前沿模型需要巨大的资本投入。
Embodied.cpp 是一个可移植的C++推理运行时，通过模块化执行层和优化推理，能够在异构边缘设备和机器人上高效部署视觉-语言-动作模型与世界-动作模型。
作者探讨了什么样的特性能让本地AI代理对开发者真正有用，包括处理文件和仓库、安全使用终端、支持硬件/机器人项目以及离线能力。
SupraLabs 宣布成立，专注于训练和发布面向边缘设备的开源小型语言模型（SLM），已在 Hugging Face 上发布 Supra-Mini-v4-2M 等模型。
本文介绍了“月光之味”（Flavors of Moonshine），一套面向边缘设备的小型专用ASR模型。作者证明，在人类标注、伪标注和合成数据的平衡混合上训练的单一语言模型，优于Whisper等更大的多语言模型，在小型模型中实现了最先进的错误率，并实现了对低资源语言的设备端ASR。