标签
本文提出了 EN-HMTFL，一种面向车载自组织网络（VANETs）的编码器共享分层多任务联邦学习框架。该框架允许车辆通过共享编码器协作训练异构感知任务，同时将任务特定的解码器保留在本地，从而将准确率提升高达 24%，并将通信轮次减少多达 28.8%。
Liquid AI 与 Artificial Analysis 联合发布 Pipette——一套面向端侧 AI 的开源基准测试工具，可跨模型、量化、运行时和设备测量质量、速度、延迟与内存占用，出厂即附带超过 1 万条已验证的测试结果，并提供 macOS、Windows、iOS 和 Android 客户端。
飞凌嵌入式推出一款基于Rockchip RK1820与RK1828处理器的M.2 AI加速卡，可提供20 TOPS的INT8算力，支持在嵌入式Linux与Android系统上进行本地大语言模型推理。
HybridInfer引入了针对多层大语言模型推理的热感知强化学习路由器，在真实Android设备上实现了比启发式方法更优的质量和成本效率。
PTC-Decoder是一个无需训练、即插即用的框架，通过在词元级约束强制执行计划遵守，提升在离线、资源受限的边缘设备上的小型语言模型性能，增强多步骤代理任务中的步骤级可靠性。
这篇文章解释了何时以及如何微调一个专门的决策模型分类器，该模型优于 Opus，比 Jev 更快，并能在用户设备上运行。
Cloudflare 已更新其 Workers 服务，现在可以直接接受 TCP 连接并运行 gRPC，使得原本需要专用服务器的后端工作负载能够部署在其全球边缘网络上。
作者在一台2017年的无GPU笔记本电脑上运行Ling Tiny 3.0 AI模型，实现了每秒10个令牌的生成速度，并完成了代码生成等任务，展示了现有硬件在边缘智能方面的潜力。
本文在边缘服务编排中用 Jev 决策模型取代基于大语言模型的决策，在负载下报告了 22.7–64.5% 的中位决策延迟降低以及远高的请求完成率，同时指出宽契约构会成为这种替代的边界。
一位个人构建了一个用于工厂车间的AI系统，该系统离线运行，通过提供机器错误代码的历史解决方案来协助技术人员。
DualRes是一种紧凑的振荡状态空间模型，用于从振动数据诊断机器故障，在标签有限的情况下实现了最先进的性能，并降低了计算需求，适用于边缘部署。
本文介绍了ZO-COSMO，一种用于分布式零阶优化的无索引方法，通过单跳混合避免稀疏索引传输来提高准确性。实验表明，在合成代理和Qwen LoRA工作者上，该方法优于基线方法。
本文介绍了一项开源研究，通过基准测试和原生批处理、MLX量化等技术优化本地视觉语言模型的延迟，在Apple硬件上实现显著加速的同时保持决策准确性。
Microsoft Research的发现表明，将AI推理从机器人卸载到边缘或云系统可以提高物理AI应用的任务成功率、效率和电池寿命。
本文提出一种经济实惠的离线AI集成智能手杖，旨在为视力障碍用户提供多模态移动辅助，利用Raspberry Pi Zero 2W上的边缘计算实现实时障碍检测和反馈。
TierKV提出一种预测性多层KV缓存框架，用于优化长上下文大型语言模型在移动设备上的内存使用和吞吐量，在最小精度损失下实现显著的性能提升。
射频卷积神经网络（RF-CNNs）重新利用现有的无线通信硬件，以实现边缘设备上的高效AI推理，展示了深度CNN性能，同时显著节省能源。
一家北约支持的初创公司Scaleout Systems正在使用小型AI模型和联邦学习，使无人机能够在战场环境中自主识别和攻击目标，并利用边缘计算实现实时更新。
本文介绍了agentic-eCAL，一种用于评估跨边缘-云网络的多代理AI工作流能耗的指标，结果表明传输成本微乎其微，但推理成本显著。
用户探讨如何在较旧的安防摄像头上添加人工智能对象检测，而不增加网络带宽压力，考虑使用本地设备进行边缘处理以本地分析视频，仅发送警报或短片段，并寻求关于混合架构和API集成的建议。