标签
KittenML 开源发布了 Kitten-TTS 2,这是全球首个 1.58 位(三值化权重)文本转语音模型,拥有 17 亿参数,可仅使用 CPU 实时推理,支持使用不足 5 秒的参考音频进行零样本语音克隆、支持 20 多种语言,以及情感与强调控制。
一条推文推测,一年之内,具备 DeepSeek v4.1 Flash 级别智能与能力的模型将在不到 32GB 的内存中运行。
Flint 仅用约 20 亿活跃参数在 Terminal-Bench 2.1 上取得 54.9% 的成绩,超越了其他小型 MoE 模型以及部分约 300 亿参数的稠密模型,同时在一台约 24GB 内存的 MacBook Pro 上以超过 125 token/秒的速度运行。
Liquid AI 发布 LFM3-Omni-2B,这是其 LFM3 系列的首款全模态模型,能够理解文本、图像、视频和音频,并以文本和语音形式作答。该模型专为手机、笔记本等边缘设备设计,仅需 2.2B 参数即可替代独立的 ASR、VLM、LLM 和 TTS 模型。
HF Viewer 创作者宣布推出 embedl.com,这是一个收录了 1000 多个针对边缘设备优化的模型的平台。用户可通过免费的真实边缘设备农场(如 NVIDIA Orin、AGX Thor、RTX GPU)直接运行模型,并获得详细的性能分析。
一位开发者发布了 open_rknpu2_lm_infer,这是一个用 Rust 和 C++ 编写、面向 Rockchip RK3588 NPU 的开源 LLM 推理引擎,它绕过了专有厂商库,运行 Qwen3.5-4B 的速度约为 Rockchip RKLLM SDK 的两倍,并支持多模态输入和投机解码。
Gradium 发布了首个开源模型 Phonon,这是一组 31M 和 40M 参数、专为边缘/设备端运行设计的 TTS 模型,其推理栈完全开源并支持 CPU、GPU、NPU 等 10 多种后端(大多基于 Rust)。
Liquid AI 发布 LFM3-VL-2B,一款面向端侧视觉理解的 1.92B 视觉语言模型,支持文本、图像和视频输入,并引入视频理解、逐步思考以及空间与具身推理能力。
NIDO 是一款完全本地运行的 Android AI 助理,无需账号或云端服务器,支持本地模型、离线知识库、设备端加密存储与设备间点对点通信。
@TheAhmadOsman 展示了在 RTX Spark 设备上运行 Qwen 3.8 Next Flash 模型可以实现一些有趣的效果,体现了小型本地模型在边缘硬件上的推理潜力。
Own 1 是一款无风扇个人 AI 计算机,可在本地运行两个 LLM 和八个智能体,配备 AI 原生操作系统 OwnXOS,起价 3,899 美元且无订阅或按 token 计费。
讨论视觉思考与推理(visual thinking and reasoning)成为热门方向,并认为 Google DeepMind 前研究员创办的 Elorian 公司发布的 Glance/Glimpse 模型有替代传统 CV 的趋势,可与端侧小模型、云端 LLM 协同完成视觉理解与推理。
Sipeed 向 Tom's Hardware 透露其桌面 AI 工作站 MaixStation 预计定价 $3,999,采用国产爱芯元智 Axera AX8860P 芯片,以比 NVIDIA DGX Spark 低 42% 的价格提供 128GB LPDDR5X 统一内存,引发海外本地 LLM 圈对无 CUDA 生态与众筹风险的激烈争论。
Osmantic 创始人 Ahmad Osman 展示了一个名为 Portal 的离线本地 AI 代理,该代理在无网络环境下在 RTX Spark 上端到端构建了一款完整的砍杀类地下城爬行游戏,凸显了本地代理能力发展之迅速。
有参会者表示,Mike Bradley 和 Ahmad Osman 进行的 RTX Spark 笔记本演示的排队人数,甚至超过了试用笔记本本身的队伍,凸显了人们对在新款 RTX Spark 设备上进行端侧 70B 模型推理的浓厚兴趣。
ExecuTorch 已成为 Zephyr RTOS 的官方外部模块,使开发者能通过固件构建配置变更轻松在微控制器等边缘设备上部署 PyTorch 模型;演示中量化 MobileNetV2 在 Alif Ensemble E8 DevKit 上以 28ms 完成推理,卷积图运行于 Arm Ethos-U55 NPU。
NIST 研究人员提出了一种用于 O-RAN 网络射频干扰检测的统计集成方法(SEM),该方法可在异构 5G 环境中实现泛化,在分布偏移条件下优于机器学习(ML)和深度学习(DL)模型,同时通过非实时无线接入网智能控制器(Non-RT RIC)的 rApp 框架支持冷启动部署。
PrismML 推出基于 Qwen3.5 的 Ternary Bonsai 2 系列新模型 2B、4B 和 9B,采用 {−1, 0, +1} 三值权重表示,内存占用比全精度模型小 9 倍以上,并在吞吐与能效上最高提升 5 倍和 3 倍,面向手机、电脑和可穿戴设备上的本地智能体场景。
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB,这是一款采用原生 2-bit 量化、仅需 24GB 显存即可在本地运行日常智能体任务的视觉-语言模型,兼具速度与智能。
PyTorch 的 ExecuTorch 新增 Arm Cortex-M 后端,量化模型可直接编译到 CMSIS-NN 内核,核心运行时低于 20 KiB flash,并在 MLPerf Tiny 基准上实现低延迟与低内存占用,使开发者无需离开 PyTorch 生态即可在微控制器上部署模型。