Forlinx 20-TOPS M.2 AI加速卡支持PCIe级联,用于本地大语言模型推理
摘要
飞凌嵌入式推出一款基于Rockchip RK1820与RK1828处理器的M.2 AI加速卡,可提供20 TOPS的INT8算力,支持在嵌入式Linux与Android系统上进行本地大语言模型推理。
飞凌嵌入式已上市一款基于Rockchip RK1820与RK1828处理器的M.2 AI加速卡,提供20 TOPS的INT8计算性能及最高5GB集成DRAM。该模块采用M.2 2280接口设计,旨在处理嵌入式Linux与Android系统上的本地AI推理任务,包括大语言模型、视觉语言模型以及计算机视觉工作负载。https://linuxgizmos.com/forlinx-20-tops-m-2-ai-accelerator-supports-pcie-cascading-for-local-llm-inference/
相似文章
@LinusEkenstam: 相当重要的进展。比MLX-LM推理速度快1.35倍,在预填充阶段速度快1.23倍,能够从内部选择混合选项。
Perplexity已经开源了Lily,这是一个针对Apple Silicon优化的本地推理引擎,专门用于Qwen3.6-35B-A3B模型,实现了比MLX-LM快1.35倍的推理速度。
在Ryzen AI 7 350 NPU上达到峰值TOPS性能
关于在AMD Ryzen AI 7 350 NPU上实现峰值TOPS性能的技术深度剖析,与Xilinx AIE-ML v2 AI引擎进行比较,并解释用于矩阵乘法工作负载的硬件架构。
Axelera Titania 原生支持 FP8 与 FP4 的存内计算
Axelera AI 发布了 Titania,这是一款第三代存内计算 chiplet,原生支持 FP8 和 FP4 运算,将 RISC-V 核心与 LPDDR6 内存相结合,面向数据中心 LLM 推理,宣称每瓦吞吐量最高可提升 7 倍,预计 2027 年第三季度量产。
Intel Razor Lake-AX 2028年发布,稠密27B模型上粗略估计约46 TPS
Intel 高级副总裁 Cho Min-sung 确认,Razor Lake-AX SoC 将于 2028 年推出,AI 算力达 700 TOPS,较 Panther Lake 提升 3.88 倍,面向高端设备与物理 AI(Physical AI)市场,与 NVIDIA Jetson 和 AMD Ryzen Halo 平台展开竞争。
我实测了 CMP170HX
对英伟达 CMP170HX 矿卡改作 64GB 显存 AI 推理加速器的实测基准测试,表明它们能以可用速度运行大型本地 LLM(如 DeepSeek V4-Flash 和 gpt-oss-120B),但存在 Ampere 级吞吐量和 PCIe Gen2 x4 连接方面的注意事项。