Forlinx 20-TOPS M.2 AI加速卡支持PCIe级联,用于本地大语言模型推理

Reddit r/LocalLLaMA 产品

摘要

飞凌嵌入式推出一款基于Rockchip RK1820与RK1828处理器的M.2 AI加速卡,可提供20 TOPS的INT8算力,支持在嵌入式Linux与Android系统上进行本地大语言模型推理。

飞凌嵌入式已上市一款基于Rockchip RK1820与RK1828处理器的M.2 AI加速卡,提供20 TOPS的INT8计算性能及最高5GB集成DRAM。该模块采用M.2 2280接口设计,旨在处理嵌入式Linux与Android系统上的本地AI推理任务,包括大语言模型、视觉语言模型以及计算机视觉工作负载。https://linuxgizmos.com/forlinx-20-tops-m-2-ai-accelerator-supports-pcie-cascading-for-local-llm-inference/
查看原文

相似文章

在Ryzen AI 7 350 NPU上达到峰值TOPS性能

Lobsters Hottest

关于在AMD Ryzen AI 7 350 NPU上实现峰值TOPS性能的技术深度剖析,与Xilinx AIE-ML v2 AI引擎进行比较,并解释用于矩阵乘法工作负载的硬件架构。

Axelera Titania 原生支持 FP8 与 FP4 的存内计算

Hacker News Top

Axelera AI 发布了 Titania,这是一款第三代存内计算 chiplet,原生支持 FP8 和 FP4 运算,将 RISC-V 核心与 LPDDR6 内存相结合,面向数据中心 LLM 推理,宣称每瓦吞吐量最高可提升 7 倍,预计 2027 年第三季度量产。

我实测了 CMP170HX

Reddit r/LocalLLaMA

对英伟达 CMP170HX 矿卡改作 64GB 显存 AI 推理加速器的实测基准测试,表明它们能以可用速度运行大型本地 LLM(如 DeepSeek V4-Flash 和 gpt-oss-120B),但存在 Ampere 级吞吐量和 PCIe Gen2 x4 连接方面的注意事项。