Sipeed的K3 RISC-V单板计算机可运行30B参数大语言模型，提供60 TOPS（INT4）性能，支持BF16/FP16/INT4
摘要
Sipeed新款K3 RISC-V单板计算机配备32GB LPDDR5内存和60 TOPS的NPU，可本地推理大语言模型，速度高达每秒15个token。
https://wccftech.com/sipeed-crams-32gb-lpddr5-60-tops-npu-compact-risc-v-board-hits-15-tokens-s-ai-llms/
相似文章
在Celeron N5095单板计算机上进行纯CPU推理：从0.6B到8B的6个模型基准测试
本文对在Celeron N5095单板计算机上运行纯CPU推理的六个AI模型（参数规模从0.6B到8B）进行了基准测试，并提供了性能对比。
阿里巴巴XuanTie C950 RISC-V处理器以30 tps运行Qwen-3.8 27B
由TSMC制造的阿里巴巴XuanTie C950 RISC-V芯片，现能以30 tps原生运行Qwen-3.8 27B AI模型，体现了垂直整合能力，并支持高效的边缘AI部署。
@FeitengLi: OpenBMB 开源 MiniCPM-V 4.6 了，1.3B 参数（SigLIP2-400M + Qwen3.5-0.8B），262k 上下文，视觉编码 FLOPs 比上一代少 50%+。 同任务 token 成本比 Qwen3.5-0…
OpenBMB releases MiniCPM-V 4.6, a 1.3B-parameter multimodal LLM with 262k context and significantly reduced visual encoding FLOPs, achieving strong benchmark performance and broad inference framework support.
我在不到20美元的CPU芯片上，以不足512MiB的内存运行了Qwen3.5-0.8B
作者在10-20美元的Amlogic A113X CPU芯片上，使用自定义C运行时运行了Qwen3.5-0.8B，实现了1.82 tok/s的解码速度和低于490 MiB的峰值RSS，证明了小型LLM推理可以在没有GPU的已部署边缘硬件上运行。
@jinyuhou0: 在主流基准测试中，我们的30B模型与规模大20-30倍的系统（gpt-5.4-xhigh、DeepSeek-V3.2、Kimi-K2.5）匹敌，而……
一款新的30B模型在主流基准测试中与规模大20-30倍的系统匹敌，同时相比同类30/32B智能体大语言模型，使用的推理令牌减少高达95%。这是通过一个学习型配置器实现的，该配置器决定何时以及如何进行推理。模型和代码已开放。