Show HN：Maple-Preview——在 iPhone 上以 120 tok/s 运行的三值 20B MoE

Hacker News Top 模型
ternary moe on-device mobile inference efficient-ai

摘要

Maple-Preview 是一个三值 20B MoE 模型，在 iPhone 上每秒可运行 120 个 token，展现了高效的端侧推理能力。

暂无内容
查看原文

相似文章

deepgrove/maple-preview

Hugging Face Models Trending

DeepGrove 发布了 Maple-Preview，这是一款开源的 20B-A1B 三值权重推理大语言模型，在同类权重规模中推理能力达到最先进水平，在 Mac mini M4 上每秒可生成 200+ tokens，并与更大模型相比具有竞争力。

Edge0/Edge0-35B-A3B-preview

Hugging Face Models Trending

Edge0-35B-A3B-preview 是一个稀疏的MoE模型，通过流式专家卸载和量化技术，实现移动设备上的高效AI推理，以低于3 GiB的内存达到15 tok/s的性能。