native-mtp

标签

Cards List
#native-mtp

@zhixianio: 这两天新机器到了之后,我开始了「苦行僧」式的强迫自己使用本地模型来完成常见任务的修行 本以为会非常痛苦,没想到无论是速度还是质量都大大超出我的预期: 模型: Qwen3.6-35B-A3B-oQ6-fp16-mtp 运行:oMLX,开 N…

X AI KOLs Timeline · 2026-06-03 缓存

作者在本地新机器上使用Qwen3.6-35B-A3B模型和oMLX工具进行日常任务,发现速度和效果远超预期,甚至在PA和Coding场景下优于远程LLM,体现了端侧AI能力的显著提升。

0 人收藏 0 人点赞
#native-mtp

我在exo中为Qwen3.6 MLX模型添加了原生MTP支持;以下是精确度和速度结果

Reddit r/LocalLLaMA · 2026-05-23

为exo本地推理工具添加了对Qwen3.6 MLX模型的原生多token预测(MTP)支持,在M5 Max笔记本上对27B模型实现了高达2倍的加速,同时保持精确度。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈