mlx-vlm

标签

Cards List
#mlx-vlm

MTP 关键在于接受率

Reddit r/LocalLLaMA · 18小时前

一位用户在 M4 Max Studio 上使用 mlx-vlm 对 Gemma 4 进行了 MTP(多令牌预测)基准测试,发现它在代码生成方面表现出色(速度快 1.53 倍,接受率 66%),但对 JSON 输出不利(速度慢 50%,接受率仅 8%),对长篇散文则影响中性,表明当令牌接受率低于 50% 时,MTP 的优势便荡然无存。

1 人收藏 1 人点赞
← 返回首页

提交意见反馈