llm-speed

标签

Cards List
#llm-speed

@rohanpaul_ai: atomic[.]chat 分享了一次揭示性的对比,展示了在自有硬件上运行本地开源权重LLM的情况。他们测试了…

X AI KOLs Following · 3天前 缓存

在单个H100(FP8)上对本地开源权重LLM进行的基准测试比较显示,DiffusionGemma速度提升4倍,但错误数量比Gemma4 26B A4B多6倍,突显了扩散模型与自回归模型在速度和准确性之间的权衡。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈