llama-framework

标签

#llama-framework

GPU热专家重载功能是社区所需

Reddit r/LocalLLaMA ↗ · 2026-09-11

请求LLaMA维护者实现一个名为'GPU热专家重载'的功能，以提高具有中等活跃参数的MOE模型的解码速度，使其在像3090这样的GPU上更易于本地使用。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈