hardware-constraints

标签

Cards List
#hardware-constraints

在6GB显存和64GB内存下,最佳通用无审查或有审查的编程模型是什么?

Reddit r/LocalLLaMA · 2026-08-23

用户寻求在显存有限的硬件上本地运行的最佳无审查或有审查AI编程模型的推荐,目标是更快的响应时间和与Visual Studio和VS Code等开发工具的集成。

0 人收藏 0 人点赞
#hardware-constraints

@jun_song: 如果我们能弄清楚如何将 MoE 模型中仅激活的参数加载到 GPU 中,而不是加载全部权重,那将是颠覆性的……

X AI KOLs Following · 2026-05-10

作者推测,如果仅将 MoE 模型的激活参数加载到 GPU 上,将能极大提高运行效率,并允许在本地运行 Kimi 这样的大型模型,尽管作者承认目前这尚不切实际。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈