标签
用户寻求在显存有限的硬件上本地运行的最佳无审查或有审查AI编程模型的推荐,目标是更快的响应时间和与Visual Studio和VS Code等开发工具的集成。
作者推测,如果仅将 MoE 模型的激活参数加载到 GPU 上,将能极大提高运行效率,并允许在本地运行 Kimi 这样的大型模型,尽管作者承认目前这尚不切实际。