在6GB显存和64GB内存下,最佳通用无审查或有审查的编程模型是什么?

Reddit r/LocalLLaMA 新闻

摘要

用户寻求在显存有限的硬件上本地运行的最佳无审查或有审查AI编程模型的推荐,目标是更快的响应时间和与Visual Studio和VS Code等开发工具的集成。

到目前为止,我在本地编码使用中,任何模型输出的可靠性都不理想,发现自己依赖Claude的有限免费会话来辅助编码。我的编码应用多样化,主要使用C、C++、C#和Python——还有一点使用json在Firefox上的扩展工作。虽然我主要对无审查模型感兴趣——我做了一些安全相关的工作,不需要模型不断拒绝我的查询——但如果能得到更好的结果,我也愿意使用有审查的模型。Qwen 3.8-27B会不错——但响应时间一个小时不实用。我希望响应时间在一分钟以内。除了升级我的系统(这在经济上不是一个选择)——对于编码目的,你能推荐运行响应时间合理的最佳模型吗?我不一定对代理AI感兴趣,但如果有代理模型能更好地集成到Windows系统上的Visual Studio 2026和/或VS Code,比LM-Studio更好,或者——有更有效的方法从命令行或使用像Unsloth这样的东西在这个系统上运行模型并获得更快的响应时间——我洗耳恭听。提前感谢!
查看原文

相似文章

在12GB显存预算下实现真正的本地代理编码。

Reddit r/LocalLLaMA

本文描述了一个实用的设置,用于在12GB显存GPU上运行本地代理编码,使用量化后的Qwen 3.8 27B模型,并通过OpenCode和Magic Context等工具进行上下文管理,实现高效性能。