双RTX 3090构建

Reddit r/LocalLLaMA 新闻
build dual-rtx-3090 inference local-llm agentic rag tool-stack

摘要

一位用户分享其用于本地LLM推理的双RTX 3090构建，并寻求关于智能体工作及RAG流水线的工具栈建议。

加入这个社区重新点燃了我对软件工程的兴趣和爱好，这是我曾经失去的。于是我组装了这台双RTX 3090设备，主要用于推理。我知道短期内它无法取代ChatGPT，但什么样的工具栈能让它在工作环境中变得可用？必须使用MCP服务器或自定义工具/脚本吗？目前我在使用带有qwen3.6 27b的VScode预览版和一个nginx服务器。我主要对具有实用上下文的智能体工作感兴趣，或者至少对代码库有更好的理解（RAG流水线？）。这个社区一直非常有帮助，希望本地LLM继续发展，因为我担心云服务在消费层面会变得难以负担。
查看原文

相似文章

我们真的都能搞定，对吧？双3090配置。

Reddit r/LocalLLaMA

一位用户分享了他们搭建双3090 GPU系统以本地运行Qwen 3.6 27b模型的经验，在切换到Ubuntu并使用带有自定义补丁的club-3090工具后，实现了超过100 tokens/秒的速度。他们对本地AI的未来感到兴奋。