双RTX 3090构建

Reddit r/LocalLLaMA 新闻

摘要

一位用户分享其用于本地LLM推理的双RTX 3090构建,并寻求关于智能体工作及RAG流水线的工具栈建议。

加入这个社区重新点燃了我对软件工程的兴趣和爱好,这是我曾经失去的。于是我组装了这台双RTX 3090设备,主要用于推理。我知道短期内它无法取代ChatGPT,但什么样的工具栈能让它在工作环境中变得可用?必须使用MCP服务器或自定义工具/脚本吗?目前我在使用带有qwen3.6 27b的VScode预览版和一个nginx服务器。我主要对具有实用上下文的智能体工作感兴趣,或者至少对代码库有更好的理解(RAG流水线?)。这个社区一直非常有帮助,希望本地LLM继续发展,因为我担心云服务在消费层面会变得难以负担。
查看原文

相似文章