如何为7人规模的企业搭建本地大语言模型服务器？

Reddit r/LocalLLaMA 工具
local-llm llm-server business scaling hardware self-hosting rag

摘要

用户询问如何为7人企业搭建本地LLM服务器，考虑Gemma 4和Qwen 3.6等模型、5090或MacBook Pro等硬件选项，以及并发用户扩展问题。

好吧，我潜水这个板块有一段时间了，偶尔会在我的笔记本（不是最好的）上跑一些小型的2-8B模型玩玩。但假设我在公司的职责是搭建一个本地LLM，因为我们显然不想让机密数据泄露给其他公司等等。主要用途是查询、RAG、通用使用，没什么特别复杂的，除了可能有一两个人会用它做编程。我在考虑Gemma 4 26/31或Qwen 3.6 27/35。这些模型在并发用户下表现如何？我知道我可以在5090加一些扩展或者用48GB统一内存的MacBook Pro上跑这些模型，但不确定多用户情况下扩展性如何。
查看原文

相似文章

我的6.4千美元本地LLM服务器的费用分析

Reddit r/LocalLLaMA

关于构建和运行一台价值6400美元的本地LLM服务器的详细成本分析，比较了总拥有成本（电费、折旧）与等效的API使用和编码计划订阅，得出结论：长期来看本地托管可能更经济。

本地LLM伙伴

Reddit r/LocalLLaMA

一位拥有45年经验的开发者正在构建一个本地优先的LLM框架，包含多智能体逻辑，即将在GitHub上开源，并向社区询问哪些功能能改善他们的本地LLM体验。