欢迎加入r/LowEndLocalAI，一个在低配置硬件上运行本地LLM的社区

如果您试图在普通笔记本电脑、旧台式机、集成显卡、有限VRAM或仅仅是您已有的硬件上运行本地LLM，r/LowEndLocalAI就是为您而设。想法很简单：我们能用已有的硬件做些什么有用的事情？我自己一直在处理这个问题。我的主要系统是一台配备16 GB内存的M1 MacBook Air和一台配备32 GB内存的Ryzen 7840U笔记本电脑。在寻找合适的模型、基准测试、设置和优化建议时，我发现有用的信息分散在各个帖子和评论中。同时，我不断看到其他人问着类似的问题：我的硬件能实际运行什么？如何使其真正有用？这就是为什么我创建了r/LowEndLocalAI。目标是围绕以下主题构建一个专注且可搜索的社区： - 针对特定系统和任务的模型及量化推荐 - 即使推理速度慢也保持实用的实用工作流 - 具有完整硬件和软件规格的基准测试 - 仅CPU和集成GPU推理 - Vulkan、部分GPU卸载、KV缓存优化、推测解码和MTP - 小模型、高效MoE模型和上下文长度权衡 - LM Studio、llama.cpp、Ollama、vLLM和其他本地推理工具 - 重新利用旧笔记本电脑、台式机、迷你PC、工作站和二手GPU - 不寻常、尴尬或不支持的硬件 - 关于限制、失败实验和意外成功的诚实报告 - 奇怪的“我简直不敢相信这真的能运行”的项目 那么，什么算作“低端”？故意没有固定的VRAM、价格、年龄或硬件门槛。硬件会变，二手市场价格会变，而何为“负担得起”则因您所在地区而异。一个旧系统可能有惊人的内存量，但仍然速度慢或难以使用，而一台相对较新的计算机在运行本地AI时仍可能面临重大限制。在这里，“低端”更多描述的是约束条件，而非硬件本身。如果有限的计算、RAM、VRAM、内存带宽、功耗、兼容性或成本显著影响您能运行的模型以及运行方式，那么您的讨论可能适合。一台普通笔记本电脑显然适合。一台带有奇怪加速器的旧工作站也可能适合。即使是一块24 GB GPU也可能适合，当有趣的部分是在该限制内工作、将工作负载挤入可用资源或找到实际可行的配置时。仅仅因为强大而展示的强大多GPU系统可能不适合。约束条件应与帖子相关。这不是关于决定谁拥有足够弱的硬件。这关乎机智、效率、实验以及从您拥有的东西中获取尽可能多的实际价值。拥有强大系统的人也受欢迎，尤其是在测试高效模型、基准测试受限配置、重现结果或帮助他人优化设置时。LLM是主要焦点，但当资源效率是项目核心时，其他形式的本地或设备上AI也受欢迎。该子reddit并非旨在取代或与更广泛的本地AI社区竞争。它旨在通过汇集当前分散在许多独立线程和评论中的信息来补充它们。社区是全新的，因此其首批成员可以帮助塑造规则、基准测试模板、定期线程、维基资源和整体方向。如果您曾经想过：“我的硬件能实际运行什么？”欢迎加入r/LowEndLocalAI并分享您正在运行的内容。小提示：英语不是我的母语，因此我使用LLM帮助翻译和润色本文的措辞。想法、经验、观点以及子reddit本身都是我自己的。