标签
Jeff Geerling 使用 Ubiquiti UniFi 网络设备在随身行李箱中构建了一个便携式家庭实验室,用于 VCF Midwest 的演示,具备高速网络、5G 备份和旅行就绪的设计。
一个展示个人本地AI推理构建的案例,采用Intel Arc B140 GPU和定制硬件,在Ubuntu上运行带SYCL后端的llama.cpp。
作者分享了为本地 AI 推理优化的存储服务器构建,该构建面向传闻中的 26T-a3b 模型“Le Chaton FAT”,并使用高容量 NVMe 驱动器配合 ZFS 来存储模型。
一位研究生分享了他们使用单个美国墙壁插座运行4块3090 Ti显卡搭建多GPU工作站的经验,详细介绍了限制、功耗挑战以及组件选择。
一位社区成员详细介绍了这款定制 PC 组装方案,利用已停产的 Intel Optane Persistent Memory,成功通过 llama.cpp 在本地以约 4 tokens/秒的速度运行了 1 万亿参数的 Kimi K2.5 模型。