标签
本文是一份关于大语言模型部署的详细指南，涵盖了延迟、吞吐、显存等关键指标，并以实际案例说明如何优化性能和选择硬件。
本指南介绍如何拆解NVIDIA H200 GPU并使用EK-Pro H200 NVL水冷头安装液冷系统。
本文介绍了从2000美元到40000美元的本地大模型硬件配置方案，包括双RTX 3090到四RTX PRO 6000的详细设置，涵盖PCIe交换机、GPU通信、Docker配置和语音转文字等。
一份关于搭建本地环境运行最先进 LLM 的全面指南，涵盖硬件建议（从 2000 美元到 40000 美元）、PCIe 切换以及针对 Qwen、GLM 等模型的 Docker 配置。
作者宣布了一篇新的博客文章，内容是关于将三台Jetson Nano Orin Super组成集群，用于分布式训练和推理，延续了一个系列，旨在帮助人们使用易于获取的硬件构建小型计算集群。
AgentSwarms推出了一款交互式、游戏化的博客，通过根据模型大小和量化方式计算VRAM需求，帮助用户将开源LLM与合适的GPU匹配，将基础设施规划转变为一种引人入胜的体验。
一份2026年购买笔记本电脑的全面指南，涵盖使用场景、预算、操作系统、处理器、显卡、内存、存储、屏幕、接口等。已更新来自英特尔、AMD、苹果和高通的最新芯片资讯。
作者分享了一份针对本地运行大语言模型（LLM）的硬件购买指南，综合了社区反馈，对比了 Mac Studio、NVIDIA 和 AMD 的选项。