我们构建了首个用于匹配开源LLM与GPU的交互式博客。
摘要
AgentSwarms推出了一款交互式、游戏化的博客,通过根据模型大小和量化方式计算VRAM需求,帮助用户将开源LLM与合适的GPU匹配,将基础设施规划转变为一种引人入胜的体验。
大家好,如果你正在部署开源模型,最大的头疼就是弄清楚确切的硬件需求。你通常得翻遍Reddit帖子,才知道某个模型能否跑在单个A10G上,能不能塞进消费级显卡,或者必须升级到庞大的裸金属A100集群。市面上那些“指南”大多只是静态的过时表格或密集的文字墙。因此,我们在AgentSwarms博客上发布了**“哪个GPU能跑哪个LLM”**,但我们以完全不同的方式设计它。
**它的不同之处:** 完全交互式和游戏化。你不需要阅读关于VRAM计算的教科书,而是直接在页面上主动与硬件逻辑互动。
* 选择模型大小(8B、32B、70B等)。
* 调整量化方式(FP16、8-bit、4-bit、GGUF vs AWQ)。
* 交互式面板会即时计算VRAM约束,并可视化映射出你需要部署的确切GPU层级。
它将基础设施规划游戏化,让你在启动昂贵的云实例之前,就能直观理解token经济学和硬件限制。完全免费阅读和体验(无需注册)。如果你想优化AI基础设施,或者只想测试自己对硬件映射的直觉,点击交互式指南,并告诉我这种形式相比标准文章感觉如何。(所有AgentSwarms博客和演示都是完全交互式的)
相似文章
打造了一款能准确告诉你哪些LLMs适合你的GPU的工具。欢迎反馈。
一款估算哪些LLMs适合用户GPU内存的工具,根据性能对模型进行排名,同时考虑内存限制和量化级别。
@tom_doerr: 在单个4GB GPU上运行70B大语言模型 https://github.com/lyogavin/airllm
AirLLM是一个开源工具,优化推理内存使用,无需量化即可在单个4GB GPU上运行70B大语言模型,并支持在8GB显存上运行405B模型。
大规模LLM推理开放手册(GPU内部机制、KV缓存、批处理、vLLM/SGLang/TensorRT-LLM)[P]
一本正在编写中的开放手册,解释LLM推理内部机制,包括GPU内存层次结构、KV缓存、批处理以及vLLM和TensorRT-LLM等流行推理引擎。
@oliviscusAI: 有人刚刚开发了一款工具,可以准确告诉你哪些大语言模型可以在你的硬件上运行。它会扫描你的内存、CPU 和 GPU……
一款新工具已发布,它通过扫描用户的硬件规格(内存、CPU、GPU)来确定哪些大语言模型可以本地运行,并根据性能指标对这些模型进行排名。
Show HN: 根据基准测试排名,为你的硬件找到最佳本地LLM
whichllm 是一个开源Python工具,它自动检测你的GPU/CPU/RAM,并从HuggingFace中排名最适合你系统的本地LLM,使用真实基准测试而非大小启发式方法。