vram-calculator

一个网络工具，通过考虑量化、KV缓存和VRAM开销，计算给定本地LLM能否在指定硬件上运行，并提供预估速度和内存使用。

AgentSwarms推出了一款交互式、游戏化的博客，通过根据模型大小和量化方式计算VRAM需求，帮助用户将开源LLM与合适的GPU匹配，将基础设施规划转变为一种引人入胜的体验。