标签
一款估算哪些LLMs适合用户GPU内存的工具,根据性能对模型进行排名,同时考虑内存限制和量化级别。
llmfit 是一个终端工具,能够检测你的硬件,并通过评分质量、速度、适配性和上下文来推荐兼容的 LLM 模型。它包含交互式 TUI 和 CLI,支持多种运行时,并允许用户进行基准测试和分享性能结果。