@Sumanth_077: 别再猜测哪些模型能塞进你的VRAM了!llmfit 是一款 CLI 工具,自动检测硬件,并对 206 个模型进行排名…
摘要
llmfit 是一个开源 CLI 工具,能检测你的硬件,并对 200 多个大语言模型进行排名,找出真正能在你系统上运行的模型,并自动选择最合适的量化级别。
查看缓存全文
缓存时间: 2026/05/23 20:15
别再猜测哪些模型能塞进显存了!
llmfit 是一款命令行工具,它能自动检测你的硬件配置,并从 206 个模型中按实际能运行的程度进行排序。
你下载了一个 70B 的模型,心里盼着它能跑起来。或者你凭着各种量化级别估算内存需求,结果模型不是崩溃就是卡成幻灯片。
llmfit 改变了这一切。它能检测你的 CPU、内存、GPU 和显存,然后根据你的硬件为数据库中的每个模型打分。
它不会只盯住一个量化级别,而是尝试在能运行的前提下找到最高质量的那个。先从 Q8_0 开始,如果不行就往下试探到 Q2_K。如果完整上下文长度下没有模型能跑,就尝试半长上下文。最终你得到的是那个既实际可用、质量又最高的模型。
每个模型都会在质量、速度、上下文长度和能力四项指标上获得评分。权重会根据你的用途动态调整:聊天模型更看重速度,推理模型更看重质量。
你可以用交互式的 TUI 模式浏览模型,用命令行模式快速查看表格,或者输出 JSON 供脚本使用。还提供了 REST API,方便集群调度器集成。
你也可以逆向使用这个工具——告诉它你想运行哪个模型以及目标性能,它会告诉你需要什么样的硬件。
真正的价值在于:在下载任何东西之前,你就能看到排序好的选项。再也不用来回下载 50GB 的模型,结果发现根本跑不了。
它完全开源。
要获取 llmfit 的链接?翻翻评论区!
GitHub 仓库:
如果你觉得有用,请把它分享给你的圈子
关注我 → @Sumanth_077 获取更多 AI 工程方面的见解和教程!
没错,如果完整上下文下没有模型能跑,它会尝试半长上下文。这样就省去了下载根本跑不动的模型的麻烦。
很高兴你觉得它有用。
相似文章
打造了一款能准确告诉你哪些LLMs适合你的GPU的工具。欢迎反馈。
一款估算哪些LLMs适合用户GPU内存的工具,根据性能对模型进行排名,同时考虑内存限制和量化级别。
@svpino:一个非常酷的方法,可以找出哪些模型能在你的电脑上运行:1. 安装 llm-checker $ npm install -g llm-chec…
llm-checker 是一个 npm 命令行工具,它可以检测你的硬件并推荐可以在本地运行的 AI 模型。
AlexsJones/llmfit
llmfit 是一个终端工具,能够检测你的硬件,并通过评分质量、速度、适配性和上下文来推荐兼容的 LLM 模型。它包含交互式 TUI 和 CLI,支持多种运行时,并允许用户进行基准测试和分享性能结果。
llama.cpp 的 auto fit 远比我想象的好用
llama.cpp 新增的 --fit 标志让超大模型也能在显存不足时高速运行,轻松突破显存限制,速度依旧惊人。
@oliviscusAI: 有人刚刚开发了一款工具,可以准确告诉你哪些大语言模型可以在你的硬件上运行。它会扫描你的内存、CPU 和 GPU……
一款新工具已发布,它通过扫描用户的硬件规格(内存、CPU、GPU)来确定哪些大语言模型可以本地运行,并根据性能指标对这些模型进行排名。