@Sumanth_077: 别再猜测哪些模型能塞进你的VRAM了!llmfit 是一款 CLI 工具,自动检测硬件,并对 206 个模型进行排名…

X AI KOLs Timeline 工具

摘要

llmfit 是一个开源 CLI 工具,能检测你的硬件,并对 200 多个大语言模型进行排名,找出真正能在你系统上运行的模型,并自动选择最合适的量化级别。

别再猜测哪些模型能塞进你的VRAM了! llmfit 是一款 CLI 工具,自动检测你的硬件,并根据实际能在你系统上运行的模型对 206 个模型进行排名。 你下载一个 70B 模型,希望它能跑起来。或者你估算不同量化级别的内存需求,结果还是遇到崩溃或运行过慢的模型。 llmfit 改变了这一点。它检测你的 CPU、RAM、GPU 和 VRAM,然后根据你的硬件对数据库中的每个模型进行评分。 它不是假设一个量化级别,而是尝试最适配的高质量方案。从 Q8_0 开始,必要时逐步降至 Q2_K。如果全上下文无法适配,则尝试半上下文。你最终会得到实际可用的最高质量模型。 每个模型都会根据质量、速度、上下文和能力进行评分。权重会根据你的使用场景动态调整。聊天模型优先考虑速度,推理模型优先考虑质量。 你可以通过交互式 TUI 浏览模型,使用 CLI 模式快速查看表格,或获取 JSON 输出用于脚本。还提供用于集群调度器的 REST API。 你也可以反向使用它:指定你想运行的模型和目标性能,它会告诉你需要什么样的硬件。 真正的价值在于:你可以在下载前看到排名选项。再也不用浪费带宽下载 50GB 的模型却运行不了。 它是 100% 开源的。 llmfit 链接在评论区!
查看原文
查看缓存全文

缓存时间: 2026/05/23 20:15

别再猜测哪些模型能塞进显存了!

llmfit 是一款命令行工具,它能自动检测你的硬件配置,并从 206 个模型中按实际能运行的程度进行排序。

你下载了一个 70B 的模型,心里盼着它能跑起来。或者你凭着各种量化级别估算内存需求,结果模型不是崩溃就是卡成幻灯片。

llmfit 改变了这一切。它能检测你的 CPU、内存、GPU 和显存,然后根据你的硬件为数据库中的每个模型打分。

它不会只盯住一个量化级别,而是尝试在能运行的前提下找到最高质量的那个。先从 Q8_0 开始,如果不行就往下试探到 Q2_K。如果完整上下文长度下没有模型能跑,就尝试半长上下文。最终你得到的是那个既实际可用、质量又最高的模型。

每个模型都会在质量、速度、上下文长度和能力四项指标上获得评分。权重会根据你的用途动态调整:聊天模型更看重速度,推理模型更看重质量。

你可以用交互式的 TUI 模式浏览模型,用命令行模式快速查看表格,或者输出 JSON 供脚本使用。还提供了 REST API,方便集群调度器集成。

你也可以逆向使用这个工具——告诉它你想运行哪个模型以及目标性能,它会告诉你需要什么样的硬件。

真正的价值在于:在下载任何东西之前,你就能看到排序好的选项。再也不用来回下载 50GB 的模型,结果发现根本跑不了。

它完全开源。

要获取 llmfit 的链接?翻翻评论区!

GitHub 仓库:

如果你觉得有用,请把它分享给你的圈子
关注我 → @Sumanth_077 获取更多 AI 工程方面的见解和教程!

没错,如果完整上下文下没有模型能跑,它会尝试半长上下文。这样就省去了下载根本跑不动的模型的麻烦。

很高兴你觉得它有用。

相似文章

AlexsJones/llmfit

GitHub Trending (daily)

llmfit 是一个终端工具,能够检测你的硬件,并通过评分质量、速度、适配性和上下文来推荐兼容的 LLM 模型。它包含交互式 TUI 和 CLI,支持多种运行时,并允许用户进行基准测试和分享性能结果。