@svpino:一个非常酷的方法,可以找出哪些模型能在你的电脑上运行:1. 安装 llm-checker $ npm install -g llm-chec…
摘要
llm-checker 是一个 npm 命令行工具,它可以检测你的硬件并推荐可以在本地运行的 AI 模型。
非常酷的方法,可以找出哪些模型能在你的电脑上运行:
1. 安装 llm-checker
$ npm install -g llm-checker
2. 检测你的硬件
$ llm-checker hw-detect
3. 获取推荐
$ llm-checker recommend --category coding
以下是我获得的一些推荐:https://t.co/wICdWYwL3s
查看缓存全文
缓存时间: 2026/05/22 13:48
找出可以在你电脑上运行的模型,方法超酷:
-
安装 llm-checker
$ npm install -g llm-checker -
检测你的硬件
$ llm-checker hw-detect -
获取推荐
$ llm-checker recommend –category coding
以下是我的一些推荐:https://t.co/wICdWYwL3s
相似文章
@oliviscusAI: 有人刚刚开发了一款工具,可以准确告诉你哪些大语言模型可以在你的硬件上运行。它会扫描你的内存、CPU 和 GPU……
一款新工具已发布,它通过扫描用户的硬件规格(内存、CPU、GPU)来确定哪些大语言模型可以本地运行,并根据性能指标对这些模型进行排名。
@Sumanth_077: 别再猜测哪些模型能塞进你的VRAM了!llmfit 是一款 CLI 工具,自动检测硬件,并对 206 个模型进行排名…
llmfit 是一个开源 CLI 工具,能检测你的硬件,并对 200 多个大语言模型进行排名,找出真正能在你系统上运行的模型,并自动选择最合适的量化级别。
Show HN: 根据基准测试排名,为你的硬件找到最佳本地LLM
whichllm 是一个开源Python工具,它自动检测你的GPU/CPU/RAM,并从HuggingFace中排名最适合你系统的本地LLM,使用真实基准测试而非大小启发式方法。
LLM规划器 - 根据你的用例/模型/预算选择设备,或根据你的设备选择模型。60+配置方案,50+模型,130+引用t/s来源,150+评测YouTube视频,待机+运行功耗,多区域价格,定期更新。
一个全面的网络工具和公共数据集,帮助用户选择适合运行LLM的硬件,包含60+配置方案、50+模型、性能基准测试和评测视频,支持模型与硬件的双向匹配。
vllm-project/vllm v0.19.1
vLLM v0.19.1 发布 - 一个快速易用的开源 LLM 推理和服务库,拥有业界领先的吞吐量,支持 200+ 个模型架构以及包括 NVIDIA/AMD GPU 和 CPU 在内的多样化硬件。