HN展示：Shoehorn – 将任何模型量化以在本地机器上运行

# shoehorn — 让任何语言模型适配你的设备 来源：https://notactuallytreyanastasio.github.io/shoehorn/ 让你的设备实际内存跑得下任何语言模型。 预设量化方案无视你的硬件配置：要么选择超出内存的方案导致浪费大量质量上限，要么在加载时才发现根本装不下。shoehorn 从你实际可用内存出发，扣除推理所需资源，通过逐张量混合精度分配方案，将内存占用精确控制在余量误差范围内——常规情况下可实现**99.99%**的预算利用率，有时甚至精确到字节。 $ shoehorn fit unsloth/Qwen3\-4B\-GGUF \-\-serve**权重：519.2 MiB 占用 / 519.2 MiB 预算（利用率99.998%，仅13 KB未使用）** 下载前须知 ## 适配你设备的模型？ 选择硬件配置，本页面会扫描 Hugging Face 下载量最高的模型列表，筛选出可适配你内存预算的方案，并按你的内存能实现的最高质量排序——整个过程完全在浏览器内运行。 你的设备 会话空间 获取 shoehorn ## 安装 shoehorn 需要将 llama.cpp (https://github.com/ggml-org/llama.cpp) 置于系统路径中作为推理后端（通过 Homebrew 安装时会自动处理）。随后使用 `shoehorn ui` 启动本地应用——选择模型，点击按钮，即可开始对话。 `brew install notactuallytreyanastasio/shoehorn/shoehorn` 或从源码安装：克隆仓库 (https://github.com/notactuallytreyanastasio/shoehorn) 后执行 `cargo install \-\-path \.`。所有版本发布 (https://github.com/notactuallytreyanastasio/shoehorn/releases)。 应用介绍 ## 一键启动，榨干预算 本地 Web 应用会检测设备性能、动态计算适配方案、以量尺可视化内存预算、显示适配消耗的困惑度指标，最终呈现对话按钮。 已完成的适配方案：量尺显示99.998%预算利用率、按类型混合的精度配置、对话与测量按钮 模型发现卡片：按预算能力排序的模型列表，每个模型配备使用按钮