推理时消融
摘要
AbliteratedOutTheBox 是一个 llama.cpp 分支，可在推理时对任意加载的模型实时执行 abliteration（去除对齐/拒绝机制），无需微调、无需额外文件，也不占用额外显存。
相似文章
显然，你可以在加载时跳过整个Transformer模块，且性能影响极小
一位开发者为llama.cpp的一个分支实现了--skip-layers标志，基于近期论文，允许用户在加载时跳过整个Transformer模块，且性能影响极小。这为在有限硬件上运行大模型提供了另一种方法，与量化和构建时剪枝相辅相成。
@NFTCPS: 4GB显存跑70B大模型？这事儿真成了！ AirLLM玩了个骚操作——分层推理，不一次性把模型怼进显存，而是一层层加载、算完就扔，硬生生把巨无霸塞进小破卡。 最骚的是：100%开源，白嫖警告 https://github.com/0xSo…
AirLLM 是一个完全开源的工具，通过分层推理技术（逐层加载并立即释放显存），使得 70B 大语言模型可在仅 4GB 显存的 GPU 上运行，无需量化、蒸馏或剪枝，并已支持 Llama3.1 405B 在 8GB 显存上运行。
@NFTCPS: 本地跑大模型的注意了！ 有人把llama.cpp改造成了性能怪兽——BeeLlama.cpp，同样的显存，推理速度直接干到3倍，上下文容量扩展7.5倍，这不是PPT，是实测数据。 它把三个顶级优化方案塞进一个代码库： DFlash推测解码…
BeeLlama.cpp is a fork of llama.cpp that integrates DFlash speculative decoding, TurboQuant/TCQ KV-cache compression, and adaptive draft control, achieving up to 3x faster inference and 7.5x context expansion on the same hardware.
Liquid Inference
Liquid Inference 是一款 LLM 路由器，让多家模型提供商针对每次 prompt 动态竞价，从而为用户提供最低推理成本，兼容 Claude Code、Cursor 等主流 agentic 编码工具，支持数百个开源与闭源模型。
@akshay_pachaar: 这个推理引擎运行 LLM 比 llama.cpp 快 4 倍：（Qwen3.5-9B 在 16GB Mac 上达到 92 tokens/s）我在一台…
基准测试帖：Mirai 开源的推理引擎 Uzu 在 16GB M5 MacBook Pro 上运行 Qwen3.5-9B 达到 92.1 tokens/s——比 llama.cpp（22 tok/s）和 MLX（25.1 tok/s）快约 4 倍——通过使用基于树的投机解码和 Weaver 草稿模型，突破了普通本地解码的内存带宽瓶颈。