@dunik_7: 他让4050亿参数的模型在单张8GB游戏显卡上运行。他没有将其转为付费服务，而是开源了……
摘要
AirLLM 是一个开源工具，通过分层流式加载，使得在单张8GB游戏显卡上运行4050亿参数模型成为可能，免费使用，采用Apache 2.0许可证。
查看缓存全文
缓存时间: 2026/07/16 16:21
他让一个4050亿参数的模型，在一块8GB的游戏显卡上跑了起来。
而且他没有把它变成付费服务，而是把整个项目开源了。
Gavin Li 是湾区 Anima AI 的创始人兼CEO。
‘airllm’ 的原理是一层一层地加载到GPU，其余部分流式读取，这样70B的模型只需4GB显存，而DeepSeek全量671B模型大约只需12GB。
2万2700颗星。Apache 2.0 许可证。
→ https://github.com/lyogavin
/ 他有808个关注者。
/ 他的仓库有2万2700颗星。
收藏吧。这就是“做出不可能之事”的样子。
dunik (@dunik_7):
运行一个4050亿参数的模型，以前意味着要花3万美元买一台GPU机架。一位开发者让它在一块8GB的显卡上跑了——就是那种在游戏本里躺了好多年的老卡。
这工具叫 AirLLM，诀窍简单得有点离谱：不用加载整个模型，而是——
相似文章
@tom_doerr: 在单个4GB GPU上运行70B大语言模型 https://github.com/lyogavin/airllm
AirLLM是一个开源工具，优化推理内存使用，无需量化即可在单个4GB GPU上运行70B大语言模型，并支持在8GB显存上运行405B模型。
@NFTCPS: 4GB显存跑70B大模型？这事儿真成了！ AirLLM玩了个骚操作——分层推理，不一次性把模型怼进显存，而是一层层加载、算完就扔，硬生生把巨无霸塞进小破卡。 最骚的是：100%开源，白嫖警告 https://github.com/0xSo…
AirLLM 是一个完全开源的工具，通过分层推理技术（逐层加载并立即释放显存），使得 70B 大语言模型可在仅 4GB 显存的 GPU 上运行，无需量化、蒸馏或剪枝，并已支持 Llama3.1 405B 在 8GB 显存上运行。
lyogavin/airllm
AirLLM 是一个开源库，能够在单个 4GB GPU 上运行大型语言模型（最高可达 405B），无需量化、蒸馏或剪枝，显著降低了本地 LLM 推理的硬件门槛。
@bkdgiffug：一个拥有 2.78 万亿参数的模型，居然能在 8GB 内存上运行？听起来荒谬，但这个项目确实在折腾……
该项目展示了一个拥有 2.78 万亿参数的模型，仅用 8GB 内存即可运行——采用纯 C99 编写的推理引擎，不依赖 BLAS、任何框架或 GPU，以速度换取极致的内存效率（8GB 内存下约 26.5 秒/token，128GB 以上约 5.6 秒/token）。
@LottoLabs: 给显卡不够用的兄弟们的一个超酷模型，在一个海量token上训练的8b a1b模型，速度飞快…
LottoLabs 宣布了 LiquidAI 的 LFM2.5-8B-A1B-GGUF 模型，这是一个8B参数的模型，在大量token上训练，并针对有限GPU硬件上的快速推理进行了优化，支持 llama.cpp、Ollama、vLLM 等。