@savipww: 一个744B参数的模型刚刚在一台25GB内存的笔记本电脑上启动了，我把仓库读了两遍才相信……
摘要
一个744B参数的混合专家模型在25GB内存的笔记本电脑上启动，通过将专家权重存储在SSD上，每个词元仅加载活跃的约400亿参数，使得尽管模型庞大，仍能进行本地推理。
查看缓存全文
缓存时间: 2026/07/21 06:38
一个744B参数模型刚刚在仅有25GB内存的笔记本上启动，我反复读了两遍仓库说明才敢相信。
如果你也想自己跑一跑，仓库链接就在第一条回复里。
整个诀窍在于：这种规模的模型，对每个词只会激活大约400亿个参数。
所以引擎把核心的密集层放在你的内存里，而把成千上万个专家留在SSD上，每次只拉取当前词真正需要的那几个专家。
这样一来，370GB的权重就能塞进一台仅有25GB内存的机器里。
纯C语言实现，零依赖，int4量化权重，注意力状态被压缩到原来的1/57，因此状态永远不会爆炸。
快吗？说实话，在裸机25GB配置上慢得像爬，但在真正的GPU设备上能达到每秒几个token。
最打动我的是它的诚实：仪表盘把每个专家都画成活的星团，从不假装磁盘没有在干重活。
这是今年一整年里，我最想坐下来好好跑一跑本地模型的一次。
savip (@savipww): 我发现了一个开源工具，能把任何品牌变成一个像电影一样滚动的网站。
滚动时，镜头会从3D场景外部直飞进去，然后无缝切换到下一个场景，毫无剪辑感。
每个场景都根据品牌生成，整个页面感觉就像
相似文章
@bkdgiffug：一个拥有 2.78 万亿参数的模型，居然能在 8GB 内存上运行？听起来荒谬，但这个项目确实在折腾……
该项目展示了一个拥有 2.78 万亿参数的模型，仅用 8GB 内存即可运行——采用纯 C99 编写的推理引擎，不依赖 BLAS、任何框架或 GPU，以速度换取极致的内存效率（8GB 内存下约 26.5 秒/token，128GB 以上约 5.6 秒/token）。
我如何仅用24GB内存运行193B参数模型
介绍 Iris Ai，一个在消费级硬件上将查询路由至8个专用LLM的系统，通过每次仅激活一个模型和动态模型交换，以低内存实现大模型性能。
@GPTWare：呃呃呃这什么鬼？？？
Colibri在拥有25GB RAM的笔记本电脑上运行744B参数的GLM-5.2 MoE模型，每个token仅激活约40B参数，并从磁盘流式传输专家，全部在一个2400行的C文件中完成，无需GPU。
@MaximeRivest：每次用 4B，我们就能达到 10T 参数模型：一个真正的专家混合体。Jev 向我们展示了其实可以相当不错地进行路由……
Maxime Rivest 认为，可以把 4B 参数的专家模型组合成一个真正的专家混合（mixture-of-experts），总参数量达到 10T，从而在边缘硬件上以几乎可以忽略的成本实现前沿级性能——只用少量合成样本微调的小模型，已经足以与前沿系统媲美。
我在一台6GB RTX 4050笔记本上尝试运行1.56TB MoE模型，结果如下
在配备6GB RTX 4050的笔记本上测试1.56TB混合专家模型，需借助NVMe进行修补式内存流式传输，解码速度达到0.106 tokens/s。