ssd-storage

#ssd-storage

@savipww: 一个744B参数的模型刚刚在一台25GB内存的笔记本电脑上启动了，我把仓库读了两遍才相信……

X AI KOLs Timeline ↗ · 2026-07-20 缓存

一个744B参数的混合专家模型在25GB内存的笔记本电脑上启动，通过将专家权重存储在SSD上，每个词元仅加载活跃的约400亿参数，使得尽管模型庞大，仍能进行本地推理。

0 人收藏 0 人点赞