gpu-memory

标签

Cards List
#gpu-memory

内存富裕/显卡贫瘠的人错了吗?

Reddit r/LocalLLaMA · 3天前

讨论了本地AI中密集模型与混合专家(MoE)模型之间的权衡,指出高内存用户除了Qwen 3.5 122B之外,MoE选择有限,并质疑大显存是否是唯一可行的路径。

0 人收藏 0 人点赞
#gpu-memory

@KL_Div:随着生成长度增加,LLM 占用的 GPU 内存持续攀升。能否在几乎不牺牲精度的前提下,让 GPU 内存占用保持恒定?

X AI KOLs Timeline · 2026-04-23 缓存

IceCache 通过“动态连续索引”(DCI)技术,在超长生成任务中将 GPU 内存占用压到恒定,且精度损失极小。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈