vram-efficiency

标签

Cards List
#vram-efficiency

一种用于本地智能体的轻量级神经符号方法:长期记忆

Reddit r/AI_Agents ↗ · 2026-09-28

介绍Hillock,一个使用神经符号方法的开源引擎,用于本地智能体的长期记忆,通过事实提取和超维门控等技术提高效率。

0 人收藏 0 人点赞
#vram-efficiency

@sudoingX: 那些用16GB显卡的,别再滑了。@pupposandro 和 @davideciffa 把 qwen 35b-a3b 压缩到13.3GB,在……上实测

X AI KOLs Timeline ↗ · 2026-06-10 缓存

一种名为 luce spark 的技术让 Qwen 35B-a3B MoE 模型能够在16GB GPU(如RTX 3090)上运行,通过学习哪些专家被频繁使用,并将其余专家从内存流式加载,实现约100 tok/s,且不受显存瓶颈限制。

0 人收藏 0 人点赞
#vram-efficiency

@witcheer: 难以置信 gpt-oss-20b 在 8GB 显存上的表现。21B 总参数,3.6B 活跃参数(MoE)。OpenAI,Apache 2.0。仅使用 1.8 GB 显存…

X AI KOLs Timeline ↗ · 2026-05-24 缓存

一个全新的开源 MoE 模型,gpt-oss-20b(总共 21B,活跃 3.6B),仅需 1.8GB 显存即可运行,并在代理编程任务上获得满分,性能优于其他本地模型(如 Gemma 和 Qwen)。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈