@TheAhmadOsman: 天哪！27B模型低于6GB和4GB，本地AI将成为默认。附注：我们将尽快在ODS上由@OsmanticAI优化此功能…
摘要
Ternary Bonsai 27B，一个大型语言模型，被演示在NVIDIA RTX 5090 GPU上本地运行，内存需求低于6GB，使消费级硬件上实现端到端的智能代理工作流成为可能。
查看缓存全文
缓存时间: 2026/07/14 22:33
天哪！！
27B模型可在6GB和4GB显存下运行
本地AI将成为常态
附注：我们即将在 @OsmanticAI 的ODS中优化此方案，尽快完成 https://t.co/cUJ2fIbQeB
PrismML (@PrismML): 这是 Ternary Bonsai 27B 在 NVIDIA GeForce RTX 5090 GPU 上本地运行端到端代理工作流的演示，采用 Hermes 模型。
该模型能够推理、调用工具、读取输出、修改文件并提炼洞见——全部在消费级硬件上完成，同时所有私有文件及中间状态均保持本地。
相似文章
@witcheer: 难以置信 gpt-oss-20b 在 8GB 显存上的表现。21B 总参数，3.6B 活跃参数（MoE）。OpenAI，Apache 2.0。仅使用 1.8 GB 显存…
一个全新的开源 MoE 模型，gpt-oss-20b（总共 21B，活跃 3.6B），仅需 1.8GB 显存即可运行，并在代理编程任务上获得满分，性能优于其他本地模型（如 Gemma 和 Qwen）。
@UnslothAI: GLM-5.2 现在可以本地运行！2-bit 模型在从 1.51TB 缩小到 238GB（-84% 大小）后保留了约 82% 的准确率…
UnslothAI 宣布 GLM-5.2，Z.ai 的最强开源模型，拥有 744B 参数，现在可以通过动态 GGUF 量化在本地运行，将大小减少约 84% 至 239GB，同时保留约 82% 的准确率。它适用于 256GB Mac 以及 RAM/VRAM 配置，并支持长上下文、推理和代理任务。
Bonsai 27B：使用自定义WebGPU内核在浏览器中本地运行的1比特密集型大语言模型
Bonsai 27B是一个1比特密集型大语言模型，通过使用自定义WebGPU内核可以在浏览器中本地运行，实现高效的设备端推理。
@TheAhmadOsman: 一直在玩@PrismML的新模型，该模型将Qwen 3.5 27B变成了子4GB和子6GB的权重，令我印象深刻 C…
PrismML发布了一个压缩版的Qwen 3.5 27B，可以装入子4GB和子6GB内存中，实现了令人印象深刻的本地AI性能。
@sudoingX：这台笔记本通过 Hermes agent 以 99% GPU 利用率本地跑 31B 模型，持续 15 tok/s，22.8 o…
一台笔记本借助 Hermes agent 本地运行 31B 模型，速度 15 tok/s，显存占用 22.8 GB，功耗 94 W，实现完全自主、私密、无需云端的 AI 推理。