@Hikari_07_jp: 35B-A6B 模型开发进度报告!! 重大突破——我终于获得了一台性能怪兽服务器的访问权限……
摘要
35B-A6B 模型的开发者报告获得了一台配备 768GB 显存和 1.5TB 内存的强大服务器,能够进行全面评估和大规模调优。这一突破加速了高质量 AI 模型的开发。
查看缓存全文
缓存时间: 2026/07/07 17:35
35B-A6B 模型开发进展报告!!
重大突破——我终于用到了一台绝对的怪兽级服务器,拥有 768GB 显存和 1.5TB 内存!!这将改变一切。项目的巨大飞跃!
现在,我正同时在家庭实验室和从 @x_xedo_x 借来的工作站上对开发中的模型进行完整评估。RTX PRO 6000 总共将有 12 块,合计 1152GB。
仅仅盲目增加专家数量只会引入更多噪声,所以我们正全力以赴进行严肃的大规模调优。不走捷径。
对所有分享过我帖子的朋友们——衷心感谢你们。正因为你们,这些消息才传到了那些确实有闲置算力的人那里。你们的帮助让这一切成为可能。
我正在倾尽所有投入其中。一定会交付一款出色的模型。继续加油!!
相似文章
@0xSero:本周最适合你硬件的模型。8-12GB - https://huggingface.co/LiquidAI/LFM2.5-8B-A1B… 令人难以置信的模型,如此快速,如此…
每周精选推荐最适合不同硬件配置(从8GB到768GB显存)的AI模型,突出性能与基准测试结果。
3000美元 128GB 显存 + 256GB DDR4 内存服务器
一位用户详细介绍了构建一个具有128GB显存和256GB DDR4内存的家庭推理服务器,用于AI工作负载。在使用VLLM分支处理Qwen3.8模型时,尽管最初有设置问题,但取得了令人满意的性能。
@TheAhmadOsman: 天哪!27B模型低于6GB和4GB,本地AI将成为默认。附注:我们将尽快在ODS上由@OsmanticAI优化此功能…
Ternary Bonsai 27B,一个大型语言模型,被演示在NVIDIA RTX 5090 GPU上本地运行,内存需求低于6GB,使消费级硬件上实现端到端的智能代理工作流成为可能。
@itsharmanjot: 384GB显存。就在你的办公桌上,而非数据中心。Autonomous,SmartDesk背后的公司,刚刚完全开源了…
Autonomous 完全开源了个人AI电脑的完整构建指南,该电脑最高搭载384GB显存,可本地运行开源模型,无需API费用,也无服务中断风险。
@servasyy_ai: 彻底疯了!本地大模型直接变天! Unsloth 刚刚放出 DeepSeek-V4.1-Flash 最新 Dynamic V3.1 量化版,现在只要 64GB 内存就能原地起飞! 以前跑这种体量的怪兽还得堆昂贵服务器,这次直接把门槛砸穿: …
Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 Dynamic V3.1 量化版 GGUF,使 64GB 内存设备即可本地运行该模型,并宣称推理速度最高提升 3 倍、支持 100 万 token 长上下文,在同级量化基准测试中全面领先。