NVIDIA 推出面向Windows的DGX Station（万亿参数桌面）。谁准备好本地运行LLaMA-Behemoth？

Jensen刚刚赐福了我们，各位。NVIDIA刚刚发布了一款面向Windows的“桌面”超级计算机，能够本地运行1万亿参数的AI。他们说这是给“企业数据科学家”用的，但我们都知道它实际是干什么用的：以每秒500个token的速度运行未经审查的Waifu聊天机器人。以下是硬件规格的**TL;DR**： * **显存：** 多到让猛男落泪（终于不用再用扎带把二手Tesla P40串起来了）。 * **散热：** 液冷散热。还可兼作取暖器。它完全可以解决你家整个社区的冬季取暖费用。 * **功耗：** 需要直连本地核电站。 * **价格：** 只要你的灵魂、你的房子，以及一份50年的企业抵押贷款。 # 🦙 真正的问题：运行LLaMA-Behemoth 我们都知道Meta随时会发布**LLaMA-Behemoth-1T-Instruct**。但现实是这个社区会怎么处理它呢？即使我们桌上摆着一台价值几十万美元的DGX工作站，我们**仍然**会疯狂地量化它，因为我们拒绝在推理时关掉那400个Chrome标签页。 **r/LocalLLaMA 针对LLaMA-Behemoth-1T的量产路线图：** |**量化级别**|**所需显存**|**智能水平**|**r/LocalLLaMA 裁决**| |:-|:-|:-|:-| |**FP16（未量化）**|2000 GB|绝对的通用人工智能。治愈癌症。|*“浪费显存。装不下我的8k系统提示。”*| |**Q4\_K\_M（GGUF）**|600 GB|比你聪明。|*“还行，但我想要更高的tokens/秒。”*| |**IQ2\_XXS**|250 GB|高中辍学生。|*“最佳平衡点！强烈推荐！”*| |**IQ0\_0.001\_K\_Madness**|8 GB|幻觉自己是台烤面包机。只说二进制。|*“完美！在我的基础款M1 Mac上以120 t/s流畅运行！”*| 我已经在卖肾来凑DGX Station的首付了。等不及运行Behemoth的1位量化版本了，这样它就能自信地同时用40种语言向我解释为什么2+2=5。还有谁要预购？