AMD 未来 GPU 产品。一些适合构建 LLM 的有趣产品。你会用它们搭建什么样的 LLM 机器?
摘要
关于即将推出的 AMD GPU 产品及其搭建 LLM 机器潜力的讨论,并向社区征求构建建议。
https://preview.redd.it/xrgj4u64dd8h1.png?width=1287&format=png&auto=webp&s=2a63e8ea1c6aadf7b61b5820a148a5413a2d7d74 来自:https://www.youtube.com/watch?v=U8xBkDBVjPM&t=1459s
相似文章
构建本地 LLM 设备的人会关注 RTX Ada/工作站显卡的价格吗?还是只关注消费级显卡如 5090?
讨论本地 LLM 设备构建者是否会监控像 RTX 6000 Ada 这样的工作站 GPU 的价格,还是主要关注像 RTX 5090 这样的消费级显卡,以及是否存在针对这些不频繁但高风险的购买的专门跟踪工具。
请不要因为这个问题责怪我…
用户询问人们如何通过本地LLM设置赚钱,考虑到GPU设备的高昂成本,并探讨硬件领域的潜在职业机会。
AMD将发布可插拔GPU
AMD即将发布基于PCIe的新型可插拔Instinct GPU,面向企业AI市场,为本地大语言模型部署提供潜在的新硬件选择。
LLM规划器 - 根据你的用例/模型/预算选择设备,或根据你的设备选择模型。60+配置方案,50+模型,130+引用t/s来源,150+评测YouTube视频,待机+运行功耗,多区域价格,定期更新。
一个全面的网络工具和公共数据集,帮助用户选择适合运行LLM的硬件,包含60+配置方案、50+模型、性能基准测试和评测视频,支持模型与硬件的双向匹配。
改装版RTX 4090 48GB vs Radeon AI Pro R9700 vs Arc Pro B70:本地编程LLM选哪个?
用户寻求关于在改装版RTX 4090 48GB、双AMD Radeon AI Pro R9700或双Intel Arc Pro B70之间选择的建议,用于运行本地编程LLM,重点比较价格、显存、软件生态和推理速度的权衡。