预算有限，为我的RX 6800提供购买建议

Reddit r/LocalLLaMA 工具
gpu vram inference budget llm radeon-vii p100

摘要

本帖子讨论在RX 6800基础上，为LLM推理选择预算GPU（Radeon VII vs 两块P100），重点分析MoE模型的VRAM与速度权衡。

经过几个小时的调研，我陷入了两难：是买一块Radeon VII还是两块P100（两套方案大概都是240欧元）。Radeon VII能提供32GB显存和较快的推理速度，而两块P100总共48GB，但据我估算推理速度会慢大约30%。请问多出来的显存是否真的有用，还是根本用不上？我的数据有没有算错或遗漏？我在想，对于Q8精度的MoE模型，额外显存是否更有价值？除了Qwen和Gemma，还有没有其他值得关注的更大MoE模型，能让我在多显存中获益？各位有什么推荐吗？欢迎任何建议。
查看原文

相似文章

在6GB RTX 4050上对20个小LLM的基准测试

Reddit r/LocalLLaMA

对20个为6GB GPU量化的小LLM的详细基准测试，测量了不同上下文长度下的速度和VRAM使用情况，并对工具使用和指令遵循进行了定性探针。该报告旨在帮助拥有中等硬件的用户为本地私有的自动化任务选择模型。

Rotary GPU：在有限显存下探索大型MoE模型的本地执行

Hacker News Top

本文介绍了Rotary GPU，一种探索性的执行方法，能够在有限显存的消费级硬件上运行大型混合专家（MoE）模型，在配备8GB显存的RTX 4060上达到21 tokens/s的速度。该方法关注部署的可行性而非架构改进。